インボイス制度。登録したら消費税納付は義務？

適格請求書じゃない請求書を発行して、消費税を納付しないっていうのは違法という理解で合っていますか？

→適格請求書（インボイス）発行事業者＝課税事業者なので合っています。

取引先から求められ、インボイスの登録番号を取得したのですが、
その後「やはり適格請求書の提出は求めない」と言われています

→一度登録申請をしても取り下げることは可能です。
所定の様式はありませので、➀登録申請書の提出年月日、➁取り下げたい申請書名「適格請求書発行事業者の登録申請書」、③提出した時の方法（e-Tax又は書面）、➃申請者の氏名又は名称、⑤納税地、⑥登録番号、⑦「適格請求書発行事業者の登録申請を取り下げたい」旨を記載した取下げ書を自作して、インボイス登録センターに提出します。

ご回答ありがとうございます！
疑問が解消されました。