インボイス取り消したい

しかし、売上も1,000万超えないし、一般消費者相手の仕事なんで、インボイス登録失敗だったと思います

そのような人が多くいます。
令和6年は、課税事業者は免れないですか？

はい、そうなります。申し訳ありませんが。
6年中に取りやめ届けだせば、7年からは免税でいけますか？

https://www.nta.go.jp/publication/pamph/shohi/todokedesho/pdf/0023001-085-22.pdf
上記を見てください。
2年縛りがあるかどうか税務署に確認ください。
https://www.nta.go.jp/taxes/shiraberu/zeimokubetsu/shohi/keigenzeiritsu/pdf/0023007-071.pdf
上記を見る限り、令和6.7年は取り消しができない、ようにも読み取れます。
税務署と相談して、宜しくお願い致します。

6年は２割特例適用できますか？

https://www.nta.go.jp/publication/pamph/shohi/kaisei/202304/01.htm
上記を見てください。
できると考えます。