青色申告を取り消した方がいいですか？

質問の内容より、今後は事業としてではなく、副業として取組んでいくとのことですので、事業所得として申告することはおすすめできません。というのも、事業としての実態がない(認められない)にもかかわらず、毎年赤字申告をした場合、給与所得と事業所得は損益通算され、結果所得が減少し、納める税金も減少することになります。事業の実態がある場合は別ですが、実態なく、赤字申告を続けることはペナルティを受けることになり得ます。
今後副業としてやっていくのであれば、廃業届・青色申告の取りやめ届出書を提出することを考えるとよいでしょう。
いずれにしても、管轄の税務署に相談されるとよいかと思います。

アドバイスありがとうございます。再び質問ですが、事業の実態はどこで判断されるのでしょうか？副業収入は0ではないと思います。
廃業届・青色申告を取りやめた場合、副業収入が20万をこえた年だけ確定申告するということでしょうか？（白色で）
何度もすいませんが、アドバイス宜しくお願い致します。

事業の実態があるか、事業所得として認められるかは、様々な状況から総合的に判断することになります。
以下、一般的な判断基準です。
◦取引の目的
◦取引に営利性や有償性があるか
◦取引に反復性と継続性があるか
◦取引を行うにあたっての精神的、肉体的疲労の程度、労働時間
◦取引を行うことで将来的に継続安定して収益を得ることができる可能性があるか　　　などから、総合的に勘案し、社会一般の常識と照らしあわせて、事業所得と認められるか判断します。
そのため、会社勤めという本業があるサラリーマンにとって、事業所得を認めてもらうのは難しいと言えます。
副業収入が、20万円を超えた年は、雑所得として申告することになります。