副業で事業所得として否認されるますか？廃業も考えています

回答します。
廃業しても青色申告取り止め届けを提出しない限り、青色申告はできます。これは廃業しても、また直ぐに新たな事業を開始するケースもあるためです。
このため青色申告取り止め届けは、廃業後の申告が終わった時点で提出した方が良いです。
また、雑か事業の判断は、収入規模での判断ではありません。
確かに主たる給与があるので副業と判断され、雑所得とも言えますが、危険負担すなわち自己の判断と責任、反復かつ継続性があるのかが判断材料になります。
この点がクリアされ税理士が事業と判断したと考えます。
また、雑所得となった場合、青色申告はできません。
したがって、青色申告控除が否認され、また赤字も認められません。
正確な金額は算定できませんが、所得税は還付された税金、青色申告控除の概ね１～２割のほか延滞税など、住民税は所得税の７割程度？はと推測します。
事業とした判断材料をしっかり持つことをお勧めします。

早速のご回答ありがとうございます。
売り上げ規模だけでなく、危険負担すなわち自己の判断と責任、反復かつ継続性ですね。

反復かつ継続性はわかりますが、
「危険負担すなわち自己の判断と責任」がわかるようなわからないような感じですが、
賠償責任を負い、自己判断と責任で業務を行なっているかどうか、人任せでないかということでしょうか。

廃業するために、廃業届と青色申告取り止め届けの提出させていただきます。
ただ、今、コンサルしている業務が今年の5月ぐらいまであるので、それを終えてからが良いかと考えております。それでも大丈夫でしょうか？

もし、その後に細々と続ける場合は、雑所得で白色申告すれば良いでしょうか？

否認された場合の話ですが、
青色申告控除６５万円の１０％＝6.5万円　と過少申告課税（１０万円）6.5万円
延滞税は、5年前分だと６.５万円×１４.６％×５年後それ以降の分
住民税は6.5万円の７割ぐらい。
おおむね、この理解で良いでしょうか。
これだけでもかなりの額になってしまいますね。。。
事業として認めてもらえるように判断材料をしっかり持ちたいと思います。

回答します。
危険負担の考え方として、給与の場合は雇用されています。
会社や上司の指示ですが、事業の場合は自己責任です。これは事業も雑にも共通します。
反復、継続性は事業か雑かの判断に影響を受けます。
したがって、勤労所得としての副業が給与などではなく、しかも事業性があるかどうかの判断を行います。
過去からこれは争点が多く、かなりの事例もあります。
しかしながら、個々の事例は参考として、自らの判断材料いわゆる反証材料を持つ必要があります。

また、是正する年分は過去３年分で大丈夫です。
最大７年遡るケースもありますが、それは悪質な場合、すなわち偽り、隠ぺい、仮装など故意に行ったらの話なので３年分です。

さらに加算税は、新たに納税する額の10%、6.5万円なら６千円、延滞税の14.6%は修正して２か月納付がない場合の率なので、もっと低いです。
すみません、今、手元に資料がないので、現在の率は覚えていませんが４%程度かなと思います。

そして、もし、何か税務当局から指摘された際、反論の余地はありますので、その時のために反証材料を持っておいてください。
少し曖昧な回答になり申し訳ございません。