贈与と思われて税務調査があったりするのでしょうか？

全く問題ないと考えます。

国税（税務署）はいざとなればそのお金がどこから調達されたのかを調べることに労力を要しません。質問者様が真面目にお仕事をされて貯蓄したお金であるならば、国税側はもちろんのこと、税理士もすぐに把握できるものです。

逆もしかりで、収入に見合わない預貯金残高があったり高額な物品の購入がある場合のお金の流れも調べればすぐにわかります。そのような疑義のある取引については税務署であれ顧問税理士であれ質問事項の対象になると思います。

真面目に働いて得たお金は紛れもなくご自身のものですから堂々と貯蓄されてください。

よろしくお願いいたします。

ありがとうございます！安心しました。
ここ1週間不安な気持ちになっていたので、とても分かりやすい回答をいただけてスッキリしました。
一生懸命働いて貯めたお金なので堂々としておきます。