税務署の考え

生活費の名目で贈与されたものでも、非課税となるのは必要な部分だけですので、貯金すると必要な部分ではなくなり贈与税がかかます。
つまり、生活費と言う名目で「贈与」しています（ご主人には「贈与」したという意思はあります。）から、ご主人に内緒で貯めた（悪く言えば生活費の一部をくすねた）部分は贈与税の課税対象となります。

要するに、生活費として渡しているという時点では「贈与」という行為は実行されています。そして、余分な部分があるということを知らないだけです。それがのちに発覚して、ご主人が余分な部分は生活費ではない（つまり返却を求めることになる）というのであれば、その貯金した部分は贈与の意思がなかったことになり、預り金となります。

税務署の説明はこういうことだと思われます。

土師先生

ご返信ありがとう御座いました。

もう2点お伺いしたいのですが、お小遣いも生活費ですか？

贈与税がかかるのであれば、今からでも全額返金すればよろしいのですか？

かなり動揺しています。

通帳とカードは私が預かってます。

金額内容によりますが、庶民でいうお小遣いは生活費です。
贈与は一旦履行されると取消はできません。したがって、返金しても贈与がなかったことにはなりません。
このため、まずは、税務署の説明に合うように、最初の生活費が多すぎたためご主人が過大分を返金を求めるとする、又は、共通の資金として別途管理する、又は、過大分はあげるとするのいずれかの選択を求めればいいのかと思います。過大分をあげるというのであれば贈与となり年間110万円を超える部分は贈与税がかかります。

補足します。
生活費の余りは、普通は贈与ではありません。
それは、あげますまらいますの意思表示をしないことが多いからです。
その余りを貯めた貯金は、ご主人のもので、名義が奥様なら名義貯金と言われるものです。
万が一税務署から指摘されたらご主人名義に戻せば良いだけです。