タンス貯金からのお金

回答申し上げます。
贈与として課税される可能性は低いと存じます。

１．ご祖父様からご質問者様が都度お受け取りされていたとのことですが、ご質問者様にご記載いただいた内容から、都度生活費に充てられていたとのことで、ご祖父様も生活の足しにというお気持ちで都度お渡しされていらしたかと推察されます。

２．贈与税の非課税の規定
贈与税の非課税の規定の中で、夫婦や親子、兄弟姉妹などの扶養義務者から生活費や教育費に充てるために取得した財産で、通常必要と認められるものは非課税という規定があります。

ここでいう生活費は、その人にとって通常の日常生活に必要な費用をいい、
生活費や教育費として必要な都度直接これらに充てるためのものに限られます。
生活費や教育費の名目で贈与を受けた場合であっても、それを預金したり株式や不動産などの買入資金に充てている場合には贈与税がかかることになります。

３．整理
ご祖父様の場合は、その都度生活費の足しにとしてお渡しされていて、事実、ご質問者様は生活費として費消され、特段不動産を購入されたり株の購入に充てたりもされていらっしゃいませんし、ご祖父様のご相続の際に、銀行に預け入れられた50万円とタンス預金はご申告されたとのことですので、
それ以外の都度受け取られた金額については贈与税の課税の問題は生じないと判断しております。