贈与金を返却する場合の注意点について

残念ながら、「あげますもらいます」ということで双方に贈与の認識があったのであれば受贈者がそれを使用しなかったとしても贈与は成立しています。
相続が開始されたのであれば、それを返却することすらできません。

生前に受けていた贈与金にも贈与税がかかることを知りました。

とはおかしな表現で、生前に贈与を受けたからこそ贈与税がかかるのです。

直ちにこの贈与税期限後申告をすべきですが、相続税がかかるのであればこの贈与額を相続財産に加算しなければならない一方で、相続税額からこの贈与税額を控除することができます。

相続開始をきっかけに、税務署は被相続人及び相続人の預貯金口座を確認し、多額の入出金を贈与と指摘する可能性があります。

ご回答頂きありがとうございます。
今のところは、母(配偶者)が元気でいますのて、父の預金及び不動産は、当分の間、母に移しておくつもりです。
相続開始とは、今なのか、それとも、母が他界した後で、兄弟が相続を受けたら時を指すのでしょうか？
贈与税を納めたあと、何年たっても、相続税額からこの贈与税額を控除する事が出来るのでしょうか？

お父様からの贈与についての贈与税であり、お父様がお亡くなりになって相続が開始されたということです。