底地を持つ兄に借地権(弟所有)を返還すると、どのような税金が発生しますか?

この問題は、建前と実質の両面を考える必要があります。
最初に建前的な回答を申し上げます。まず民法分野の法律では、借地上の建物が老朽化した場合には、借地権は消滅すると定めています。税法もこれを受け、借地権が消滅した以上は、借地人が地主に借地を無償で返還しても、贈与税の課税はないという取扱いにしています。
したがってご相談の場合は、お兄さんに贈与税は課税されないという結論になります。なおこの場合､どなたも亡くなっていないため「相続・相続税」は出番がありません。相続とは誰かが死亡した際の、相続財産の承継等をいうからです。
しかし現実には､借地権には相当の資産価値があります。その資産価値が消えてなくなるという「建物の老朽化」とは何かです。
結論を言います。この場合はおそらく税務署は「建物の老朽化」を否認し、兄が弟から借地権評価額の贈与を受けたとして、多額の贈与税をかけてくるものと思われます。
事実、失礼ながら貴方には、何かと世話になったお兄さんに対して、（ご自身には不要になった）この土地を渡したいというお気持ちがおありのように思われます。仮にそうした気持ちはないといわれるのであっても、税務署は「そのようなことは証明できない」として課税するでしょう。
民法の規定を持ち出しても、「建物の老朽化」など何とでも言えます。いや、老朽化しつつあるのなら、地主に承諾料を払いつつ修繕や建て替えをやろうと思えばできるはずです。それをしない以上「贈与だ」という理屈でしょう。
国税は、親族間の無償や低額による資産の移動については、原則として贈与であるとして課税してきます。本当に贈与の意図がないと思われる場合であっても課税しようとします。それを認めれば、他の人がそれを装って贈与をしかねないからです。
その一方、これが第三者間であればほとんどフリーパスとなります。第三者間では贈与が行われるはずがない、と考えるからです。ちなみに建物老朽化による借地権の無償返還も、第三者間の個人同士で行われたのであれば、「お咎めなし」になります。
くれぐれも借地権の返還は慎重に行うことをお勧めいたします。

わかりやすいご返答ありがとうございます。やはり、建前と実質があるのですね。広い土地ではありませんが、贈与税で土地を国に奪われてしまう気がしました。
現在、建物が地震などで倒れてしまう心配もあるので、壊してしまおうと思っておりますが、建物が無くなった場合でも私は借地権の持ち主なのでしょうか?

建物が取り壊した場合には、理屈の上では借地権は消滅してしまうような感じがありますが、民法上においても、当分の間は借地権が維持されると考えているようです。ただしこの「当分の間」とはどれくらいをいうのかは､よく分かりませんが（まあケースバイケースなのでしょう）。
　税法も同じ考えです。少なくともご相談の場合､危険を避けるという意味で取り壊したにもかかわらず、「弟の借地権が消滅したから、兄にその分の贈与税を課税」は、あまりに無理があります。ただし、「何の課税もないまま借地権が消滅する」ということはないとお考え下さい。
したがって、建物を取り壊した後、長期間更地のままで置いておくというのは、税法的にかなり「気味の悪い」感じがします。確かに税務署もすべての事案を把握しているわけではありませんから、現実的にうやむやになってしまう（つまり課税なしで借地権が消えてしまう）という可能性もあるのでしょうが。
それ故、更地のまま放置するのではなく、なるべく売却するか（代金は双方で受け取る）建物を建てて何かに利用する（むろん借地権は弟さんのもの）のがベターであると思います。
　しかし事情があって、当面何年も更地の状況を維持したいというのであれば、借地権と底地を交換するという形で、その土地の所有権を兄弟の共有にするという手法もあります。多少面倒ですけどね。

ありがとうございました。
家を取り壊すのかどうかも含め、もう少し兄と相談することとなりました。とても参考になり助かりました。