海外の離婚で発生する養育費の税金について

まず、認識の訂正が必要な点があります
「オーストラリアの口座に置いておけば日本の税金はかからない」という理解は、誤りです。
日本の税法上、居住者（特に日本国籍者や長期居住の永住者）は「全世界所得課税」が原則です。海外の銀行に預けた利息は、日本に送金するかどうかに関係なく、日本での確定申告（総合課税、税率5〜45%＋住民税10%）の対象になります。「海外に置いたまま＝日本の課税対象外」となるのは、非永住者（過去10年以内に日本に住所を有していた期間が5年以下の人）が、その国外源泉所得を日本に送金しなかった場合に限られる特例です。ご自身がこの「非永住者」に該当するかどうかで話が変わるので、ここは要確認です。
2つのパターンの税金の違い（利息部分）
オーストラリア口座に置いたままの場合、豪州側の課税は非居住者として銀行に届出済みなら、利息に10%の源泉徴収で完結（確定申告不要）。届出していないと最大47%源泉徴収されるケースもあるので要注意です。
日本側の課税は（永住者の場合）利息は総合課税の対象。確定申告が必要（給与以外の所得が年20万円以下なら申告不要な場合あり）。豪州で源泉徴収された10%は外国税額控除で調整可能
日本へ送金した場合、豪州側の課税は送金後は豪州口座に残高がなければ課税対象なし。日本側の課税は、円預金の利息は20.315%の源泉分離課税で完結、確定申告不要
つまり、永住者に該当する場合、日本の課税自体はどちらに置いても避けられません。違うのは「確定申告の手間」（豪州に置くと総合課税で申告が必要、日本に移せば源泉分離課税で申告不要）と、総合課税ゆえにご自身の所得水準次第では20.315%より低くも高くもなり得る、という点です。
なお、口座間で自分名義のまま資金を移動させること自体（送金）は贈与ではないので、送金そのものに贈与税はかかりません。

養育費を「子どものために残しつつ」贈与税を避ける方法
ここが一番重要なポイントです。国税庁の考え方では、贈与税がかからないのは「生活費・教育費として必要な都度、直接その支払いに充てたもの」に限られます（相続税法21条の3）。逆に言うと、単に貯金しているだけの段階では、まだ「子どもへの贈与」は成立していません。贈与税の問題が発生するのは、その貯めたお金を子ども名義の口座に移す、または子どもに現金として自由に使わせる形で渡した時点です。
これを踏まえると、現実的な選択肢は次の2つです。
①自分名義の口座に置いたまま、必要になった時に直接支払う
将来、進学費用や生活費が実際に発生したタイミングで、学校や大家など支払先に直接送金する形にすれば、何年後であっても「必要な都度の教育費・生活費」として非課税の扱いを維持しやすくなります。逆に「まとまったお金を子ども名義の口座に一括で移す」「成人した子に現金でまとめて渡す」は贈与とみなされるリスクが高いです。
②暦年贈与の基礎控除（年110万円）を使って少しずつ移す
どうしても子ども名義の口座で管理したい場合は、年間110万円以内であれば贈与税がかかりません。ただし毎年同額・同時期に機械的に贈与すると「定期贈与」とみなされ、合計額に課税されるリスクがあるため、金額や時期を変える、都度贈与契約書を作るなどの工夫が推奨されます。
まとめると
・「オーストラリアに置けば日本の税金がかからない」は、ご自身の居住区分（永住者か非永住者か）次第で成り立たない可能性が高い
・送金するかどうかより、お金を「誰の名義」で持ち、「いつ・どう使うか」が贈与税の分かれ目
・一番安全なのは、当面は自分名義の口座で管理し、実際に子どものために使う都度支払う方法です。