税務署の方が家に来るそうです。どういうことでしょうか？

そのとおり、納税が可能かどうか及び差押物件の有無の確認だと思われます。
滞納しているのはお父様ですので同居しているとはいえ、基本的にご質問者様は無関係ですね。
ただし、家財が誰の所有かなどの聴取があると思われますので立ち会った方が良いと思われます。

滞納額の分納ができるのかどうかの生活状況の確認だと思います。生活状況を聞き取りするなかで、あなたの一身上も聞かれるかもしれませんが、怒られることはありません。滞納金額にもよりますが、差し押さえも視野に入れた聞き取りもあると思います。差し押さえ物件としては、お父さん名義の不動産、預貯金、有価証券等です。

そうなんですね。
立ち会わなかった場合は
どうなってしまうでしょうか？？

ご質問者様が立ち会うよう求められたわけではないですよね。
であれば、立ち会う義務はありません。
ただし、先述したように、誤って、ご質問者様所有の家財等が差し押さえられないようにしなければなりません。

差押えされる家具や家電が全くないのですが、母から聞いたら
私と母がいるときに。みたいに
言われたそうです…

そうですか。
わずらわしいでしょうが、お父様を支援するためにも、立ち会うことをおすすめします。

税務署側としてはお父様一人よりも3人から聴取したほうが正確で詳細な情報が得られるからだと思います。家族全員に影響する話しでもありますので、義務はありませんが、立ち会われた方がいいと思います。今の税務署員は紳士的で怖くはありません。

ありがとうございます。
時間はどのぐらいかからものでしょうか？

どのくらい時間がかかるかはわかりません。
むしろ、事前に聞いてみてはいかがですか。