火事で確定申告資料が燃えて税務調査で説明できなくても言い訳にしかなりませんよね？

税務署の調査担当者が判断することですが、申告資料を廃棄してしまった場合と火事で焼失してしまった場合とを同じように扱われるべきではないと思います。
調査時には調査担当者にしっかり説明し理解してもらえるようにしてください。

しっかり説明とは結局のところ、自力で覚えてる限り説明するということですか？で、それでも無理なら泣き寝入りみたいな感じですか？

調査を受ける者としては申告内容の説明をできる限りすべきです。
あとは、申告資料を火事で焼失してしまったことを、どれだけ税務署が斟酌してくれるかでしょう。