個人事業で届け出をだすかどうか迷っています。

副業扱いになるので所得20万（売上ー経費）を超えなければ大丈夫です。

事業所得（または雑所得）が年間20万円を超えるようであれば、確定申告義務が生じます。
赤字であれば確定申告義務はありませんが、
事業所得の場合、確定申告をすることで、給与所得と赤字を相殺し、給与から源泉徴収された所得税の還付が受けられる可能性があります。

給与所得と事業所得は別々に計算されますので、ご認識は正しいです。
パート収入が年間97万円以内であっても、別途事業所得（売上－仕入・経費）がある場合、事業所得が赤字でも確定申告は推奨されます。
特に赤字の場合、給与所得と損益通算が可能で、所得税の還付や住民税軽減に繋がる可能性もあります。
ただし、帳簿の保存や記帳義務は発生しますので、開業届の提出とともに、青色申告の申請も視野に入れておくと、翌年以降の節税効果も高まります。