確定申告に関して分からないので不安です。

まず、「103万円」というのは、収入が給与所得（正社員もアルバイト・パートも給与所得です）のみの人に限った話なので、あなたの認識は誤りです。
所得税は、収入ではなく所得に課税されます。つまり、
収入（売上）－経費＝所得
という関係にあるので、所得税の世界では、収入と所得は全く意味が違います。自分で商売をする場合は、所得を利益と言い換えれば理解しやすいでしょう。分かりにくいのは給与所得です。給与については、所得税では「経費に相当する金額」を機械的に計算して所得を算出することになっています。従って、給与所得者も収入と所得は全く違うことになります。
結局、種類の違う収入をたして所得税の話をすることには意味がありません。

ここまで理解してもらったところで、ようやく本題に入ります。
給与所得者には、副収入の所得が20万円以下であれば確定申告の義務が免除される特例があります。収入ではなく所得で判断するので、経費を多く計上できれば、たとえ収入が多くても確定申告不要に持ち込めることになります。もっとも、確定申告が不要になるような所得ということは、生活費を稼げていないとも言えます。ということは、アルバイトをすぐに辞めてしまったら生活できなくなるかもしれない、ということも頭に入れる必要があります。そうなったら確定申告以前の問題です。
ちなみに、この特例には給与の金額は関係ありません。
また、年末調整では副収入を考慮することができません。そこで、「少額なものまで確定申告させる必要はないだろう」ということで、手間を省くために上のような特例が設けられています。