元彼から生活費のために振込があり、それと給料を足すと103万円を超えそうです。

こんにちは。
元彼さんからの振込は、贈与ということでしたら103万円の壁の計算には含めません。
扶養から外れない範囲内でしたら年収103万円までに収めてバイトするのが良いでしょう。

元彼からの振込が、贈与なのか所得なのかは、
税務署？はどのように判断しているのでしょうか？？

仕事の対価、雇用契約に基づく仕事かどうか。
そうでないなら贈与でしょう。

生活費のための振込みといっても、例えば質問者様が先に生活費を立て替えたいたものを、後で元カレさんから振り込んでもらっていた場合には、実質的には貸していたものを返してもらっただけなので贈与には該当しないでしょう。
お小遣いのように、ただ質問者様の口座残高が増えるだけのような金銭のやりとりは贈与となります。
所得というものは、雇用契約や請負契約等に基づいて、質問者様がなんらかの労働の対価として稼いだものとなります。