ワーキングホリデー所得税

職場の担当者にあなたの見解を伝えて調べてもらったらどうでしょう。
私もあなたの意見が正しいと思います。

　日本の居住者となるか否かについては、日本国内に1年以上住所又は居所を有する個人であるか否かにより判断されます。

　ワーキングホリデーに関するビザで、1年以上の期間の滞在許可の発給を受けていたとしても、そのビザの内容は「その期間中、日本に居住して仕事をしても良い」というビザであり、1年以上日本に居所を有すると認められるかは別問題となります。

　入国時に、日本の居住者か非居住者かを判定するには、1年以上居住することを通常必要とする職業を有する場合などの事情がある場合などは、入国時から「居住者」と推定され、取り扱われます。

　しかし、通常ワーキングホリデーでは、同一の職場で6か月を超えることはできないため、入国時から居住者には該当しないと解されます。

　ただし、貴方の国と日本国との間で租税条約が締結されており、183日ルールという規定がある場合は、183日を超えた（超えると分かった）時点で「居住者」となる可能性があります。
　租税条約の書きぶりが国によって異なるため、確定的なお話はできませんのでお許しください。
　国税庁HPを参考に添付しています。
https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2012.htm

日本に3年とか5年いるつもりで来る
外国人の人はみな最初の1年間は非居住者にされてしまいます。
仕方ないのかもしれません。