還付金が急に無くなった

毎月の給与明細書が手元にあれば、還付金を貰っていたときの源泉所得税と、もらえなかった年の源泉所得税を比較してもらって、同じくらいの金額であれば、外部委託先が間違っている可能性は考えられると思います。

収入や控除の内容に一切変わりがない場合には、月々の源泉税の計算が間違っていた(源泉徴収税額が少なかった)ことが考えられます。
昨年の給与明細が残っていれば月々の源泉税の金額が正しかったのか、年末調整の計算が正しかったのかを第三者に確認して頂くことが望ましいと思います。
なお、月々の源泉税が間違っていたとしても年末調整が正しく計算されていれば、その時点で正しい年税額に修正されたことになります。従って、損になっている訳ではありませんのでご留意ください。