年末調整の差額

税務署が源泉徴収、主に年末調整の間違いを指摘する場合、ある年の配偶者控除が間違いです。確認の上訂正してください。ついでにその前年、前々年も確認の上、間違っていたら訂正してください。という風な感じです。
つまり、ある年は間違っているが、前年又は前々年は間違っているとは限らないが、間違っていたら訂正してください、ということです。
対応としては、前年又は前々年は、間違っていないと会社に伝え、できれば配偶者の所得のわかるものを提示するのがベストです。

しかし、差額に大きな問題がない前後の年からも徴収すると言われました。このようなことは普通なのでしょうか？

→　あなたが行動しようとするのは、普通かどうかではなく、他の年は間違っていないので、訂正が不要であることを会社に伝えることです。

お返事ありがとうございます。配偶者控除のカテゴリー（控除額）に影響しない程度の差額に対しては、通常は徴収を求められないという理解でよろしいでしょうか。書類提出とともに、職場にその旨伝えたいと思います。

税額に影響しない誤差については、訂正しても徴収はあり得ません。
職場にその旨を伝えれば良いと思います。