支払調書の金額と、手元の収入額が異なる

免税事業者の場合、消費税込み・源泉徴収税込みの総額で売上を計上します。
売上：1,650,000円
交通費の支給を受けた場合、
・交通機関等から、業務委託先宛ての領収書を受領し、業務委託先に提出した場合は、交通費の立替なので、所得に含まれません。
　支払時：立替金／現金等
　精算時：預金等／立替金
・上記以外の場合は。実費精算であっても、報酬の一部として取り扱います。
　支払時：旅費交通費／現金等
　精算時：預金等／売上
報酬の一部として取り扱う場合は、交通費見合いも源泉徴収の対象となりますが、源泉徴収税額から推察するに、対象となっていないようです。
1,500,000円×10.21%=153,150円≒153,149円

なお、退職金は消費税の対象外ですので、相談者様がインボイス発行事業者でない限り、免税事業者かと存じます。
支払調書は本来、業務委託先が税務署へ提出する書類であるのと同時に、税抜き金額（150万）に源泉税率（10.21%）を乗じる場合は、本体価格と消費税額を明らかにする必要があるため、記載があるものと思います。

◆ご参考
・No.2792 源泉徴収が必要な報酬・料金等とは
https://www.nta.go.jp/taxes/shiraberu/taxanswer/gensen/2792.htm

ご回答ありがとうございます。
ただ、私の方の知識不足で理解が追いつかないところがあり、実際にどう対応したらいいのか分からないので、追加で教えていただけますでしょうか。

今回の私の場合、計算ソフト（やよいの白色申告）で導かれた収入金額1,584,000円、源泉徴収額3,149円をそれぞれ修正し、支払調書にある支払金額1,650,000円をソフトの収入金額欄に、また、源泉徴収額の153,149円をソフトの同欄に、入力するべきということでしょうか？

それともソフト上の数字はそのままにしておけばいいということでしょうか？

理解力が足りなくて申し訳ありません。教えてください。よろしくお願いいたします。

4月～12月の間に発行された請求書等の金額を合計してみてください。

請求書の内訳は
①報酬（消費税込）
②源泉徴収額
③差引支給額（①－②）
となっていると思います。
支払調書が正しければ、
①報酬の合計が1,650,000円
②源泉徴収額の合計が153,149円
になると思いますし、そうなるように各請求書の金額を計算ソフトに入力していくことになります。