ロイヤリティの算出方法の注意点について

結論
ロイヤリティ額を「売上 − マージン − 自社利益」で変動させる設計は問題ありません。ただし “計算式を契約書に明記” しないと後でトラブルになります（税務調査でも契約書が最重要）。
キャラクターの著作物を使用させる対価＝著作権使用料 ですので、ロイヤリティ支払時は 源泉徴収が必須 です。
源泉徴収の区分は所得税法204条1項2号「著作権の使用料等」に該当します。

理由
① ロイヤリティ算定方法について
著作権使用料は
固定額方式
売上歩合方式
費用控除後の利益配分方式（今回）
いずれも認められています。
今回のように 設置場所ごとに異なるマージン → ロイヤリティも変動
は普通の商慣行で問題ありません。
ただし、税務調査では契約書が見られるため、以下は必須です
「ロイヤリティ算定式」を明記
例：ロイヤリティ＝（ガチャ売上−設置場所マージン−当社利益●円）×◯％
設置場所ごとのマージン率の扱い
売上報告方法
精算タイミング
負担する費用（不良品・返品）が誰か
売上証明（レポート・POS・台数）
契約書に数式が書かれていないと 税務署から「恣意的」「寄附金」等の指摘リスク が出るため、安全側で“数式を文章化”しておく必要があります。

② 源泉徴収が必要な理由
キャラクター使用料（ロイヤリティ）は、「著作権等の使用料」＝源泉徴収義務ありと法律で定められています。
会社 → 個人へ支払う場合
源泉税率：10.21％（租税特別措置法適用なしの通常ケース）
計算式：
源泉徴収税額 ＝ 支払ロイヤリティ × 10.21％
※相手が法人なら源泉徴収不要。
③ どの区分に該当するか
所得税法204条1項の源泉徴収対象のうち 第2号 に該当します
第2号：著作権、著作隣接権、商標権、意匠権の使用料等
キャラクターは著作物の一種であり、グッズ化（商品化）・ガチャ販売で使用する場合は、著作権の使用許諾料＝第2号の源泉対象 となります。

ご教示ありがとうございます！
大変詳しくご説明頂きわかりやすかったです。
契約書作成に大いに参考になりました。