固定資産の交換特例について

特別な関係の人とはダメとかいう規定はないみたいです。

どの規定を想定しているのか不明ですが、所得税法５８条では、
「交換により譲渡する資産の時価と取得する資産の時価との差額が、これらの時価のうちいずれか高い方の価額の20％以内であること。」

は、前提条件なしでの要件であって、「特別な関係」に限定されません。
なお、通常、第三者間の取引であれば、交換に至った事情等に照らし合理的ならばそれが、その資産の時価となりますから、差金受渡しがない限り、20％が問題になりません。

それが、贈与等をしても良い関係であるならば、目的は贈与だけど交換に見せかければ無税という脱法（脱税）行為を防止するため、20％が厳格にせざる得ないという解釈です。
法文上は明文はないです。

20％を厳格に判定するという意味なら、夫の両親、妻の両親での交換は厳格に考える必要があるでしょう。