法人設立した時の税理士から変更に必要な手続きはありますか？

こんにちは。
契約の解除に関して、双方の意思確認のために書面を交わしておくのもいいかと思います。
基本的には解約する税理士に渡している資料を返してもらったり、クラウド等を利用して記帳などを依頼している場合にはアカウントの共有をやめたり、マイナンバー確認書類やマイナンバー記載書類は返却を要するものは返却してもらい、破棄してもらうものは責任を持って破棄してもらうようにしましょう。
なお、e-TaxやelTaxなど電子申告に利用する利用者識別番号及び暗証番号は引き継ぎで必要ですので、必ずご自身でも把握されておくことをお勧めします。
あとは契約書や覚書に記載がある項目で契約終了時に該当する項目がなければそのくらいかと思います。
以上、ご参考になれば幸いです。

現在契約を交わしている税理士さんとの契約書の解約に関する事項を確認しておいた方がいいかと思います。解約が何ヶ月前予告か、他に解約するに当たって留意すべきことはないかなど。解約予告が数ヶ月かってもそれより短い期間で解約を承諾してもらえる場合もあるかと思います。

仁義を切ることでしょうか。おろそかにすると、引き継いだ税理士も雰囲気を感じ、まともに取り合っていただけない、というのが最大のリスクでしょうか。中長期的には大きなダメージとなるでしょう。