開業届

税務署に直接行く必要はないです。
受信通知というものが出ていれば、正しく遅れていると思います。
e-Taxのメッセージボックスをご覧ください。
押印も不要です。

電子証明書の登録という項目がありますが、こちらで大丈夫でしょうか？

また、税務署の押印がないのですが、証明するものは控えと受信通知を印刷したもので開業届を出したという証明になるのでしょうか？

それとも他に必要な書類はありますでしょうか？

いえ、電子証明の登録ではなく、メッセージボックスを見ると　受付完了、開業届、あなたのお名前、受付時間等でてきませんか？
そこで詳細表示を押して頂くと受信通知がでてくると思います（送れているのなら）。
届けを提出した証明になります。
他には、状況によりますが、青色申告されるのであれば、青色の届等かと思います。