事務所を納税地にした場合、住民税を事務所分も払わないといけないのですか？

納税地が住所でも事務所でも個人の所得に対して住民税はかかります。
よって、利便性が良いほうにしておけばいいのではないでしょうか。

所得税は、国内に住所又は居所のいずれかがあり、しかも事業所などがある人は、住所地等に代えてその事業所などの所在地を納税地にすることができます。

住民税は、1月1日現在の住所地で、前年中（1月1日から12月31日まで）の1年間の収入等にもとづき、年度毎に課税されます。

住民税は住所地で課税されます。
しかし、住所地以外の市町村に事務所等が存在する場合、その市町村の
住民税均等割りだけ課せられます。

ご質問者様は事務所を納税地としているため、住所地の住民税と併せて、
事務所所在地の住民税均等割りがかかりますが、その額は僅少であるため、事業を行うにあたって便利な方を納税地にすることをお勧めします。
ちなみに大阪市の均等割りは５３００円です。