Не стоит, тем более на маленьком сроке, самое опасное время. Лучше потерпеть. Я отказалась от бани, хотя очень люблю, здоровье малыша важнее. Потерпите хотя бы первый триместр, а потом в негорячую. Врач скорее всего скажет нельзя, зачем ему брать на себя такую ответственность.
Проконсультируйтесь с врачом. Но если для вас баня-это привычно! То можно и без фанатизма. Я во время обеих беременностей ходила в баню, но не парилась, просто сидела на палатях!