Было такое во время схваток, мне сказали что это хороший признак, что иднь раскрытие. Но в вашем случае нужно идти к гастроэнтерологу, может кислотность повышена.

У меня практически всю беременность так было

Конечно не нормально. Идите скорее ко врачу, гастроэнтерологу, скорее всего вам пропишут желчегонное.