Как совместить планирование беременности и поездку мужа в горы?

Смотрю на ситуацию со всех сторон.
Мы с мужем довольно разные, в отношениях к быту/друзьям/семье и в целом к развлечениям.
Он общительный и позитивный, он с легкостью заводит новые знакомства, часто встречается с друзьями, при этом много времени проводит с нами (дочкой и мной) и часто навещает родителей. Я же наоборот больше одиночка и не люблю большого скопления людей, предпочитаю общаться 1 на 1. Но сейчас не об этом.
Два месяца назад мы стали планировать малыша. До этого я думала, когда же я буду готова, пока не услышала от нескольких врачей, что чем раньше у меня получится забеременеть, тем будет лучше (низкий АМГ).

Но тут любимому предложили в мае поехать организованной группой в горы, подняться на какую-то вершину, и он так загорелся этой идеей, что я аж растерялась… у меня в мыслях «а если я буду беременная, а ты на две недели уедешь и оставишь меня с ребенком», «а если я буду беременная, а ты там с кем-то»… в общем, часть мыслей я ему озвучила, на что он мне сказал «поедем вместе!» 🤷🏻‍♀️
А у меня в голове опять «а как же дочка», «а как же беременность».
А он мне «подождем! 4 месяца- ерунда! Дочка побудет с родителями»
У меня в мыслях «она будет скучать, и я буду скучать…»

Это я всё к чему…
Я первый раз почувствовала, что не могу разделить с ним его желания. Совсем. Даже если поеду, я понимаю, что это будет всё не то для меня.
Отговаривать и навязывать свои мысли тоже не буду. Он ясно дал понять, что ему это НАДО. И очень зовет поехать с ним. А я не могу оставить дочку и свои мысли о планировании беременности.

P.S. Финансовую часть этой истории опустим.

Мы взрослые люди, никто никому ничего не должен. Просто внутри опустошение от мысли, что он может оставить нас и уехать куда-то с кем-то на две недели.