Как построить семью с мужчиной, у которого есть ребенок от брака?

Девочки,такая ситуация у меня! Может кто то может понять,и подсказать что в ней сделать и какие нибудь советы дать!

С молодым человеком год в отношениях,у него от брака сын 2 года

И вот у него постоянно переживания,тараканы в голове по поводу него,что он предатель как папа(хотя от него жена ушла сама,он не хотел из семьи уходить) но не суть,как папа он хороший,ребенка берет 2-3 раза во неделю,алименты платит хорошие,но в голове к него треш просто,мы даже пробывали съезжаться,у нас не получилось,так как он не может всему времени уделить,мне сыну,и еще работа!! А сыну надо много времени так как он маленький еще…Девочки!!! Меня это очень накаляет,я в положение вхожу,мозг не ебу…но я хочу семью и тоже внимание достаточно ,как девушка !

По поводу почему все вместе времени не можем проводить,он говорит что не хочет что сын видел что он с чужой тетей,и потом когда вырос лишних вопрос не задавал!Правильная это позиция??? Сидит он с сыном у своей мамы…

При этом,говорит что любит сильно,хочет жить вместе,но мешают ему эти переживания…сложно так построить семью

Мне очень сложно,помогите пожалуйста….как мне быть?его тоже люблю очень…но иной раз хочется все послать….