Как объяснить ребёнку, что нельзя жить с бывшим мужем и его новой семьёй?

Ситуация: мы с мужем в разводе уже 4 года. У него уже 2 года жена и у них родилась дочь, ей годик. Неделю мой сын с ними, неделю со мной.

И тут мне сын заявляет: я хочу, чтобы мы жили вместе, ну или чтобы я ездила к ним в гости тоже, чтобы тоже играла с его сестренкой и все в этом духе.

Мы, конечно, с супругой бм в хороших отношениях, но не настолько, чтобы пробовать подобный формат общения. В связи с этим вопрос: как сыну корректно донести, что это невозможно? Кто сталкивался с подобным? 😅