Я думаю, раз вы так спокойно общаетесь, при условии лишь совместного проживания на одной территории, то ему неуместно высказывать Вам свои домыслы. Вы ведь тоже не контролируете его жизнь вне вашей квартиры, я права?
У меня было такое с бывшим (только детей у нас с ним не было, СЛАВА БОГУ). Могу сказать, что все-равно, ни к чему хорошему, такое совместное проживание не привело. Это было мнимое спокойствие.