Как поступить, если племянник обижает вашего ребенка?

Такая ситуация, у моего сына есть двоюродный брат 9 лет, по линии мужа. Он не идеален, но я никогда не бралась его воспитывать. Но в последнее время, стала не выдерживать. Когда мы приходим к ним в гости, это бывает не часто. Племянник мужа, начинает через 20 мин спрашивать, когда мы уйдём и нервничать по поводу того, что мой сын заходит к нему в комнату. И это даже на его др происходит, когда мы пришли с подарками на праздник. И вчера я не успела забрать сына и племянник ударил дверью малыша, типо не специально. Его мать, не вмешалась в это. Вмешалась только я, но по глазам было видно, что мои слова как об стенку горох, ведь мама не наказала. На сдедующий день, я написала ей, что мы ходить в гости не будем, раз нам он не рад, зачем нервировать племянника. И получила полное согласие со стороны мамы племянника. Что сын в этом не виноват, просто он сильно устаёт от гостей и лучше нам не приходить. Для меня это было странно, на ее месте я бы, поговорила со своим взрослым сыном и объяснила, что так относиться к гостям и малышам нельзя. Я понимаю, что для каждой мамы свой ребёнок всегда прав. Но ведь, есть же правила и нормы, такие как, помогать старикам или не обижать малышей. Отныне мы не будем видеться даже на праздники.
А как бы, действовали вы?