Как быть, если муж запрещает ездить к родителям с ребенком? Советы и истории

Девули, объясните мне, может я чего не так понимаю.
Ситуация следующая. У моих родителей бываем не особо часто, хотя они желают видеть внука, поняньчится и т.д. Бываем может раз в несколько месяцев, приезжаем ненадолго, примерно на неделю. Часто муж бывает занят по работе, втроём поехать бывает не всегда получается, но нередко часто слышу предложение со стороны моей мамы, мол, меня с ребенком может забрать отчим (работает тоже где-то в Подмосковье, но не особо далеко от нашего места жительства); (живем с мужем в Подмосковье, мои живут в новомосковском округе).
Но нередко бывет так, что у нас с мужем из-за этого случается спор/ругань. Мол, "куда вы без меня", " Одних не отпущу" и всë в эттм духе. Притом что с его родителями видимся каждый день, так уж получилось. Я часто припоминаю мужу, мол, до замужества и рождения ребенка я его час о отпускала домой, если нужна была его помощь, отпускала спокойно, без истерик и ругани, почему я не имею права видеть своих? Зачем запрещать/ограничивать?
Я не понимаю как быть в таких ситуациях, порой меня трясëт всю из-за этого. Может у кого была похожая история, как вы справлялись?