Как ограничить не подскажу, но комментарий выше не совсем корректный, есть семейный кодекс, там есть 67 статья, согласно которой бабушки и дедушки имеют право на общение с ребёнком, если родитель отказывает, имеют право в органы опеки обратиться, те обяжут, либо дальше в суд. Как на практике устанавливают, не знаю, можно попробовать юриста по семейным делам расспросить

Они не родители , вы можете полностью запретить общение , по закону они не имеют никаких прав на ребенка

Почитайте судебную практику. Вот как отцам, условно, назначают 2 часа вторник + 2 часа четверг + выходные и праздничные, то и бабушке с дедушкой могут подобный график выстроить