Как поехать в отпуск с детьми без согласия бывшего мужа?

В общем наконец-то у меня отпуск, первый за 7 лет. Хочу с детьми полететь в отпуск на море. Но такая ситуация, у нас решение суда, что бм видится с детьми по субботам в моем присутствии, у нас ужасные отношения, он приезжает к детям 1-2 раза в месяц в субботу, в другие дни не звонит, не пишет, но очень редко бывает в субботу может позвонить, но дети не разговаривают, в итоге отключается.
Как-то при встрече дети сказали, что скоро полетим в отпуск, на что он сказал это я сомневаюсь, со мной потом вместе летом поедем.
Сейчас он и так более менее успокоился, а то все ходил по опекам, судам, участковому каждую неделю звонил жаловался вызывал его, наговаривал на меня там всякое выдумывая.
Думаю если буду просить согласие написать, то он на зло специально не подпишет. И тем более если будет знать, что мы так поехали, то начнет везде звонить и говорить, что он не согласен и т.д.
А что если мы просто слетаем и всё? Как-то у девочек спрашивала, говорят не спрашивают разрешение от второго родителя. Потом конечно от детей это узнает, но уже будет поздно)
Как лучше поступить? Подскажите, кто сталкивался.