Сосед приходит ругаться из-за шума и зовёт мужа на разборки

Когда мы только заселились, первые два раза сосед приходил вместе с маленьким ребёнком. Первый раз было часа 3 дня, муж прикручивал телевизор. Он говорит: «Ребёнок спрашивает, кто там стучит?» Муж по-доброму всё объяснил.

Второй раз он пришёл часов в 7 вечера, когда муж делал дверцу. Опять с ребёнком, опять говорит, что ребёнок спрашивает, кто стучит. Я уже начала с ним ругаться и выгнала его. Муж по-доброму всё объяснил, даже показал, что именно он делает. Он ушёл.

А вчера в 10 вечера он снова приходит. Старшая дочь в это время была в ванной, младшая уже с 8 спала. Он опять начинает: «Я же говорил, у меня ребёнок спит, вы шумите». Муж ему говорит, что мы вообще не шумим.

И тут он уже говорит мужу: «Давай выйдем». То есть буквально предлагает выйти и подраться.

Муж его как-то выгнал, но я теперь вообще не понимаю, что делать с такими людьми. Я с таким первый раз сталкиваюсь. Как вообще правильно себя вести в такой ситуации?