Ребёнок проживает с вами судя по всему , а как иначе? С другой стороны он тоже родитель и имеет право видеться когда может и хочет этого. Нужно обращаться в суд за порядком общения и определением места жительства несовершеннолетнего. Тогда по суду определите конкретные дни когда вам удобно.
А какое у вас сейчас есть право лишать друг друга ребенка и отца?