Нужно собирать все , все справки, чеки в подтверждение того, что детьми занимаетесь только Вы, показания свидетелей, что отец не принимает участия в жизни детей и т.п.
Если отец просто не принимает участие в воспитании и не платит алименты, то могут отказать. Нужны веские причины: рукоприкладство или психологическое насилие например