Можно ли лишить родительских прав при уплате алиментов

Если человек платит алименты и изредка проводит время с детьми, в основном подкидывая детей своей маме, его невозможно лишить родительских прав?