Возможно не рано, а просто не его вид спорта. Пробуйте другие направления.

Может эта гимнастика ему даром не сдалась. Мой брат в вашем возрасте с отцом игрушки паял и в 6 лет сам из игрушек одну большую игрушку собирал сам с помощью этого же паяльника да с 7 лет в робототехнике. Отвели бы его на гимнастику, он бы еще в 4 года нам у виска покрутил. (Не говорю за всех, просто как припер привела)
Поинтересуйтесь у сына, что ему больше всего нравится. У меня тренер по легкой атлетике собирал группы от 4 до 6лет в детскую футбольную команду, очень много мальчуганов было, играли.