У сына забавно работает логика: противоположностью "маленькому" является "тяжёлый"))
Такая ассоциация может возникнуть и из вашей речи. Вы ему говорите ты такой маленький. Но такой тяжелый.
Как пример.