Сын не понимает речь в саду: стоит ли его там оставить? Нужен совет!

Девочки, нужен ваш совет. Старший сын своеобразно развивается, пошел поздно, говорить начал вот только только, обращенную речь понимает пока частично. Но при этом сам по себе не проблемный, не истерит особо, не крушит, не ломает. Знает цифры, буквы на русском и Английском, всех животных, цвета, транспорт и куча всего другого. Но вот это непонимание обращенной речи естественно очень мешает ему в повседневной жизни. Мы занимаемся с 1,5 у дефектолога и ходим на сенсорную интеграцию. Возможно благодаря им, а может и прошло просто время - начал говорить. То есть явная проблема в развитии есть, но я работаю над ней с самого раннего возраста. И педагоги, и неврологи твердят, что ему нужен сад, общество детей, так как он не любит с ними коммуницировать (ну а как любить, если он их не понимает и они его).
Вторую неделю как отдала в сад, адаптация очень мягкая, он привык ходить на занятия, поэтому и в садик не особо проблематично. Единственное, он там на фоне сверстников совсем малыш (из-за того что не понимает речь, много что не умеет, как минимум до сих пор в памперсе в общественных местах)
Воспитатель хорошая, группа маленькая, но воспитатель мне дает понять, что его нахождение в саду отвлекает детей, так как ей приходится ему больше внимания уделять, другие детки не понимают почему он в памперсе, почему он не делает всего что делают они. Я понимаю, что воспитателю сложнее с ним, чем с остальными, хотя в остальном он не создает проблем, спокойно играется , ни с кем не ругается и тд.
Так вот, после того как она мне это сказала, во первых, я очень расстроилась , почему у него такие проблемы, когда уже у него будет полное понимание речи((( во вторых, я не понимаю что делать дальше. С одной стороны, мой ребенок, который нуждается в компании детей (за неделю он научился сам ходить на горшок, хотя я с года его учу, а тут увидел других деток и сразу повторил дома), ему это дай Бог поможет восполнить пробелы в развитии, с другой стороны , воспитатель и другие детки. Совсем не знаю как быть, чтобы всем было хорошо. Что вы посоветуете ?