Сын не хочет заниматься карате: как поступить правильно?

Расскажите может у кого был схожий опыт. Сын в карате с 4х лет. Занимается 2 раза в неделю, за 4 года в целом неплохие успехи (сдал на пояса , в этом году на зелёный сдавать будет, это уже экватор на пути к черному) на соревнованиях был ни раз, но драться не получается хорошо. Первое место ни разу не взял. Всегда есть в соперниках кто то посильнее (а точнее кто занимается эффективнее, чаще или просто от природы более боевой характер)
У меня сын миролюбивый. На карате мы его сами привели, с учётом того что мальчику учиться драться будет на пользу.
В общем вопрос, этим летом происходит как бы переломный момент, он плавно перешёл в позицию что не хочет ходить на тренировки. Недавно сказал что вообще хочет уйти с карате. Выясняли причину, обещались , основой момент- не люблю драться, не хочу драться.
Он сам по себе творческий интеллектуальныц мальчик, любит читать, рисовать, развиваться именно в умственном плане. А вот в спортивную сторону тяжело ему. Даже подтягивания ему даются с огромной сложностью (точнее не даются) и это при учёте что он 4 года в карате и там их на турник тоже гоняют.
В общем какой путь нам выбрать логичнее и правильнее? Уходить и идти в какой то спорт где нет нужды драться? Или договариваться и убеждать и водить на карате (очень жалко терять его достижения и пояса)
И если уходить, то как ребенку в общественных местах быть? Школа улица? Там не посмотрят на то какой он человек, миролюбивый или нет. Дадут в лоб и как быть?