В общем, кому интересны технические подробности — немного на птичьем языке. У нас работает так, что если автор поста пишет комментарий первого уровня на свой же пост, то уведомление приходит всем, кто комментировал пост, так как считается, что автор добавил что-то важное к самой записи.
И вот обнаружилось, что в постах, где отметилось в комментариях больше нескольких сотен человек и приходит автор и пишет комментарий на сам пост — ставится задача в очередь разослать всем уведомление. В очереди формируется оргомный пакет увеодомлений, консьюмер с ним не справляется за отведенный таймаут, и транзакция отправляется на ределивери, так как важно всем доставить уведомления.
И этот пакет начинает рассылаться заново, снова падает и перегружает всю очередь отправки. В итоге - все уведомления из этого пакета начинают приходить заново при каждой новой попытке его отправить. А вот все остальные уведомления из других записей, личных сообщений и т.п. — стоят в очереди и ждут, когда система протолкнет этот несчастный пакет. И, соответственно, не доходят.
Получается, те, кто отметились в посте — получают бесконечно одни и те же уведомления, а остальные пользователи не получают ничего.
Архитектура очереди нотификаций оказалась в данном кейсе недостаточно эластичной, завтра будем править ее, чтобы такого больше не происходило.
Анюта ·
Мама двоих (младенец)
Никак, сломались уведомления
Анастасия ·
Удалите свой комментарий из ее поста и вам перестанут приходить оповещения
Mommy··
О. Попробую, спасибо
Фиалка·
Не знаю как остановить, но вот мы с мужем бежим друг у другу.уже 6 лет почти) Приятно познакомиться
Фиалка··
@feodora.zhanna ))))))))Сорян)))
Александра··
Мы 15 вместе😂 и да, тоже с этим все в порядке
Яна·
Мама дочки (4 года)
Да забейте уже. С обеда обсуждают одно и то же) сразу ясно было заглючило приложение
Инна·
Мама троих детей
@anastasiyashulga @mommyspb не получится)) администрация закрыла пост до завтра, а уведомления все равно приходят.
Анастасия ··
А зачем закрыли?
Инна··
Мама троих детей
из-за бага.
Mommy··
Ну вот(
valeriia__laz·
Я пропустила что то интересное?😄🙈👀
Инна·
Мама троих детей
В общем, кому интересны технические подробности — немного на птичьем языке. У нас работает так, что если автор поста пишет комментарий первого уровня на свой же пост, то уведомление приходит всем, кто комментировал пост, так как считается, что автор добавил что-то важное к самой записи.
И вот обнаружилось, что в постах, где отметилось в комментариях больше нескольких сотен человек и приходит автор и пишет комментарий на сам пост — ставится задача в очередь разослать всем уведомление. В очереди формируется оргомный пакет увеодомлений, консьюмер с ним не справляется за отведенный таймаут, и транзакция отправляется на ределивери, так как важно всем доставить уведомления.
И этот пакет начинает рассылаться заново, снова падает и перегружает всю очередь отправки. В итоге - все уведомления из этого пакета начинают приходить заново при каждой новой попытке его отправить. А вот все остальные уведомления из других записей, личных сообщений и т.п. — стоят в очереди и ждут, когда система протолкнет этот несчастный пакет. И, соответственно, не доходят.
Получается, те, кто отметились в посте — получают бесконечно одни и те же уведомления, а остальные пользователи не получают ничего.
Архитектура очереди нотификаций оказалась в данном кейсе недостаточно эластичной, завтра будем править ее, чтобы такого больше не происходило.
Ответ Андрея Соловьева
Ксения··
Мама дочки (6 лет)
Все таки они сломала прегги!
Инна··
Мама троих детей
прега вообще чет сломалась)). Мне приходят уведомления через час от всех , кроме автора этого поста ))
ProstoMash·
Мама сына (8 лет)
Самое странное, что запись уже удалена.. а уведомления все еще приходят 🫣
Инна··
Мама троих детей
Потому что не удалена.