Не сколько раз видела вопросы о том, что не понятно, какие профессии могут востребованными и высокооплачиваемыми.
Я решила запустить проект по сбору и обработке информации о вакансиях с hh.ru.
Hh даёт возможность законно парсить данные о вакансиях.
Эти данные я планирую обработать и публично выложить в виде дашбордов. Дашборды дают возможность с помощью срезов (фильтров) посмотреть информацию в любом разрезе. Например, я выложу данные по зп по всем вакансиям России, а с помощью срезов конечный пользователь сможет посмотреть среднюю зп в определённом профессиональном сегменте (например маркетологи) в своей области, сможет сравнить со средними данными по России. Можно будет увидеть, какие сферы деятельности востребованы в конкретной области, а по какой почти нет вакансий.
Ну и удаленка, можно будет сделать отдельный портрет: какие вакансии бывают, с требованием опыта или без, какая зп и т.д.
Я подобное исследование делала для себя дважды.

Основная затратная часть по времени - это парсинг. Hh даёт доступ к данным легально. Но за раз можно выгрузить данные меньше чем о 2000 вакансиях, чаще это чуть больше 1000.
Выгрузки можно делать не чаще, чем 2-3 в час. В сутки удаётся получить данные о 20000-30000 вакансий. В прошлый раз у меня потребовалось почти 2 месяца на сбор данных. В этот раз нет такого количества свободного времени, и за сутки удаётся выгрузить в среднем 10000 вакансий. То есть в одиночку работать 3-4 месяца.

Мне нужна помощь именно в парсинге. Для этого никаких специальных знаний не нужно. Только аккаунт в гугл. Код для паркинга написан на python, в нем нужно будет только менять даты и область.
В работа ведётся в Google colab. Файлы сохраняются на компьютер в виде excel и csv. Эти файлы нужно будет сохранить в общую папку на гугл диске.

Итоговые данные будет обработаны python, первичная аналитика будет в power bi, окончательные результаты планирую выложить в либо в yandex datalends (у них есть возможность выкладывать дашборды в публичное пространство и по ссылке можно будет его найти) либо, если что-то не будет получаться - это будет несколько дашбордов в гугл таблице, данные тогда придётся делить по файлам и аналитика будет по ФО.

Кто учился в тгу на аналитика данных, за основу я взяла те инструменты, которые нам давали, но немного доработал их.

Сам проект полностью бесплатный.

Всем участникам, кому будет интересно, я покажу онлайн, как буду обрабатывать информацию и объясню, почему так. Так же все собранные материалы останутся в общей папке на google диске, и их можно будет использовать для своей практики, или для портфолио.

Если вам хотелось бы поучаствовать - пишите в комментариях или в личку.

Если вам хотелось бы посмотреть результаты - поставьте пожалуйста лайк. Чем больше людей увидят пост, тем больше шансов будет собрать команду.

Ещё в комментариях укажу названия ФО, если вам интересны данные только по ФО - укажите это (например лайк). А то может какие-то регионы не будут востребованы вообще, и тогда можно будет не брать их в работу.