Не сколько раз видела вопросы о том, что не понятно, какие профессии могут востребованными и высокооплачиваемыми. Я…
Не сколько раз видела вопросы о том, что не понятно, какие профессии могут востребованными и высокооплачиваемыми.
Я решила запустить проект по сбору и обработке информации о вакансиях с hh.ru.
Hh даёт возможность законно парсить данные о вакансиях.
Эти данные я планирую обработать и публично выложить в виде дашбордов. Дашборды дают возможность с помощью срезов (фильтров) посмотреть информацию в любом разрезе. Например, я выложу данные по зп по всем вакансиям России, а с помощью срезов конечный пользователь сможет посмотреть среднюю зп в определённом профессиональном сегменте (например маркетологи) в своей области, сможет сравнить со средними данными по России. Можно будет увидеть, какие сферы деятельности востребованы в конкретной области, а по какой почти нет вакансий.
Ну и удаленка, можно будет сделать отдельный портрет: какие вакансии бывают, с требованием опыта или без, какая зп и т.д.
Я подобное исследование делала для себя дважды.
Основная затратная часть по времени - это парсинг. Hh даёт доступ к данным легально. Но за раз можно выгрузить данные меньше чем о 2000 вакансиях, чаще это чуть больше 1000.
Выгрузки можно делать не чаще, чем 2-3 в час. В сутки удаётся получить данные о 20000-30000 вакансий. В прошлый раз у меня потребовалось почти 2 месяца на сбор данных. В этот раз нет такого количества свободного времени, и за сутки удаётся выгрузить в среднем 10000 вакансий. То есть в одиночку работать 3-4 месяца.
Мне нужна помощь именно в парсинге. Для этого никаких специальных знаний не нужно. Только аккаунт в гугл. Код для паркинга написан на python, в нем нужно будет только менять даты и область.
В работа ведётся в Google colab. Файлы сохраняются на компьютер в виде excel и csv. Эти файлы нужно будет сохранить в общую папку на гугл диске.
Итоговые данные будет обработаны python, первичная аналитика будет в power bi, окончательные результаты планирую выложить в либо в yandex datalends (у них есть возможность выкладывать дашборды в публичное пространство и по ссылке можно будет его найти) либо, если что-то не будет получаться - это будет несколько дашбордов в гугл таблице, данные тогда придётся делить по файлам и аналитика будет по ФО.
Кто учился в тгу на аналитика данных, за основу я взяла те инструменты, которые нам давали, но немного доработал их.
Сам проект полностью бесплатный.
Всем участникам, кому будет интересно, я покажу онлайн, как буду обрабатывать информацию и объясню, почему так. Так же все собранные материалы останутся в общей папке на google диске, и их можно будет использовать для своей практики, или для портфолио.
Если вам хотелось бы поучаствовать - пишите в комментариях или в личку.
Если вам хотелось бы посмотреть результаты - поставьте пожалуйста лайк. Чем больше людей увидят пост, тем больше шансов будет собрать команду.
Ещё в комментариях укажу названия ФО, если вам интересны данные только по ФО - укажите это (например лайк). А то может какие-то регионы не будут востребованы вообще, и тогда можно будет не брать их в работу.
Ирина·
Мама дочки (3 года)
Вся Россия
Ирина·
Мама дочки (3 года)
Только удаленка
Марина··
Мне бы была интересна информация про удалëнку с неполной занятостью
Саша··
Мне тоже
Евгения··
Мама троих детей
Я тоже за удаленку. Интересно будет увидеть результат в срезах)