Data Engineer: анализ вакансий 2021 года и план развития
Герой нашего времени – Data Engineer. Высокая зарплата и огромный спрос — это лишь малая часть того, что делает эту работу чрезвычайно привлекательной. О чем говорят хантеры?
В последнее время мы часто слышим про Big Data, ML и искусственный интеллект. С приходом цифровой трансформации в нашу жизнь возникают новые специальности в IT-сфере. К примеру, Data Engineer. Высокая зарплата и огромный спрос — это лишь малая часть того, что делает эту работу чрезвычайно привлекательной! Эксперты Центра оценки и кадрового развития проанализировали более 70 вакансий на позицию Data Engineer, размещенные на известном Job-ресурсе в 2021 году. Мы смотрели, какие ключевые требования попадаются в описаниях вакансий, рассчитанных на жителей г.Москвы. Для каждого ключевого слова мы посчитали процент попаданий от общего числа вакансий.
Ниже представлены 15 технических требований из сферы Data Engineering
Как и ожидалось, SQL и Python фигурируют в более чем 70% рассмотренных вакансий. Именно эти технологии имеет смысл изучать в первую очередь. Python – очень популярный язык программирования, применяющийся для работы с данными, создания вебсайтов и написания сценариев. SQL (англ. structured query language — «язык структурированных запросов») — декларативный язык программирования, применяемый для создания, модификации и управления данными в реляционной базе данных, управляемой соответствующей системой управления базами данных.
Еще один из наиболее часто встречающихся запросов к соискателям на позицию Data Engineer – это опыт работы с Apache Hadoop: платформа с открытым исходным кодом для надежной, масштабируемой, распределенной обработки больших наборов данных с помощью простых моделей программирования. «Озеро данных» – так еще называют Hadoop. 49% вакансий содержат требования к опыту работы с Apache Hadoop.
В 45% вакансий говорится об умении работать с СУБД PostgreSQL. В условиях активного импортозамещения такая тенденция является очевидной: «Росатом» и «Ростелеком» уже объявили о своем желании перейти на отечественную базу данных.
Ну и конечно же, пятерку лидирующих требований (в 41% вакансий) завершают навыки работы с подсистемами ETL: Извлечение, преобразование и загрузка (ETL). Перемещение данных от источника к получателю называют потоком данных. ETL следует рассматривать не только как процесс переноса данных из одного приложения в другое, но и как инструмент подготовки данных к анализу.
Примерно в трети вакансий упоминаются Apache Airflow – инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных. СУБД Oracle попадается примерно в четверти вакансий (23%). Как правило, это банковские вакансии.
В 20% вакансий Работодатели хотят видеть у соискателей опыт работы с ClickHouse и Scala. ClickHouse – столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических запросов (OLAP). Scala – язык программирования, активно использующийся при работе с большими данными. В частности, на Scala создавался Spark.
Дальше в 17% вакансий упоминаются BI-системы и язык Java. Цель BI — интерпретировать большое количество данных, заостряя внимание лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия решений.
Java – один из самых востребованных языков программирования в мире и один из двух официальных языков программирования, используемых в разработке Android (другой – Kotlin). В марте этого года Oracle выпускает 16-ю версию Java, а уже осенью выйдет 17-я версия – следующая версия с долгосрочной поддержкой (LTS).
И практически завершают наш обзор вакансии, где в 13% хотят видеть опыт работы с Docker и Kafka. Именно Docker позволяет «Упаковать» приложение» со всем его окружением и зависимостями в контейнер, а также предоставляет среду по управлению контейнерами. С помощью брокера сообщений Apache Kafka микросервисы взаимодействуют друг с другом, посылая и получая важную информацию.
Наши эксперты обратились к сообществу Data Engineer за рекомендациями по самостоятельному изучению технологий, проанализировали доступную литературу, видеоматериалы, бесплатные курсы и сделали План развития основных профессиональных навыков для Data Engineer. Наши читатели могут ознакомиться с планом развития по ссылке:
План развития для Data Engineer
Наталья Карташева,
Эксперт Центра оценки и кадрового развития