ИТ семья Магнит

Наша команда разрабатывает передовые ИТ решения и разворачивает инфраструктуру
для самой крупной розничной сети в стране, обеспечиваем работоспособность более
22 000 объектов.
Нам есть чем гордиться:

  • Более 2500 ИТ специалистов по всей стране;
  • Разработано более 800 информационных систем и сервисов;
  • Более 100 ИТ проектов;
  • Применяются десятки различных технологий, от Enterprise платформ для центральных высоконагруженных сервисов Oracle/Java EE до наименее ресурсоемких – FB, Python;
  • Ведется разработка приложений, работающих с различным оборудованием (касс, весов,ТСД, мобильных устройств и не только);
  • Активно используем и внедряем облачные технологии (Microsoft Azure, Office 365 и др.);
  • "It для людей" – Magnit tech, митапы, тренинги, кибер-лига, лайфхаки.

Чем занимается data engineer:

  • Организация процессов хранения и аналитики данных ритейла на базе системы из кластеров ADH, Greenplum, ClickHouse.
  • Организация ELT/ETL в ADH из Teradata ,Oracle, MsSQL, BDA, db2, Greenplum, ClickHouse.
  • Организация процессов оптимального хранения/валидации/мониторинга качества данных в ADH.
  • Выполнение функций эксперта в контексте процесса организации гибридного хранилища ADH, Greenplum, ClickHouse.

Что для нас важно:

  • Отличное владение компонентами платформы Hadoop необходимыми для организации ELT/ETL (от 2-х лет).
  • Владение одним из ЯП поддерживаемым Spark-ом , желательно Python (от 2-х лет).
  • Отличное знание SQL, желательно Teradata (от 2-х лет).
  • Значительным преимуществом будет понимание принципов работы Hadoop, умение производить тонкие настройки для максимизации КПД кластера.
  • Желательно иметь в стеке максимально кол-во совпадений: Informatica, Bash, Hdfs, YARN, Spark, TDCH, Sqoop, Oozie, Hive, Parquet, ADH, Spark-submit, Linux, Pyspark, Delta Lakе, Pyspark, Python, Postgresql.
  • Любить решать нестандартные, сложные, интересные задачи. Уметь доводить их решение до логического конца.

Ты получишь уникальный опыт в крупной Компании, не обещаем, что будет легко, но точно интересно:)

Hadoop data engineer
В архиве с 12 декабря 2020

з/п не указана

Вакансия в архиве

Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию

Показать описание вакансии

Похожие вакансии