Data Engineer

Обязанности:

  • Разработка процессинга данных с нуля согласно продуктово-техническому решению бизнес заказчиков от точки поступления данных из рекламной SDK до основных стороджей данных
  • Сопровождение и поддержка всех стадий процессинга данных, разработка методологий процессинга данных, работа с отказоустойчивой системой, репроцессингом и гарантированной доставки данных, реалтайм мониторинг процессинга
  • Работа с геораспределенными центрами обработки данных, обеспечение достоверной передачи данных и их обработку
  • Использование облачных систем хранения данных Amazon, Google, кластер базы данных Clickhouse, кластер Vertica.
  • Работа с 500Tб геораспределенных данных
  • Плотная и качественная работа с отделом BI аналитики, участие в ресечах и проектах по машинному обучению (Детект фрод трафика, adult трафика и пр.)
  • Работа в продуктовой команде с ясными целями и задачами
  • Развитие в себе носителя знаний о данных и шаринга эти знания в компании среди коллег, развитие глубоких аналитических навыков, умение погружаться в детали, составлять технические решения, анализировать большие объемы информации и принимать решения

 

Требования:

  • Уверенное владение и опыт разработки на языках Java, Scala
  • Уверенное владение и опыт работы с базами данных и SQL
  • Опыт работы с дата процессингом и уверенное владение Spark Streaming, Spark SQL, Map/Reduce
  • Уверенное владение Kafka
  • Знание принципов хранения данных, методов ETL, интеграции данных и стриминга
  • Знание базы данных Clickhouse будет существенным преимуществом
  • Опыт работы с аналитическими системами
  • Умение работать с аналитиками для сбора данных, требований и перевода их в задачи по разработке данных
  • Желание самостоятельно изучать новые технологии
  • Умение строить архитектуру распределенных систем данных

 

Условия:

  • удаленный full time
  • заработная плата в $
  • обучение английскому языку за счет компании
  • покупка ноутбука при необходимости
  • оффлайн встречи с командой в Европе
  • посещение профильных конференций
  • покупка профильной литературы
  • pizza days 🙂
required
required
Upload CV
Airpush
Current product
AirData
Data monetization without the use of ads
Coming soon
AirMining
Creative device monetization
New
Tapcore
Monetize pirated installation of your apps