Middle\Senior Data Engineer (DP)

We are seeking a motivated and self-driven individual to join our dynamic team. Our team highly values employees’ freedom, independence in decision-making, and desire to deeply understand clients’ requests and identify the root of the problem. We believe that people who embrace this mindset are destined to succeed as acclaimed professionals and driving forces in data development in Ukraine.

СUSTOMER
Our Client is a community-powered fashion marketplace with over 30 million registered users across more than 150+ countries. It’s a platform for discovering and celebrating personal style while promoting sustainable fashion by extending the life of millions of garments. Founded in 2011 and headquartered in London, with offices in Manchester and New York, our Client employs around 400 people. In 2021, it became a wholly owned subsidiary of Etsy but continues to operate independently. The company is committed to diversity, inclusion, and fair recruitment processes, supporting visa sponsorship for certain roles and skill sets.

Job Description

• Contributing to new technology investigations and complex solution design, supporting a culture of innovation by considering matters of security, scalability, and reliability, with a focus on building out our ETL processes
• Working with a modern data stack, coming up with well-designed technical solutions and robust code, and implementing data governance processes
• Working and professionally communicating with the customer’s team
• Taking responsibility for delivering major solution features
• Participating in the requirements gathering and clarification process, proposing optimal architecture strategies, and leading the data architecture implementation
• Developing core modules and functions, designing scalable and cost-effective solutions
• Performing code reviews, writing unit and integration tests
• Scaling the distributed system and infrastructure to the next level
• Building data platform using power of AWS cloud provider

Qualifications

• 3+ years of strong experience with Python as a programming language for data pipelines and related tools
• Familiarity and understanding of distributed data processing with Spark for data pipeline optimization and monitoring workloads
• Proven strong track record of building data transformations using data build tools
• Excellent implementation of data modeling and data warehousing best practices
• Experience working with Looker with a developer proficiency (not user), and with LookML
• Strong Data Domain background — understanding of how data engineers, data scientists, analytics engineers, and analysts work to be able to work closely with them and understand their needs
• Good written and spoken English communication skills
• Familiarity with software engineering best practices: testing, PRs, Git, code reviews, code design, releasing
• Proven strong track record of building data platforms and managing infrastructure for Airflow and Databricks

WOULD BE A PLUS

• Data certifications in Data Engineering or Data Analytics
• 2 or more years of experience with Databricks and Airflow
• Experience with DAGs and orchestration tools
• Experience in developing Snowflake-driven data warehouses
• Experience in developing event-driven data pipelines
  
  __________________________________________________________________
  Наш Клієнт — це громадський маркетплейс моди з понад 30 мільйонами зареєстрованих користувачів у більш ніж 150 країнах світу. Це платформа для пошуку та підкреслення особистого стилю, яка сприяє сталому розвитку моди, продовжуючи життя мільйонам одиниць одягу. Заснована у 2011 році, зі штаб-квартирою в Лондоні та офісами в Манчестері та Нью-Йорку, компанія нашого Клієнта налічує близько 400 співробітників. У 2021 році вона повністю стала дочірньою компанією Etsy, але продовжує працювати незалежно. Компанія прагне до різноманітності, інклюзивності та справедливих процесів підбору персоналу, підтримуючи візове спонсорство для певних ролей та наборів навичок.
  
  Ми шукаємо вмотивовану та цілеспрямовану людину, яка бажає приєднатися до нашої динамічної команди. Наша команда високо цінує свободу співробітників, незалежність у прийнятті рішень та бажання глибоко розуміти запити клієнтів і виявляти корінь проблеми. Ми віримо, що люди, які поділяють такий спосіб мислення, приречені на успіх як визнані професіонали та рушійні сили розвитку даних в Україні.
  
  Обов’язки
• Участь у дослідженні нових технологій та розробці комплексних рішень, підтримка культури інновацій з урахуванням питань безпеки, масштабованості та надійності, з акцентом на побудові наших ETL-процесів
• Робота з сучасним стеком даних, розробка добре продуманих технічних рішень та надійного коду, а також впровадження процесів управління даними
• Робота та професійна комунікація з командою замовника
• Відповідальність за реалізацію основних функцій рішення
• Участь у процесі збору та уточнення вимог, пропонування оптимальних архітектурних стратегій та керівництво впровадженням архітектури даних
• Розробка основних модулів та функцій, проєктування масштабованих та економічно ефективних рішень
• Виконання перевірок коду, написання модульних та інтеграційних тестів
• Масштабування розподіленої системи та інфраструктури на наступний рівень
• Побудова платформи даних з використанням можливостей хмарного провайдера AWS
• Досвід у створенні платформ для роботи з даними та управлінні інфраструктурою для Airflow та Databricks.
  Вимоги
• 3+ роки досвіду роботи з Python як мовою програмування для конвеєрів даних та пов’язаними з нею інструментами
• Знання та розуміння розподіленої обробки даних за допомогою Spark для оптимізації конвеєрів даних та моніторингу робочих навантажень
• Підтверджений успішний досвід побудови перетворень даних за допомогою інструментів побудови даних
• Відмінне впровадження найкращих практик моделювання даних та створення сховищ даних
• Досвід роботи з Looker на рівні розробника (не користувача) та з LookML
• Сильний досвід у сфері Data Domain — розуміння того, як працюють інженери даних, науковці з даних, інженери-аналітики та аналітики, щоб мати змогу тісно співпрацювати з ними та розуміти їхні потреби
• Хороші навички письмової та усної англійської мови
• Знання найкращих практик програмної інженерії: тестування, PR, Git, перевірка коду, дизайн коду та реліз

Перевагою буде:

• Сертифікати в галузі інженерії даних або аналітики даних
• 2 або більше років досвіду роботи з Databricks та Airflow
• Досвід роботи з DAG та інструментами оркестрування
• Досвід розробки сховищ даних на основі Snowflake
• Досвід розробки конвеєрів даних, керованих подіями