Провідний фахівець з даних (Lead Data Engineer)

Запрошуємо приєднатися до нашої команди Провідного фахівеця з даних (Lead Data Engineer)

Обов’язки: проектування та розгортання on-prem data lakehouse і формування потоків даних (stream/batch) для CV/Recsys/Forecast, із гарантіями якості/доступності, observability та контрольованою собівартістю.

Зони відповідальності: 

• Архітектура даних і моделювання, зонування (raw/curated/feature), data contracts; 
• Потокові та пакетні конвеєри, вітрини (feature store/data marts), SLA/SLO; 
• Інтеграція джерел: POS/ERP/WMS/e-com/мобільні, CDC (Debezium), схеми/каталог; 
• Data quality/lineage/метадані: правила DQ, автоматичні тести, каталогізація, PII-контроль; 
• Продуктивність/надійність: near-real-time канали, оптимізація зберігання/обчислень, cost-aware дизайн; 
• Векторний шар під персоналізацію: версії ембеддингів, SLA оновлення, сумісність з онлайн-сервінгом; 
• Взаємодія з DS/MLOps: вимоги до фіч, версіонування, сервіс-рівні.

OKR (приклади): 

1. Стабільність DQ-правил 99% на критичних таблицях; 
2. SLA доступності фіч для інференсу виконуються 99.5%; 
3. Zero-SRM інциденти в експериментах; повна трасованість.

Вимоги (must-have): 

• 5+ років у Data Engineering, 2+ роки в проєктуванні та експлуатації on-prem платформ;
• Продакшн-досвід у стрімінгу (Kafka/Redpanda, CDC через Debezium) та batch-обробці;
• Проєктування lakehouse на Iceberg/Delta/Hudi з ACID, еволюцією схем і time-travel;
• Оркестрація (Airflow або Dagster), трансформації dbt Core;
• Вітрини на ClickHouse і SQL-шар (PostgreSQL/Trino/Presto); практики DQ (Great Expectations або аналоги), lineage (OpenLineage), каталог/метадані (OpenMetadata або DataHub); 
• Інфраструктура: Kubernetes/OpenShift, Docker/Containerd, Terraform/Ansible, GitLab CI; спостережуваність: Prometheus/Grafana/Loki, OpenTelemetry; 
• Провідний SQL і оптимізація запитів; 
• Досвід доступів/PII та аудитів.

Буде плюсом: 

• Фуд-ритейл/FMCG, SLO для касових/цінових подій, інтеграції з ERP/WMS; 
• ClickHouse реплікація/шардінг, data-contracts-as-code, FinOps (unit-economics на рівні таблиць/джобів); 
• Векторні індекси (pgvector/FAISS/Milvus) для персоналізації; 

Технічний стек (on-prem): 

Зберігання і формати

1. Об’єктне: MinIO | CEPH
2. Lakehouse-таблиці: Apache Iceberg | Delta Lake | Apache Hudi
3. Файлові формати: Parquet | ORC

Обробка і трансформації

1. Кластери: Apache Spark або Apache Flink або Apache Beam
2. Оркестрація: Apache Airflow | Dagster
3. Трансформації SQL: dbt Core

Стрімінг і інтеграції

1. Шина подій: Apache Kafka | Redpanda
2. CDC: Debezium

Вітрини і SQL-шар

1. Аналітична СУБД: ClickHouse
2. Операційний/OLTP і time-series: PostgreSQL або TimescaleDB
3. Федеративний SQL-двигун: Trino | Presto

Якість, каталог і походження даних

1. Data quality: Great Expectations або Soda
2. Lineage: OpenLineage
3. Каталог/метадані: OpenMetadata або DataHub

Інфраструктура і експлуатація

1. Контейнери і оркестрація: Docker, Kubernetes або OpenShift
2. Інфраструктура як код: Terraform | Ansible
3. CI/CD: GitLab CI
4. Спостережуваність: Prometheus, Grafana, Loki, OpenTelemetry

Безпека і керування доступом

1. Secrets: HashiCorp Vault | Sealed Secrets
2. Політики доступу: policy-as-code (OPA/Gatekeeper або Kyverno)

Компанія пропонує:

• дистанційний або гібридний формат роботи;
• працевлаштування на умовах гіг-контракту або в штат (є можливість бронювання);
• оплачувану щорічну відпустку 24 календарних дня, оплачуваний лікарняний;
• регулярну виплату заробітної плати без затримок та в обумовлених обсягах, регулярний перегляд заробітної плати;
• можливість професійного та кар'єрного росту;
• курси підвищення кваліфікації.

Контактна особа: Катерина, тел. Показати контакти 0984567857  (t.me/KaterynaB_HR)