Data Engineer (Senior)

Описание вакансии

компания "twinby"

о роли

twinby — один из крупнейших российских дейтинг-сервисов, миллионы пользователей. мы перестраиваем разработку twinby cis и собираем команду данных заново. данные продукта приходят из множества источников — продуктовые сервисы, события приложений, платежи, маркетинг — и должны надёжно доезжать туда, где на них строят аналитику и принимают решения.

data engineer здесь — единая точка ответственности за движение данных: чтобы они доехали полностью, без потерь и дублей, вовремя и в предсказуемом виде. ты строишь и держишь пайплайны как настоящий продакшн-сервис, а не как набор разовых выгрузок.

за что ты отвечаешь

• захват и доставку данных из продуктовых источников в аналитический контур: потоковый и пакетный ingestion, изменения и удаления, а не только «снимок на вчера».

• надёжность доставки: идемпотентность и дедупликация, обработка поздних и переупорядоченных событий, воспроизводимый пересчёт после сбоя.

• оркестрацию пайплайнов: запуск по готовности источников, а не по таймеру; зависимости, ретраи, бэкфиллы без даунтайма и без задвоения.

• качество данных: тесты данных, проверки свежести и полноты, сверки с источниками, обнаружение аномалий — так, чтобы расхождение было видно раньше, чем его заметит потребитель.

• наблюдаемость пайплайнов: метрики доставки, лаг, алерты на разрыв; разбор инцидентов данных до причины и защита от повтора.

• контракты и эволюцию схемы: изменения источника не должны молча ломать поток; обратная совместимость и понятные границы ответственности.

ты работаешь в связке с командой аналитики: ты отвечаешь за то, что данные доезжают надёжно, аналитика — за модель и метрики поверх них.

кого мы ищем

data engineer, который владел движением данных целиком, а не писал разовые выгрузки. для этого направления это значит:

• инженерия доставки. ты думаешь про гарантии доставки, идемпотентность и дедуп на рефлексе; перезапуск пайплайна для тебя не повод бояться дублей.

• поток, а не только снапшот. тебе близок захват изменений из меняющихся под тобой баз, поздние и out-of-order события, инкрементальная загрузка на больших объёмах.

• качество как часть инженерии. ты сам ставишь тесты данных, проверки свежести и сверки, а не ждёшь, пока кто-то заметит, что данных не хватает.

• надёжность пайплайнов. sla на свежесть, наблюдаемость, разбор инцидентов без поиска виноватого — для тебя это обычная инженерная гигиена.

• зрелость в выборе. ты решаешь, где достаточно at-least-once с дедупом, а где нужна более строгая семантика, и не усложняешь там, где не нужно.

мы смотрим на доказанную глубину владения движением данных, а не на длину списка инструментов.

будет плюсом

• опыт построения потоковой доставки или захвата изменений с продуктовых баз на масштабе.

• опыт бэкафилла большой истории и миграции хранилища без остановки потока.

• опыт работы с платёжными или иными потоками, где дубль и потеря стоят дорого.

чего не требуем

заученного синтаксиса конкретного оркестратора, сертификатов, знания именно нашего стека или домена дейтинга. важнее инженерная зрелость и то, что данные у тебя доезжают надёжно и предсказуемо.

технический стек

потоковая и пакетная обработка данных, захват изменений (cdc), оркестрация пайплайнов, аналитические хранилища, python и sql.

clickhouse, apache airflow

что предлагаем

• планку с нуля: команда данных собирается заново — то, что ты заложишь в надёжность и качество данных, станет стандартом.

• настоящую инженерную систему: пайплайны как продакшн-сервис, тесты данных и наблюдаемость вместо ручных сверок, разбор инцидентов без вины.

• автономию владельца — ты решаешь «как» движется поток данных; цели и направление обсуждаешь с командой и руководителем.

• масштаб и большие данные, где инженерия движения имеет вес.

• формат: удалёнка, рф.

Метки