Research Engineer

Описание вакансии

компания "сбербанк"

в центре робототехники сбера мы разрабатываем модели, которые позволяют роботам понимать окружающий мир, выполнять инструкции и решать задачи в реальных условиях. мы работаем над vision-language-action (vla) и world action models (wam), объединяя обучение на изображениях, видео, языке и робототехнических данных.

мы ищем research engineer, который будет заниматься предобучением и дообучением этих моделей: исследовать архитектуры и методы обучения, работать с большими мультимодальными датасетами, масштабировать обучение и адаптировать модели под конкретные задачи и робототехнические платформы. работа охватывает полный цикл экспериментов — от постановки гипотезы и подготовки данных до оценки качества и проверки результатов на роботах совместно со смежными командами.

первый этап отбора на эту вакансию — общение с ai-рекрутером. после отклика ждите сообщение от него, диалог займёт примерно 10 минут. задача ai-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ai-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. ваш опыт и участие помогут сделать его удобным и полезным для всех!

обязанности

• разрабатывать и обучать vla/wam-модели для понимания сцен и инструкций, предсказания динамики окружающего мира и генерации действий робота
• развивать методы предобучения на разнородных данных: изображениях, видео, текстах, демонстрациях и траекториях роботов
• дообучать и адаптировать модели под новые задачи, объекты, условия и робототехнические платформы
• исследовать архитектуры, представления действий и функции потерь, включая transformer-, autoregressive- и diffusion/flow matching-подходы
• формировать смеси обучающих данных, выбирать стратегии семплирования и исследовать влияние качества, объёма и состава данных на способности моделей
• разрабатывать и оптимизировать пайплайны распределённого обучения на gpu-кластерах: повышать стабильность обучения, эффективность вычислений и использования памяти
• проводить воспроизводимые эксперименты и абляционные исследования, анализировать динамику обучения и причины ошибок
• разрабатывать методики оценки моделей: измерять качество предсказаний и действий, успешность выполнения задач, устойчивость и перенос на новые условия
• совместно с командами робототехники и инфраструктуры интегрировать модели в контур управления и проверять их на реальных роботах
• формировать рекомендации по сбору дополнительных данных и улучшению обучающих выборок на основе результатов экспериментов и испытаний.

требования

• опыт разработки и обучения современных dl-моделей в одной или нескольких областях: computer vision, video understanding/generation, multimodal learning, llm/vlm или robot learning
• уверенное владение python и pytorch
• хорошее понимание современных нейросетевых архитектур, прежде всего transformers, методов оптимизации и принципов обучения на последовательностях
• практический опыт pretraining или finetuning моделей: подготовка данных, выбор функций потерь, настройка обучения, оценка качества и анализ ошибок
• опыт работы с большими датасетами и эффективными пайплайнами загрузки и обработки данных
• опыт обучения моделей на нескольких gpu и понимание принципов распределённого обучения
• умение ставить исследовательские гипотезы, планировать эксперименты и делать обоснованные выводы по их результатам
• умение писать поддерживаемый и воспроизводимый код, работать с git и инструментами отслеживания экспериментов
• способность читать научные статьи и реализовывать перспективные подходы
• самостоятельность и готовность доводить исследовательскую идею до работающей модели совместно со смежными командами.

будет плюсом

• опыт работы с vla, world models, action-conditioned video models или другими моделями для embodied ai
• опыт обучения политик по демонстрациям: imitation learning, behavior cloning, diffusion policies
• опыт с diffusion, flow matching, авторегрессионной генерацией видео и моделированием пространственно-временной динамики
• опыт мультимодального предобучения, self-supervised learning или обучения на эгоцентрическом видео
• опыт переноса моделей между робототехническими платформами и работы с разными представлениями действий
• опыт reinforcement learning, offline rl или улучшения политик на основе обратной связи и результатов выполнения задач
• опыт масштабирования обучения на нескольких узлах, работы с fsdp, deepspeed, megatron или аналогичными инструментами
• опыт исследования scaling laws, оптимизации смесей данных и планирования экспериментов при ограниченном вычислительном бюджете.
• опыт запуска моделей на реальных роботах, анализа неудачных действий и оптимизации инференса
• публикации, открытые проекты или воспроизводимые исследовательские результаты в ml, computer vision или робототехнике.
• навыки работы с генеративными ai-моделями
• опыт создания ai-агентов и использования их в работе будет преимуществом
• опыт использования gigachat, kandinsky и аналогов в продуктах, навыки создания и использования ai-агентов
• инструментальное владение ai для анализа, генерации и автоматизации.

условия

• офисный формат работы, адрес офиса автозаводская 23а к2
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ сберуниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный дмс, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки цб
• подписка прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду сбера.

Метки