Data Engineer
Data Engineer
Описание вакансии
В нашу команду мы ищем крутого Data Engineer, который умеет не только строить модели, но и влиять ими на продукт.
Обязанности:
-
Работа с реляционными СУБД PostgreSQL и MySQL: проектирование архитектуры, администрирование, оптимизация сложных аналитических запросов, использование оконных функций и других возможностей SQL.
-
Работа с OLAP-БД ClickHouse: проектирование архитектуры, развертывание в облаке GCP, настройка мониторинга и логирования, оптимизация сложных аналитических запросов, создание таблиц и materialized views.
-
Разработка и автоматизация ETL-процессов с использованием Apache Airflow, Docker и GCP: поддержка и оптимизация DAG-ов, настройка логирования, алертов и мониторинга.
-
Обработка и анализ больших объемов данных с использованием ClickHouse и библиотеки pandas.Разработка и прототипирование ML-моделей, включая модели на основе BERT и методы текстовой аналитики.
-
Опыт разработки веб-приложений с использованием Django и построения REST API.
- Требования:Python (advanced), SQL (advanced)
- Airflow (DAG-и, XCom, кастомные операторы)
- Docker, GCP (Compute Engine, Cloud SQL и др.)
- ClickHouse, PostgreSQL, MySQL (моделирование, оптимизация, администрирование)
- NLP / BERT / Transformers (fine-tuning, эмбеддинги)
- Git, Linux, CI/CD — базовые навыки для командной работы
- Официальное трудоустройство;
- Формат работы: офисный, 5/2 (каждая среда удаленка);
- Тимбилдинги и корпоративные мероприятия.
- Программы обучения для сотрудников.
- Возможность консультации с психологом онлайн через платформу Harmonia.kz.
Похожие вакансии
Алматы
до 6500 USD
