Python разработчик

Описание проекта

Мы специализируемся на создании высокотехнологичных решений для сбора, обработки и анализа веб-данных.
Наша команда разрабатывает масштабируемые парсеры, которые призваны:
* Автоматизировать сбор информации с сайтов любой сложности
* Преобразовать сырые данные в структурированные форматы для дальнейшего использования
* Обеспечить надежность, скорость и удобство получения данных.

Основные задачи сотрудника на данной позиции

• Проектирование и разработка микросервисов
• R&D, реализация пилотов по выбору технологий и решений
• Поддержание технической документации в актуальном состоянии

Обязательные навыки

1. Опыт разработки парсеров на Python (от 3 лет):
   • Библиотеки: Requests, BeautifulSoup, Scrapy, Selenium, lxml
   • Асинхронные решения: aiohttp, httpx, asyncio
2. Работа с данными:
   • Парсинг HTML/XML, извлечение данных через XPath/CSS-селекторы
   • Обработка JSON/API (REST, GraphQL)
3. Обход ограничений:
   • Обработка капчи (AntiCaptcha, 2Captcha).
   • Ротация прокси, User-Agent, имитация поведения браузера
   • Обход блокировок (настройка задержек, использование headless-браузеров)
4. Хранение данных:
   • Работа с БД: PostgreSQL, MySQL, MongoDB, SQLAlchemy
   • Экспорт в CSV/JSON/XLSX, интеграция с облачными хранилищами (S3, Google Cloud)
5. Опыт:
   • Разработка высоконагруженных парсеров с обработкой больших объемов данных
   • Оптимизация скорости и надежности (асинхронность, многопоточность, кеширование)
   • Настройка прокси-серверов и VPN для обхода географических ограничений.

Желательные навыки

• Опыт работы с Kubernetes или OpenShift
• Базовое понимание DevOps-инструментов (CI/CD)
• Знание JavaScript для парсинга SPA-приложений (изучение сетевых запросов, эмуляция действий)
• Опыт с фреймворками для мониторинга (Grafana, Prometheus).

Условия

• Официальное оформление в штат по ТК РФ.
• Мы являемся аккредитованной IT-компанией.
• Гибридный формат работы (2 дня офис - 3 дня удалённо).
• ДМС со стоматологией для сотрудника, близких родственников и детей.
• Корпоративная рабочая техника.
• Работа в команде экспертов профессионалов.
• Лучшие мировые практики разработки ПО, организации бизнес-процессов и построения команды.
• Возможности выбора проектов, развития и роста внутри компании.
• Современный подход к обучению и развитию сотрудников: индивидуальный план развития, сертификация, книги, курсы, митапы, публикации в крупнейших онлайн и оффлайн изданиях, изучение иностранных языков.
• Спортивные клубы, экскурсии.