Фреймворки и инструменты, на которых мы строим модели машинного обучения,
ИИ-агентов и хранилища данных.
PyTorch
фреймворк глубокого обучения
Открытая библиотека для разработки и обучения нейросетей, поддержанная Meta.
Один из двух доминирующих фреймворков ML вместе с TensorFlow. Гибкая модель вычислений
удобна для исследовательских и продакшен-задач.
TensorFlow
фреймворк глубокого обучения
Открытая платформа ML от Google. Сильна в развёртывании моделей в продакшене,
на мобильных и встроенных устройствах (TF Lite). Часто выбирается там, где важна
переносимость на edge-устройства.
Hugging Face
платформа открытых моделей
Экосистема с библиотекой `transformers`, репозиторием тысяч предобученных моделей
и инструментами их использования. Стандарт в работе с LLM и nlp-моделями.
LangChain
фреймворк для приложений на LLM
Библиотека для построения цепочек вызовов LLM с инструментами, памятью и
источниками данных. Стандартный кирпичик при создании RAG-систем и ИИ-копилотов.
LangGraph
оркестратор многошаговых ИИ-агентов
Расширение LangChain для построения сложных агентов как графов состояний:
с ветвлениями, циклами, проверками. Удобно для DSS-агентов, где решение принимается
за несколько итераций с разными инструментами.
scikit-learn
библиотека классического ML
Базовая Python-библиотека для классических методов машинного обучения: регрессии,
деревья, кластеризация, метрики. Применяется на табличных данных и в задачах, где нейросеть
— избыточно.
XGBoost
градиентный бустинг
Алгоритм и одноимённая библиотека, реализующие градиентный бустинг над деревьями
решений. Один из лучших инструментов для табличных данных и соревнований по ML.
Ray RLlib
RL-фреймворк промышленного класса
Библиотека алгоритмов обучения с подкреплением поверх распределённой платформы Ray.
Поддерживает PPO, SAC, DQN и десятки других методов с горизонтальным масштабированием.
Stable-Baselines3
эталонные реализации RL
Набор аккуратных и хорошо протестированных реализаций популярных RL-алгоритмов
на PyTorch. Используется как baseline в исследовательских и пилотных проектах.
Gymnasium
стандарт RL-сред
Библиотека и стандартный интерфейс описания сред для обучения с подкреплением
(наследник OpenAI Gym). Все наши заказные симуляторы для RL-проектов соблюдают этот контракт.
OR-Tools
Operations Research Tools — инструменты исследования операций
Открытая библиотека от Google для задач комбинаторной оптимизации: маршрутизация,
расписания, упаковка, программирование в ограничениях. Часто используется в связке с RL.
CVXPY
библиотека выпуклой оптимизации
Python-библиотека для декларативного описания и решения задач выпуклой оптимизации.
Применяется в задачах ресурсного распределения, оценки рисков, формирования портфелей.
SciPy
библиотека научных вычислений
Базовая Python-библиотека с алгоритмами линейной алгебры, оптимизации, статистики,
обработки сигналов. Фундамент почти любого ML/инженерного проекта на Python.
PostgreSQL
реляционная СУБД
Открытая реляционная база данных промышленного класса. Базовая СУБД
для большинства корпоративных приложений, ИИ-копилотов и DSS.
ClickHouse
аналитическая колоночная СУБД
Высокопроизводительная колоночная база для агрегации миллиардов записей за
секунды. Применяется в аналитике временных рядов, логов телеметрии, поведенческих данных.
Vector DB
векторная база данных
Тип базы данных, оптимизированный для хранения и поиска по эмбеддингам —
числовым векторам, представляющим смысл текстов, изображений или других данных.
Технологическая основа RAG-систем.
Открытая векторная база данных на Rust. Сочетает скорость, надёжный API
и фильтрацию по метаданным. Часто наш выбор для on-prem развёртываний RAG.
Открытая векторная база с гибридным поиском (вектор + текст), модульной
интеграцией с эмбеддерами и развитой ролевой моделью. Альтернатива Qdrant для определённых
сценариев.
Kafka
распределённая шина событий
Платформа потоковой обработки, передающая миллионы сообщений в секунду
между сервисами и источниками данных. Применяется в системах реального времени,
телеметрии, обмене событиями.
Airflow
оркестратор data-пайплайнов
Платформа для описания, планирования и мониторинга пайплайнов обработки данных
в виде DAG (направленных ациклических графов). Стандарт оркестрации ETL в крупных проектах.
dbt
data build tool — инструмент сборки данных
Инструмент для трансформации данных в хранилище силами SQL. Позволяет писать
бизнес-логику данных как версионируемый, тестируемый и документируемый код.