Все репозитории

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

Кому подойдёт

Командам, которым нужны трейсы и автоматические оценки в одном месте.

Как начать

  1. Установи и настрой: pip install opik, затем opik configure.
  2. Оберни функцию декоратором @track, чтобы вызовы попадали в трейсы.
  3. Для своего сервера клонируй https://github.com/comet-ml/opik.git и запусти платформу по инструкции из README.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+58024 окт. — 16 нояб.
22 86023 440

Описание автора

Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+143 за 30 дн.Python

confident-ai

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

20 тыс.звёзд+525 за 30 дн.Python

vibrantlabsai

ragas

Библиотека метрик для оценки RAG и других LLM-приложений: проверяет, насколько ответ опирается на найденные источники. Умеет генерировать тестовые наборы.

16 тыс.звёзд+264 за 30 дн.Python