Все репозитории

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

Кому подойдёт

Python-разработчикам, которые хотят юнит-тесты для ответов модели.

Как начать

  1. Установи: pip install -U deepeval.
  2. По желанию войди в платформу: deepeval login.
  3. Напиши первый тест-кейс по примеру из README и запусти deepeval test run.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+52522 окт. — 19 нояб.
19 02519 550

Описание автора

The LLM Evaluation Framework

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

comet-ml

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

23 тыс.звёзд+580 за 28 дн.Python

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+143 за 30 дн.Python

vibrantlabsai

ragas

Библиотека метрик для оценки RAG и других LLM-приложений: проверяет, насколько ответ опирается на найденные источники. Умеет генерировать тестовые наборы.

16 тыс.звёзд+264 за 30 дн.Python