Все репозитории

ragas

Библиотека метрик для оценки RAG и других LLM-приложений: проверяет, насколько ответ опирается на найденные источники. Умеет генерировать тестовые наборы.

Кому подойдёт

Тем, кто строит RAG и хочет измерять качество, а не оценивать на глаз.

Как начать

  1. Установи: pip install ragas.
  2. Создай готовый проект: ragas quickstart rag_eval -o ./my-project.
  3. Подключи свою модель и посчитай метрики на ответах приложения.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+26422 окт. — 19 нояб.
16 11316 377

Описание автора

Supercharge Your LLM Application Evaluations 🚀

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

comet-ml

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

23 тыс.звёзд+580 за 28 дн.Python

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+143 за 30 дн.Python

confident-ai

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

20 тыс.звёзд+525 за 30 дн.Python
vibrantlabsai/ragas — что это и как начать