Все репозитории

phoenix

Инструмент наблюдаемости и оценки для LLM: запускается локально одной командой и показывает трейсы, эксперименты и наборы данных. Построен на OpenTelemetry.

Кому подойдёт

Тем, кто хочет быстро увидеть трейсы приложения локально, без регистрации.

Как начать

  1. Установи и запусти: pip install arize-phoenix, затем phoenix serve (или uvx arize-phoenix serve).
  2. Подключи трейсинг: npx @arizeai/phoenix-cli setup.
  3. Запусти своё приложение и открой трейсы в интерфейсе Phoenix.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+33124 окт. — 16 нояб.
11 97512 306

Описание автора

AI Observability & Evaluation

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

comet-ml

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

23 тыс.звёзд+580 за 28 дн.Python

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+143 за 30 дн.Python

confident-ai

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

20 тыс.звёзд+525 за 30 дн.Python