Все репозитории

logfire

Платформа наблюдаемости от создателей Pydantic: трассирует и обычный код, и вызовы моделей, и агентов. Основана на OpenTelemetry, SDK открытый.

Кому подойдёт

Python-разработчикам, которым нужны трейсы приложения и LLM в одном инструменте.

Как начать

  1. Установи: pip install logfire.
  2. Авторизуйся: logfire auth.
  3. Добавь инструментирование по примеру из README и посмотри первый трейс.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+3526 окт. — 18 нояб.
4 5224 557

Описание автора

AI observability platform for production LLM and agent systems.

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

comet-ml

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

23 тыс.звёзд+618 за 29 дн.Java

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+111 за 27 дн.Python

confident-ai

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

20 тыс.звёзд+525 за 30 дн.Python