Все репозитории

agentops

SDK для наблюдения за агентами: записывает сессии, считает стоимость и показывает цепочку шагов. Интегрируется с CrewAI, LangChain, OpenAI Agents SDK и другими.

Кому подойдёт

Тем, кто запускает агентов и хочет видеть, что они делали и сколько это стоило.

Как начать

  1. Установи: pip install agentops.
  2. Получи API-ключ в настройках проекта на app.agentops.ai.
  3. В начале программы вызови agentops.init(...) с ключом и посмотри сессию в дашборде.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+6022 окт. — 19 нояб.
5 9035 963

Описание автора

Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integrates with most LLMs and agent frameworks including CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2, and CamelAI

langfuse

langfuse

Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.

38 тыс.звёзд+1,4 тыс. за 30 дн.TypeScript

mlflow

mlflow

Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.

29 тыс.звёзд+394 за 30 дн.Python

promptfoo

promptfoo

Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.

27 тыс.звёзд+1,2 тыс. за 30 дн.TypeScript

comet-ml

opik

Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.

23 тыс.звёзд+618 за 29 дн.Java

openai

evals

Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.

20 тыс.звёзд+111 за 27 дн.Python

confident-ai

deepeval

Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.

20 тыс.звёзд+525 за 30 дн.Python
AgentOps-AI/agentops — что это и как начать