Открытая платформа, где видно каждый вызов модели: трейсы, стоимость, оценки качества и версии промптов. Можно использовать в облаке или развернуть у себя.
Все репозитории
Evals и наблюдаемостьAgentOps-AI
agentops
SDK для наблюдения за агентами: записывает сессии, считает стоимость и показывает цепочку шагов. Интегрируется с CrewAI, LangChain, OpenAI Agents SDK и другими.
Кому подойдёт
Тем, кто запускает агентов и хочет видеть, что они делали и сколько это стоило.
Как начать
- Установи:
pip install agentops. - Получи API-ключ в настройках проекта на app.agentops.ai.
- В начале программы вызови
agentops.init(...)с ключом и посмотри сессию в дашборде.
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
История звёзд копится — график появится через несколько дней.
Описание автора
Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integrates with most LLMs and agent frameworks including CrewAI, Agno, OpenAI Agents SDK, Langchain, Autogen, AG2, and CamelAI
Ещё в категории «Evals и наблюдаемость»
Давняя платформа для ML, которая теперь умеет и LLM-приложения: трейсинг, оценка, реестр промптов и шлюз к моделям. Подключается к большинству фреймворков.
Командная утилита для тестов промптов и агентов: описываешь кейсы в конфиге и сравниваешь модели. Умеет и red teaming, поиск уязвимостей. Подключается к CI.
Платформа для отладки и оценки LLM-приложений: трейсы, автоматические проверки качества и дашборды. Поддерживает RAG и агентные цепочки, можно развернуть у себя.
Фреймворк OpenAI для оценки моделей и реестр готовых бенчмарков. Исторически важный проект: по нему видно, как устроены шаблоны оценок.
Фреймворк для тестирования LLM-приложений в стиле pytest: готовые метрики для RAG, агентов и чат-ботов, проверка по трейсам. Результаты можно выгружать в облако.