Самый простой способ запустить открытую модель на своём компьютере: одна команда скачивает и запускает её, плюс локальный REST API и библиотеки для Python и JavaScript.
Все репозитории
Открытые модели и инференсBerriAI
litellm
Единый шлюз к сотне с лишним LLM-провайдеров в формате OpenAI: SDK для Python и прокси-сервер с учётом расходов, балансировкой и логами. Меняешь модель, не меняя код.
Кому подойдёт
Разработчикам и командам, которые работают с несколькими провайдерами моделей.
Как начать
- Для SDK:
uv add litellm. - Для прокси-сервера:
uv tool install 'litellm[proxy]', затемlitellm --model gpt-4o. - Обращайся к прокси через клиент OpenAI с
base_url="http://0.0.0.0:4000".
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
+2 2246 сент. — 6 окт.
Описание автора
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
Ещё в категории «Открытые модели и инференс»
Главная библиотека для работы с моделями: единый код для текста, зрения, звука и мультимодальных задач, и для запуска, и для обучения. Через неё выходит большинство новых открытых моделей.
Свой чат-интерфейс в стиле ChatGPT, который подключается к Ollama и любым API, совместимым с OpenAI. Ставится одной командой Docker и работает на твоём сервере.
Движок на C/C++, который запускает языковые модели на обычном железе: ноутбуках, телефонах, серверах без видеокарты. На нём держится большая часть локального AI, включая Ollama.
Репозиторий большой открытой модели DeepSeek-V3 со смесью экспертов: описание, результаты тестов и инструкции запуска. Показал, что открытая модель может идти вровень с закрытыми.
Основа большинства современных нейросетей: тензоры с ускорением на GPU и автоматическое дифференцирование, с обычным питоновским кодом внутри. На нём написаны Transformers, Llama и почти все открытые модели.