Самый простой способ запустить открытую модель на своём компьютере: одна команда скачивает и запускает её, плюс локальный REST API и библиотеки для Python и JavaScript.
Все репозитории
Открытые модели и инференсmudler
LocalAI
Локальная замена облачным API: сервер, совместимый с OpenAI, который запускает текстовые, голосовые и графические модели на любом железе, видеокарта не обязательна.
Кому подойдёт
Тем, кто хочет развернуть у себя полноценный API моделей без облака.
Как начать
- Запусти в Docker:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest. - Загрузи модель из галереи:
local-ai run llama-3.2-1b-instruct:q4_k_m. - Поговори с ней из терминала:
local-ai chat --model llama-3.2-1b-instruct:q4_k_m.
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
+5687 сент. — 7 окт.
Описание автора
LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.
Ещё в категории «Открытые модели и инференс»
Главная библиотека для работы с моделями: единый код для текста, зрения, звука и мультимодальных задач, и для запуска, и для обучения. Через неё выходит большинство новых открытых моделей.
Свой чат-интерфейс в стиле ChatGPT, который подключается к Ollama и любым API, совместимым с OpenAI. Ставится одной командой Docker и работает на твоём сервере.
Движок на C/C++, который запускает языковые модели на обычном железе: ноутбуках, телефонах, серверах без видеокарты. На нём держится большая часть локального AI, включая Ollama.
Репозиторий большой открытой модели DeepSeek-V3 со смесью экспертов: описание, результаты тестов и инструкции запуска. Показал, что открытая модель может идти вровень с закрытыми.
Основа большинства современных нейросетей: тензоры с ускорением на GPU и автоматическое дифференцирование, с обычным питоновским кодом внутри. На нём написаны Transformers, Llama и почти все открытые модели.