Все репозитории

bitsandbytes

Сжимает модели до 8 и 4 бит, чтобы они помещались в обычную видеокарту. На этом держатся QLoRA и запуск больших моделей с вдвое меньшей памятью.

Кому подойдёт

Тем, кто дообучает или запускает большие модели на ограниченной памяти.

Как начать

  1. Проверь требования: Python 3.10+ и PyTorch 2.4+.
  2. Подключи 4-битные слои через bitsandbytes.nn.Linear4bit или 8-битные через Linear8bitLt.
  3. Для экономии памяти при обучении возьми 8-битные оптимизаторы из bitsandbytes.optim.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+1824 окт. — 20 нояб.
8 5288 546

Описание автора

Accessible large language models via k-bit quantization for PyTorch.

ollama

ollama

Самый простой способ запустить открытую модель на своём компьютере: одна команда скачивает и запускает её, плюс локальный REST API и библиотеки для Python и JavaScript.

188 тыс.звёзд+3,3 тыс. за 30 дн.Go

huggingface

transformers

Главная библиотека для работы с моделями: единый код для текста, зрения, звука и мультимодальных задач, и для запуска, и для обучения. Через неё выходит большинство новых открытых моделей.

169 тыс.звёзд+1,3 тыс. за 30 дн.Python

open-webui

open-webui

Свой чат-интерфейс в стиле ChatGPT, который подключается к Ollama и любым API, совместимым с OpenAI. Ставится одной командой Docker и работает на твоём сервере.

159 тыс.звёзд+2,5 тыс. за 29 дн.Svelte

ggml-org

llama.cpp

Растёт быстрее всех

Движок на C/C++, который запускает языковые модели на обычном железе: ноутбуках, телефонах, серверах без видеокарты. На нём держится большая часть локального AI, включая Ollama.

136 тыс.звёзд+3,7 тыс. за 30 дн.C++

pytorch

pytorch

Основа большинства современных нейросетей: тензоры с ускорением на GPU и автоматическое дифференцирование, с обычным питоновским кодом внутри. На нём написаны Transformers, Llama и почти все открытые модели.

106 тыс.звёзд+674 за 30 дн.Python

deepseek-ai

DeepSeek-V3

Репозиторий большой открытой модели DeepSeek-V3 со смесью экспертов: описание, результаты тестов и инструкции запуска. Показал, что открытая модель может идти вровень с закрытыми.

105 тыс.звёзд+303 за 30 дн.Python