Все репозитории

Сжимает длинные промпты и контекст до 20 раз с небольшой потерей качества, убирая малозначимые токены. Экономит деньги и ускоряет ответ.

Кому подойдёт

Тем, кто платит за длинные контексты и хочет их ужать.

Как начать

  1. Установи: pip install llmlingua.
  2. Создай PromptCompressor() из llmlingua.
  3. Вызови compress_prompt(prompt, instruction="", question="", target_token=200) и подставь результат в запрос.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+1036 сент. — 6 окт.
6 6266 729

Описание автора

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

anthropics

skills

Растёт быстрее всех

Официальная коллекция навыков (Agent Skills) от Anthropic: папки с инструкциями и скриптами, которые Claude подгружает под задачу. Хороший образец, как их писать.

180 тыс.звёзд+5,4 тыс. за 30 дн.Python

Бывший Awesome ChatGPT Prompts: огромная библиотека промптов от сообщества плюс интерактивная книга по промптингу. Можно развернуть свою приватную копию.

172 тыс.звёзд+2,9 тыс. за 30 дн.HTML

Коллекция системных промптов и описаний инструментов популярных AI-продуктов: Cursor, Devin, Windsurf, Lovable, Manus и других. Полезна, чтобы изучить, как их строят профессионалы.

144 тыс.звёзд+933 за 30 дн.

Подробное руководство по промпт-инжинирингу: техники от few-shot до цепочек рассуждений, статьи, лекции и ноутбуки. Недавно дополнено контекст-инжинирингом и агентами.

79 тыс.звёзд+909 за 30 дн.MDX

Сборник примеров и руководств по работе с API OpenAI: от базовых запросов до вызова функций и RAG. Большая часть кода на Python.

76 тыс.звёзд+676 за 30 дн.Jupyter Notebook

Рецепты от Anthropic в виде ноутбуков: инструменты, RAG, мультимодальность, субагенты и другие приёмы работы с Claude. Код можно копировать в свои проекты.

53 тыс.звёзд+829 за 30 дн.Jupyter Notebook