Небольшая утилита от Microsoft: превращает PDF, Word, PowerPoint, Excel и другие файлы в Markdown, который удобно отдавать языковой модели.
Все репозитории
RAG и векторные БДstanford-futuredata
ColBERT
Модель поиска, которая сравнивает запрос и документ по отдельным токенам, а не одним вектором. Так точность выше, а поиск по большим коллекциям занимает десятки миллисекунд.
Кому подойдёт
Тем, кто упёрся в качество обычного векторного поиска и готов разобраться глубже.
Как начать
- Установи:
pip install colbert-ai[torch,faiss-gpu](если не получилось, создай окружение:conda env create -f conda_env.yml). - Скачай готовый чекпоинт ColBERTv2 по ссылке из README.
- Проиндексируй коллекцию через
Indexer, затем ищи черезSearcherпо примеру из README.
Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.
Звёзды за последние 30 дней
+206 сент. — 3 окт.
Описание автора
ColBERT: state-of-the-art neural search (SIGIR'20, TACL'21, NeurIPS'21, NAACL'22, CIKM'22, ACL'23, EMNLP'23)
Ещё в категории «RAG и векторные БД»
Сервис, который превращает любой сайт в чистый Markdown или структурированные данные для моделей. Умеет искать, скрейпить, обходить сайт целиком и даже кликать по странице.
Готовый RAG-движок с интерфейсом: разбирает документы по шаблонам, режет на фрагменты, ищет с цитатами и умеет агентный поиск. Разворачивается через Docker.
Открытый краулер на Python: заходит на страницы настоящим браузером и отдаёт чистый Markdown для LLM. Работает локально, в Docker или как облачный сервис.
Разбирает сложные PDF, сканы и офисные файлы в Markdown или JSON, сохраняя таблицы и формулы. Есть CLI, Python SDK и навык для агентов.
Библиотека от IBM для разбора документов: PDF, Office, HTML и картинки превращаются в единую структуру, из которой легко получить Markdown. Поддерживает визуальные модели для сложных страниц.