Все репозитории

RAG и векторные БДfacebookresearch

faiss

Классическая библиотека от Meta для быстрого поиска похожих векторов и кластеризации. Это не база данных, а движок индексов, на котором построены многие другие системы.

Кому подойдёт

Тем, кому нужен быстрый векторный поиск внутри своего кода, без отдельного сервера.

Как начать

  1. Поставь готовую сборку faiss-cpu (или faiss-gpu) через Anaconda, как описано в разделе Installing.
  2. Для сборки из исходников открой INSTALL.md: нужен cmake и BLAS.
  3. Пройди раздел с полной документацией и повтори пример построения индекса.

Шаги взяты из README. Перед запуском сверься с актуальной версией в репозитории.

Звёзды за последние 30 дней

+62322 окт. — 19 нояб.
41 18741 810

Описание автора

A library for efficient similarity search and clustering of dense vectors.

firecrawl

firecrawl

Растёт быстрее всех

Сервис, который превращает любой сайт в чистый Markdown или структурированные данные для моделей. Умеет искать, скрейпить, обходить сайт целиком и даже кликать по странице.

203 тыс.звёзд+9,3 тыс. за 30 дн.TypeScript

microsoft

markitdown

Растёт быстрее всех

Небольшая утилита от Microsoft: превращает PDF, Word, PowerPoint, Excel и другие файлы в Markdown, который удобно отдавать языковой модели.

196 тыс.звёзд+3,7 тыс. за 28 дн.Python

infiniflow

ragflow

Готовый RAG-движок с интерфейсом: разбирает документы по шаблонам, режет на фрагменты, ищет с цитатами и умеет агентный поиск. Разворачивается через Docker.

94 тыс.звёзд+1,8 тыс. за 30 дн.Go

unclecode

crawl4ai

Открытый краулер на Python: заходит на страницы настоящим браузером и отдаёт чистый Markdown для LLM. Работает локально, в Docker или как облачный сервис.

88 тыс.звёзд+1,5 тыс. за 30 дн.Python

opendatalab

MinerU

Разбирает сложные PDF, сканы и офисные файлы в Markdown или JSON, сохраняя таблицы и формулы. Есть CLI, Python SDK и навык для агентов.

84 тыс.звёзд+1,3 тыс. за 28 дн.Python

docling-project

docling

Библиотека от IBM для разбора документов: PDF, Office, HTML и картинки превращаются в единую структуру, из которой легко получить Markdown. Поддерживает визуальные модели для сложных страниц.

71 тыс.звёзд+1,5 тыс. за 30 дн.Python