In developmentVe vývoji
asearch
A local, Google-style search engine in Rust — built for humans and AI agents.Lokální vyhledávač ve stylu Google napsaný v Rustu — pro lidi i AI agenty.
- Rust
- Tantivy
- SQLite
- Embeddings
- MCP
OverviewPřehled
asearch is a complete search pipeline in a single binary: crawling, content extraction, a hybrid index combining BM25 with vector embeddings, ranking, and a web UI, REST API and MCP server on top. No Docker, Elasticsearch or vector database — everything runs locally on SQLite, Tantivy and a small multilingual embedding model.asearch je kompletní vyhledávací řetězec v jediném binárním souboru: crawling, extrakce obsahu, hybridní index kombinující BM25 s vektorovými embeddingy, ranking a nad tím webové rozhraní, REST API a MCP server. Žádný Docker, Elasticsearch ani vektorová databáze — vše běží lokálně nad SQLite, Tantivy a malým vícejazyčným embedding modelem.
HighlightsHlavní funkce
- Polite crawler with robots.txt, per-host rate limits and Common Crawl WARC importSlušný crawler s robots.txt, limity na hosta a importem Common Crawl WARC
- HTML → clean markdown extraction, simhash deduplication and chunkingExtrakce HTML → čistý markdown, deduplikace přes simhash a chunking
- Hybrid ranking: Tantivy BM25 + multilingual-e5 embeddings fused with RRF, plus PageRankHybridní ranking: Tantivy BM25 + embeddingy multilingual-e5 spojené přes RRF a PageRank
- Token-budgeted results designed for LLM context windowsVýsledky s rozpočtem tokenů navržené pro kontext LLM
- Web UI, REST API and MCP (HTTP + stdio) for Claude Code and Claude DesktopWebové rozhraní, REST API a MCP (HTTP + stdio) pro Claude Code a Claude Desktop