LightCrawl

LightCrawl 是一款专为大型语言模型（LLM）优化的超快、轻量级、可自托管的网页抓取 API 与模型上下文协议（MCP）服务器。它能够将任意网页在数秒内转化为干净、结构化的数据，直接供 AI 代理使用。

核心功能

LightCrawl 基于 TypeScript 和 Playwright 构建，确保抓取过程的稳定可靠。它无缝集成 Brave Search，支持自主浏览和搜索，同时能够将杂乱的网页内容格式化为 LLM 友好的 Markdown 格式。

主要特性

• 极致轻量：代码精简，资源占用低，启动迅速。
• 自托管部署：100% 开源，支持通过 Docker 和 Railway 轻松部署，数据完全由你掌控。
• LLM 优化输出：自动清理网页噪音，输出干净的 Markdown，便于 AI 模型理解和处理。
• MCP 协议支持：作为 MCP 服务器，可直接与支持该协议的 AI 工具集成。
• Brave Search 集成：结合搜索引擎能力，实现更智能的网页内容获取。

适用场景

LightCrawl 适用于需要高效、可靠网页数据抓取的 AI 应用场景，包括但不限于：构建知识库、训练数据采集、实时信息检索、自动化报告生成等。无论是开发者还是企业团队，都能通过 LightCrawl 快速获取结构化数据，加速 AI 项目落地。