CRW Web Scraper

社区

面向 AI 智能体的开源网页抓取 MCP 服务器，支持抓取、爬取与站点地图发现

分类: 开发工具第 199 / 438
Stars: ★ 1.2k 非常热门
传输方式: stdio（本地进程）
运行环境: Node.js · 预编译二进制 · Rust 1.85+ · Python · 远程托管（无需本地环境）
凭据: 可选 API Key
许可证: AGPL-3.0
最近提交: 7 天前

54FMRS · D

CRW Web Scraper（fastCRW）是一个用 Rust 编写的开源网页抓取与搜索 MCP 服务器，提供抓取、爬取、站点地图发现、搜索与结构化提取能力，并兼容 Firecrawl 的 /scrape、/crawl、/search API。它以单二进制、低内存占用和自托管为卖点，同时提供托管云选项，适合需要数据可控且希望接入 AI 智能体的开发者。需要注意的是，它并非 Firecrawl、Tavily 或 Anthropic 的官方项目，引擎采用 AGPL-3.0 许可，使用时需遵守目标网站政策与 robots.txt。

最强项 · 维护活跃度 12/20 最弱项 · 可靠性 10/20

可靠性

10/20

安全与权限

11/20

维护活跃度

12/20

文档质量

10/20

安装易用性

11/20

查看各项评分依据

可靠性 10/20: 清单声明 stdio 传输并以 'crw-mcp' 位置参数启动 OCI 镜像,README 描述了 scrape/crawl/map/search/extract 五个工具,项目自称 rust,crates.io/PyPI/npm 均有发布徽章,CI 工作流徽章存在,说明有可复现构建路径。但本次为纯静态评审,未在源码中看到可验证的工具实现细节、参数 schema 与错误处理代码;README 未披露 MCP 工具的输入输出定义、超时/重试/限流行为,也没有提交的测试样例供核对。清单里 title/description 与 README 的 'map/extract' 能力存在表述差(清单只提 scrape/crawl/map),工具集是否与真实行为一致无法确认。按静态校准:缺乏已提交测试覆盖关键路径的可见证据,可靠性不得高于 12;因能力声明基本自洽、包发布与 CI 存在,给 10 分,扣分点在于工具参数/错误语义/边界处理不可核验。
安全与权限 11/20: 许可为 AGPL-3.0,README 明确 crawl/map 默认遵循 robots.txt,API key 存于 ~/.config/crw/config.toml 而非写入各工具配置,安装脚本只自动注册已存在的 AI 工具并可通过 CRW_NO_AGENTS=1 跳过,这些都是正向的最小权限与数据边界设计。但存在明显扣分项:安装方式为 'curl -fsSL https://fastcrw.com/install | sh',把远程脚本直接管道给 shell 执行,且可同时携带真实格式的 CRW_API_KEY=crw_live_... 参数,属高风险、不可审计的默认安装路径;README 反复导流注册与免费额度链接,托管模式下的数据外发边界(抓取内容、密钥、遥测)没有任何披露;MCP 工具具备对外网络抓取与爬取副作用,却未见危险操作确认或作用域限制说明。未发现恶意代码、凭据窃取、伪造身份或真实泄露的密钥,故不触红线;但关键数据流与脚本审计缺失,给 11 分。
维护活跃度 12/20: 有明确的 AGPL-3.0 许可(引擎与 MCP server),SDK 为 MIT,crates.io/PyPI/npm 多注册表发布,版本号 0.34.0 表明持续迭代,CI 工作流存在,贡献者列表显示多名外部贡献者,Star 数较高,仓库未归档,开放 issue 仅 9 个,整体呈活跃状态。扣分项:README 未提供安全响应渠道或漏洞披露政策,未说明发布节奏/语义化版本策略,未给依赖更新机制的证据,'embedding license' 指向邮箱而非清晰许可文本,治理与所有权(个人账号 us 下多包)透明度不足。按静态证据最多给 12 分,属于活跃但治理/版本路径不完整的档位。
文档质量 10/20: 文档分层较好:README 覆盖安装、CLI、Python/Node SDK、MCP 安装、托管与自托管差异、迁移与自托管链接,并给出 /v1/capabilities 与 response shapes 的说明入口,承认不同部署能力与响应形状可能不同,也披露了 robots.txt 默认行为。但关键缺口明显:五个 MCP 工具的入参、返回结构、配额/计费、速率限制、超时与故障排查均未在仓库内文档化,需跳转外部站点;benchmark 结论以自绘 SVG 与外部链接呈现,用户提供材料中看不到可复现方法;'2.3x faster than Tavily' 等对比数字缺少本仓库内的可核对证据;MCP 客户端手工配置仅有链接无示例。属可用但存在隐藏假设与排障盲区,给 10 分。
安装易用性 11/20: 安装路径清晰且步骤少:一条 curl 命令即完成安装,本地模式无需账号,还可通过 CRW_API_KEY 一次完成密钥配置与 MCP 注册,支持 Claude Code/Cursor/Codex/Gemini CLI/OpenCode/Windsurf 自动识别,也提供 npx -y crw-mcp@latest install 与 crw setup 交互方式,平台覆盖 macOS/Linux 的 Intel 与 ARM,需要 Rust 1.85+(仅自构建时)。扣分项:主推安装方式是管道执行远程脚本,属于脆弱且不可审计的路径;清单仅提供 OCI 镜像 + stdio,未给出各客户端的 JSON 配置示例;Windows 支持未提及;自动注册会改动多个 AI 工具配置,虽有跳过开关但默认写入行为可能带来意外副作用。按静态校准 setup 不得高于 15,给 11 分。

静态评测 · 未实际运行收录于 2026-09-10

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络

适合谁

需要自托管、数据可控的网页抓取能力的团队
使用 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 或 Windsurf 的开发者
希望以单个 Rust 二进制文件低资源运行的场景
需要 Firecrawl 兼容 REST API 的迁移项目

不适合谁

需要官方 Firecrawl、Tavily 或 Anthropic 背书或支持的用户
不愿遵守网站政策与 robots.txt 的抓取需求
需要托管型 SaaS 完全免运维且不自行部署的团队

所需权限

网络访问权限：需要对外发起 HTTP/HTTPS 请求以抓取、爬取和搜索网页
本地文件系统读写权限：用于写入 ~/.config/crw/config.toml 等配置
安装脚本可能需要修改已检测到的 AI 工具的 MCP 配置
使用托管云服务时需要 CRW_API_KEY 凭据

风险与副作用

抓取第三方网站可能涉及目标站点的服务条款、版权或 robots.txt 限制；项目声明 crawl 与 map 默认遵循 robots.txt
一键安装脚本从网络下载并执行，存在供应链风险
API 密钥存放在 ~/.config/crw/config.toml，需注意本机文件权限与泄露风险
容器镜像标签使用 latest，可能带来版本不可复现的问题
托管云与本地的能力及响应结构可能不同，迁移前需核对 capabilities 与响应格式

安装接入

准备工作

运行环境：Node.js · 预编译二进制 · Rust 1.85+ · Python · 远程托管（无需本地环境）

CRW_API_KEY 可选密钥 fastCRW Cloud 的 API 密钥（crw_live_...），可在 fastcrw.com/register 免费获取；本地模式无需设置。

其他可选配置项（1 个）

CRW_NO_AGENTS 可选设为 1 可跳过安装时自动注册 MCP 服务器到已检测到的 AI 工具。

方式一（一键安装）：运行 curl -fsSL https://fastcrw.com/install | sh，本地使用无需账号。若要连接云端，可在同一命令中传入密钥：curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh，安装脚本会在检测到的 AI 编码工具中注册 MCP 服务器。方式二（MCP 专用安装）：运行 npx -y crw-mcp@latest install，在已检测到的 AI 工具中安装 CRW 技能与 MCP 服务器。也可单独运行 crw setup 进行交互式配置。容器方式：使用镜像 ghcr.io/us/crw:latest，以 stdio 传输启动，位置参数为 crw-mcp。

验证是否装好

运行 npx -y crw-mcp@latest install 后在客户端工具列表中确认 CRW 的 scrape/crawl/map 工具已出现，或输入一个抓取请求看是否返回 markdown 内容。

常见排障

命令不可用：确认已通过安装脚本或包管理器安装 crw 二进制，并检查 PATH
搜索不可用：搜索功能需要先运行 crw setup 进行配置
云端调用失败：检查 CRW_API_KEY 是否已导出或写入配置文件，以及密钥是否有效
不想自动注册到 AI 工具：设置环境变量 CRW_NO_AGENTS=1 跳过该步骤
MCP 客户端未识别：运行 npx -y crw-mcp@latest install 或 crw setup 重新注册，并参考文档中的 mcp-clients 手动配置说明
从源码构建失败：确认 Rust 版本不低于 1.85，并运行 make check-fast

试试这样问

连接成功后，可以直接对 AI 助手这样说：

抓取 https://example.com 并转成 markdown
爬取这个网站并列出它所有的页面 URL
搜索 rust async runtime 并总结前几条结果
从这个页面提取产品名称和价格字段

使用场景

让 AI 智能体抓取单个网页并转换为 Markdown 或结构化 JSON

对站点进行有边界的爬取并收集页面内容

在不逐页抓取的情况下发现站点 URL

执行网页搜索并可选地抓取搜索结果

从一个或多个 URL 中提取结构化字段

作为 Firecrawl 的兼容替代方案接入现有 /scrape、/crawl、/search 调用

详细介绍

CRW Web Scraper（fastCRW）是一个用 Rust 编写的开源网页抓取、爬虫与搜索工具，并提供 MCP 服务器供 AI 智能体使用。它可以把 URL 转换成干净的 Markdown 或结构化 JSON，支持抓取（scrape）、爬取（crawl）、站点地图发现（map）、搜索（search）与结构化提取（extract）等操作。它提供与 Firecrawl 兼容的 API（/scrape、/crawl、/search），可自托管运行单个二进制文件（约 6 MB 内存占用），也可使用托管云服务。引擎与 MCP 服务器采用 AGPL-3.0 许可，Python 和 TypeScript SDK 采用 MIT 许可。该项目并非由 Firecrawl、Tavily 或 Anthropic 官方维护。