Crawlie

社区

快速、免费、开源的网站审计 MCP 服务器，用于技术 SEO 和生成式引擎优化（GEO）

分类: 开发工具第 258 / 438
Stars: ★ 114 热门
传输方式: stdio（本地进程） · Streamable HTTP
运行环境: Node.js · Rust · 远程托管（无需本地环境）
凭据: 可选 API Key
许可证: 其他 / 未声明
最近提交: 2 个月前
工具数: 12

50FMRS · D

Crawlie 为网站审计提供了一个强大、免费的开源 MCP 服务器，结合了技术 SEO 和 GEO 检查，并带有针对 Agent 的集成。它非常适合希望自动化搜索优化的开发者和营销人员，但用户应了解托管服务的隐私影响和抓取网站时的合规责任。

最强项 · 安装易用性 13/20 最弱项 · 可靠性 8/20

可靠性

8/20

安全与权限

9/20

维护活跃度

8/20

文档质量

12/20

安装易用性

13/20

查看各项评分依据

可靠性 8/20: 清单和 README 描述了一个结构完整的 MCP 服务器（本地 stdio 的 crawlie-mcp、托管 Streamable HTTP 端点）以及一组工具；但未提供源代码、测试、CI workflow 或运行日志，无法验证握手与错误处理。README 中托管工具列表与本地工具表不一致（top_fixes、geo_gaps、affected_urls、diff_reports、crawl_status 等未在本地表中列出）。因此按静态审查扣分，给 8 分。
安全与权限 9/20: 未发现红线问题：没有恶意代码、凭据窃取、示例中的真实 token 或破坏性默认操作。README 说明了托管 MCP 需要 Bearer API key 并会向 crawlie.app 发送数据；本地爬虫按设计发起外部网络请求。由于没有源码，无法验证最小权限、沙箱、请求范围或数据保留；也缺少对爬取操作的显式确认和密钥存储指引，故扣分至 9。
维护活跃度 8/20: 仓库未归档，开放问题 1 个；README 显示 CI 徽章、changelog、讨论链接和明确作者/公司。但 GitHub 元数据为 License: NOASSERTION，与 README 声称的 MIT 不一致；未提供 LICENSE 文件、提交/发布日期、依赖更新策略或安全响应渠道；版本仅 0.1.0。因此维护维度 8 分。
文档质量 12/20: README 覆盖安装、CLI、Claude Desktop/Code 的 MCP 配置、托管端点认证示例、插件/skills、工具表、示例提示、检查项、架构和路线图。不足：缺少详细工具参数 schema、限制/成本、故障排查；托管与本地工具列表示例不一致；服务器清单未包含本地 command 字段。文档质量给 12 分。
安装易用性 13/20: 最简单路径是 npm 全局安装后把 crawlie-mcp 加入客户端配置，README 提供了 Claude Desktop/Code 和托管 HTTP 端点配置示例；从源码构建需要 Rust 和 pnpm。扣分：未提供 CI/tests 作为可验证执行证据，静态审查上限为 15，且未明确 Windows 兼容性和二进制要求，故给 13 分。

静态评测 · 未实际运行收录于 2026-08-07

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络

适合谁

需要免费本地优先的 SEO/GEO 审计工具的开发者和营销人员。
希望将网站审计集成到 Agent 工作流中的团队。
需要 CI/CD 集成和结构化 JSON 输出的用户。
希望为 AI 搜索（如 ChatGPT、Perplexity）优化内容的 SEO 专业人员。

不适合谁

需要企业级支持或托管云服务（Crawlie Cloud 是闭源产品）的用户。
需要超过 57 个内置规则之外的额外插件生态的用户。
不需要命令行或 Agent 交互、偏好纯 GUI 的初学者（桌面应用可用但需单独下载）。

所需权限

本地网络访问以抓取目标网站。
执行二进制文件（通过 npm 自动安装）。
对于托管端点：需要 API 密钥和网络访问。

风险与副作用

抓取网站可能违反其 robots.txt 或服务条款，请确保你有权抓取目标站点。
MCP 服务器是开源项目，可能未经全面审计；请自行评估风险。
对于托管服务，你的数据会发送到 Crawlie 的服务器；请注意隐私。

安装接入

准备工作

运行环境：Node.js · Rust · 远程托管（无需本地环境）

全局安装 npm 包（包含 CLI 和 MCP 服务器）：npm i -g crawlie。之后 crawlie-mcp 会出现在你的 PATH 中。对于 Claude Desktop，在 claude_desktop_config.json 中添加配置（见 install_config）。对于 Claude Code，运行 claude mcp add crawlie crawlie-mcp。也可以使用托管端点 https://crawlie.app/mcp，需要 API 密钥（在仪表板中创建）。

claude_desktop_config.json

{
  "mcpServers": {
    "crawlie": {
      "command": "crawlie-mcp"
    }
  }
}

以 Claude Desktop 为例。其他客户端的配置文件位置或字段可能不同（如 VS Code 使用 servers 字段），可用下方配置生成器转换。

.vscode/mcp.json

{
  "servers": {
    "crawlie": {
      "command": "crawlie-mcp"
    }
  }
}

写入项目的 .vscode/mcp.json（VS Code 使用 servers 字段）。

Terminal

claude mcp add crawlie -- crawlie-mcp

在终端运行；先把 <…> 占位符换成你自己的值。

生成并校验客户端配置

验证是否装好

安装 crawlie（npm i -g crawlie）并在 claude_desktop_config. 中配置 command 为 crawlie-mcp 后，重启客户端应能在工具列表中看到 crawl_site、audit_url、explain_issue 等工具；也可运行 "claude mcp add crawlie crawlie-mcp" 后让代理执行一次 crawl_site 来验证连接。

常见排障

确保 `crawlie-mcp` 在 PATH 中，若使用源码构建则使用绝对路径。
对于 Claude Desktop，确认 `claude_desktop_config.json` 格式正确且 JSON 有效。
检查网络连接，确保目标网站可访问且防火墙不阻止。
如果爬取结果异常，尝试使用 `--no-robots` 或 `--no-sitemap` 等标志排除某些功能。
查阅官方文档 https://crawlie.dev/docs 或 GitHub 讨论区寻求帮助。

试试这样问

连接成功后，可以直接对 AI 助手这样说：

爬取 example.com 并给出最能提升 GEO 分数的前 5 个修复建议，附上每项的具体修改。
审计这三个落地页，告诉我哪个最不适合被 AI 搜索引用，为什么。
解释 geo-not-answerable 这个规则为什么重要以及如何修复。
列出上次爬取的报告中受断链影响的 URL。

工具能力 12

crawl_site 只读

抓取并审计整个网站（SEO + GEO），返回评分、问题和每页数据。

audit_url 只读

审计单个页面。

audit_urls 只读

审计一个明确的页面列表。

explain_issue 只读

解释规则为何重要以及如何修复。

list_rules 只读

列出所有可用检查的完整清单。

list_reports 只读

列出保存的抓取历史。

get_report 只读

获取保存的报告。

top_fixes 只读

获取最能改善 GEO 评分的前 N 个修复建议。

展开其余 4 个工具

geo_gaps 只读

识别 AI 搜索引用准备度方面的差距。

affected_urls 只读

列出受特定问题影响的 URL。

diff_reports 只读

比较两份报告之间的差异。

crawl_status 只读

轮询长时间运行的抓取任务的状态。

使用场景

发布前 QA：在发布前检查死链、重定向、4xx/5xx 和缺失元数据。

GEO 优化：让页面可被 AI 搜索引用：结构化数据、语义 HTML、回答就绪内容、作者/E-E-A-T。

Agent 工作流：通过 MCP 让营销/SEO Agent 自动审计网站并提出修复建议。

CI/CD 门禁：在流水线中使用 `crawlie crawl --fail-on error` 来阻断回归。

客户报告：一键生成精美的可分享 HTML 报告。

审计 AI 生成的网站：验证你的 Agent 构建的站点是否真正为搜索而构建。

支持客户端

Claude Desktop

Claude Code

Cursor

Cline

依据项目文档列出，未经本站实测。

详细介绍

Crawlie 是一个快速、免费、开源的技术 SEO + GEO 爬虫，专为人类和 Agent 设计。它可以抓取任何网站，检查死链、重定向、缺失的元数据以及 40+ 项 SEO 和生成式引擎检查，并为每项修复提供通俗易懂的指导。它本地运行，提供 CLI 和 MCP 服务器，并且完全免费。