适合谁
- 需要免费本地优先的 SEO/GEO 审计工具的开发者和营销人员。
- 希望将网站审计集成到 Agent 工作流中的团队。
- 需要 CI/CD 集成和结构化 JSON 输出的用户。
- 希望为 AI 搜索（如 ChatGPT、Perplexity）优化内容的 SEO 专业人员。
C
50FMRS · D
Crawlie 为网站审计提供了一个强大、免费的开源 MCP 服务器，结合了技术 SEO 和 GEO 检查，并带有针对 Agent 的集成。它非常适合希望自动化搜索优化的开发者和营销人员，但用户应了解托管服务的隐私影响和抓取网站时的合规责任。
Crawlie 是一个快速、免费、开源的技术 SEO + GEO 爬虫，专为人类和 Agent 设计。它可以抓取任何网站，检查死链、重定向、缺失的元数据以及 40+ 项 SEO 和生成式引擎检查，并为每项修复提供通俗易懂的指导。它本地运行，提供 CLI 和 MCP 服务器，并且完全免费。
工具能力
crawl_site
抓取并审计整个网站（SEO + GEO），返回评分、问题和每页数据。
audit_url
审计单个页面。
audit_urls
审计一个明确的页面列表。
explain_issue
解释规则为何重要以及如何修复。
list_rules
列出所有可用检查的完整清单。
list_reports
列出保存的抓取历史。
get_report
获取保存的报告。
top_fixes
获取最能改善 GEO 评分的前 N 个修复建议。
geo_gaps
识别 AI 搜索引用准备度方面的差距。
affected_urls
列出受特定问题影响的 URL。
diff_reports
比较两份报告之间的差异。
crawl_status
轮询长时间运行的抓取任务的状态。
安装接入
全局安装 npm 包（包含 CLI 和 MCP 服务器）：npm i -g crawlie。之后 crawlie-mcp 会出现在你的 PATH 中。对于 Claude Desktop，在 claude_desktop_config.json 中添加配置（见 install_config）。对于 Claude Code，运行 claude mcp add crawlie crawlie-mcp。也可以使用托管端点 https://crawlie.app/mcp，需要 API 密钥（在仪表板中创建）。
claude_desktop_config.json
{
"mcpServers": {
"crawlie": {
"command": "crawlie-mcp"
}
}
}
选型与风险
不适合谁
- 需要企业级支持或托管云服务（Crawlie Cloud 是闭源产品）的用户。
- 需要超过 57 个内置规则之外的额外插件生态的用户。
- 不需要命令行或 Agent 交互、偏好纯 GUI 的初学者（桌面应用可用但需单独下载）。
所需权限
- 本地网络访问以抓取目标网站。
- 执行二进制文件（通过 npm 自动安装）。
- 对于托管端点：需要 API 密钥和网络访问。
风险与副作用
- 抓取网站可能违反其 robots.txt 或服务条款，请确保你有权抓取目标站点。
- MCP 服务器是开源项目，可能未经全面审计；请自行评估风险。
- 对于托管服务，你的数据会发送到 Crawlie 的服务器；请注意隐私。
常见排障
- 确保 `crawlie-mcp` 在 PATH 中，若使用源码构建则使用绝对路径。
- 对于 Claude Desktop，确认 `claude_desktop_config.json` 格式正确且 JSON 有效。
- 检查网络连接，确保目标网站可访问且防火墙不阻止。
- 如果爬取结果异常，尝试使用 `--no-robots` 或 `--no-sitemap` 等标志排除某些功能。
- 查阅官方文档 https://crawlie.dev/docs 或 GitHub 讨论区寻求帮助。
使用场景
发布前 QA：在发布前检查死链、重定向、4xx/5xx 和缺失元数据。
GEO 优化：让页面可被 AI 搜索引用：结构化数据、语义 HTML、回答就绪内容、作者/E-E-A-T。
Agent 工作流：通过 MCP 让营销/SEO Agent 自动审计网站并提出修复建议。
CI/CD 门禁：在流水线中使用 `crawlie crawl --fail-on error` 来阻断回归。
客户报告：一键生成精美的可分享 HTML 报告。
审计 AI 生成的网站：验证你的 Agent 构建的站点是否真正为搜索而构建。
支持客户端
Claude Desktop完整支持
Claude Code完整支持
Cursor完整支持
Cline完整支持