← 返回目录

Webclaw

社区

将任意 URL 转换为干净的 Markdown、JSON 和 LLM 就绪的内容。

查看安装方法 ↓ 横向对比 GitHub 源仓库 ↗

分类: 开发工具第 50 / 438
Stars: ★ 2.4k 非常热门
传输方式: stdio（本地进程）
运行环境: Node.js · Rust · Docker
凭据: 可选 API Key
许可证: AGPL-3.0
最近提交: 29 天前
工具数: 10

65FMRS · C

webclaw 是一个专为 AI/LLM 工作流设计的强大的网页提取工具。它提供广泛的格式和工具，本地优先的方式很有吸引力。需要注意托管 API 依赖和网站抓取的法律/道德风险。

最强项 · 文档质量 15/20 最弱项 · 可靠性 10/20

可靠性

10/20

安全与权限

12/20

维护活跃度

14/20

文档质量

15/20

安装易用性

14/20

查看各项评分依据

可靠性 10/20: 仅基于 README 与 manifest 做静态评审，无法验证 MCP 初始化、工具列表握手以及各工具的实际行为。stdio + npx 的启动路径在文档中看起来合理，但未提供 CI 工作流或测试证据；manifest 中服务器版本为 0.6.17、npm 包版本为 0.6.16，存在轻微不一致，进一步降低了确定性。
安全与权限 12/20: 未发现真实密钥泄露、恶意下载或隐蔽外发等红线问题；凭证通过环境变量（如 WEBCLAW_API_KEY）传递，README 也明确区分了本地提取与 hosted API 的边界。扣分点为：缺少 SSRF/网络策略说明、未提供安全策略或数据流披露文档，权限范围和危险操作确认机制不透明。
维护活跃度 14/20: 仓库未归档、仅 2 个 open issues，显示仍活跃；有版本号、Release 徽章、AGPL-3.0 许可证、贡献者列表和 Discord 社区，版本更新路径可见。扣分：无法从现有材料看到 commit 频率、依赖更新记录，也没有明确的安全响应渠道。
文档质量 15/20: README 覆盖多平台安装、快速开始、MCP 客户端配置示例、工具表格、输出格式、环境变量、示例目录和贡献方式，整体结构清晰，证据充分。扣分：缺少 MCP 工具参数的详细 schema、限额/成本说明和专门的故障排查章节，部分内容偏营销化。
安装易用性 14/20: 提供 npx -y @webclaw/mcp 的一行配置、create-webclaw 自动检测客户端、Homebrew/Docker/Cargo/预编译二进制等多种安装方式，并给出主流 MCP 客户端配置示例，安装路径明确。扣分：静态评审无法验证执行过程，且从源码构建需要安装原生依赖；版本号不一致会影响安装预期。

静态评测 · 未实际运行收录于 2026-08-07

查看 FMRS 评分方法 →

选型与风险

能访问什么访问网络

适合谁

开发者构建 AI 智能体或 RAG 管道，需要干净的网页内容。
喜欢本地优先、无需账户即可处理大多数网站的用户。
需要快速、Rust 驱动的提取和可脚本化 CLI 的用户。

不适合谁

需要大规模、托管提取且无需自托管基础设施的用户。
需要处理大量受保护或 JavaScript 渲染页面的用户，而无需托管 API 密钥。
非技术用户希望无需配置的 GUI 工具。

所需权限

文件系统访问：CLI 读取本地文件用于 diff 操作，写入输出文件。
网络访问：用于抓取网页和可选连接到托管 API。
环境变量：可能读取 API 密钥（WEBCLAW_API_KEY、OPENAI_API_KEY 等）和代理配置。

风险与副作用

抓取网站可能违反其服务条款或 robots.txt；请负责任地使用。
托管 API 需要网络请求，数据可能发送至远程服务器。
自托管需要维护和监控。
代理配置不正确可能导致连接失败。

安装接入

准备工作

运行环境：Node.js · Rust · Docker

WEBCLAW_API_KEY 可选密钥 webclaw.io 托管 API 密钥，用于受保护站点、JS 渲染、搜索和 research 等云端功能，非必需。

OPENAI_API_KEY 可选密钥 OpenAI 兼容 LLM 提供商密钥，可选。

ANTHROPIC_API_KEY 可选密钥 Anthropic 兼容 LLM 提供商密钥，可选。

其他可选配置项（5 个）

OLLAMA_HOST 可选本地 Ollama 服务地址，用于本地 LLM 功能（extract/summarize），可选。

OPENAI_BASE_URL 可选 OpenAI 兼容 API 基础 URL，可选。

ANTHROPIC_BASE_URL 可选 Anthropic 兼容 API 基础 URL，可选。

WEBCLAW_PROXY 可选单个代理 URL，可选。

WEBCLAW_PROXY_FILE 可选代理池文件路径，可选。

对于 MCP 客户端，使用 npx 启动器配置服务器，如示例 JSON 所示，或运行 npx create-webclaw 自动检测并配置。也可通过 Homebrew（brew tap 0xMassi/webclaw && brew install webclaw）、预构建二进制文件、Docker（docker run --rm ghcr.io/0xmassi/webclaw https://example.com）或 Cargo 安装 CLI。

claude_desktop_config.json

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": [
        "-y",
        "@webclaw/mcp"
      ]
    }
  }
}

以 Claude Desktop 为例。其他客户端的配置文件位置或字段可能不同（如 VS Code 使用 servers 字段），可用下方配置生成器转换。

.vscode/mcp.json

{
  "servers": {
    "webclaw": {
      "command": "npx",
      "args": [
        "-y",
        "@webclaw/mcp"
      ]
    }
  }
}

写入项目的 .vscode/mcp.json（VS Code 使用 servers 字段）。

Terminal

claude mcp add webclaw -- npx -y @webclaw/mcp

在终端运行；先把 <…> 占位符换成你自己的值。

生成并校验客户端配置

验证是否装好

在 MCP 客户端的工具列表中确认出现 webclaw 的 scrape、crawl、map、batch、extract、summarize、diff、brand、search、research 工具，然后让它抓取 https://example.com 并返回 markdown。

常见排障

确保安装了 Cargo 构建依赖（如 pkg-config、libssl-dev、cmake）。
检查 WEBCLAW_API_KEY 是否设置以访问托管功能。
验证页面 URL 可公开访问且未阻止请求。
查看 CLI 输出和日志以获取提取错误详细信息。

试试这样问

连接成功后，可以直接对 AI 助手这样说：

抓取这些竞品定价页面并总结它们之间的差异。
爬取这个文档站点，为 RAG 索引准备干净的上下文。
从这个公司网站提取品牌颜色、字体和 logo。
把这个页面转成干净的 markdown 输出。

工具能力 10

scrape 只读

将单个 URL 提取为 Markdown、文本、JSON、LLM 格式或 HTML。

crawl 只读

跟随同源链接并提取发现的页面。

map 只读

发现 URL 而不提取每个页面。

batch 只读

并行抓取多个 URL。

extract 只读

将页面内容转换为结构化数据。

summarize 只读

总结页面内容。

diff 只读

比较页面内容快照。

brand 只读

提取颜色、字体、徽标和元数据。

展开其余 2 个工具

search 只读

搜索网络并抓取结果（托管 API）。

research 只读

多源研究流程（托管 API）。

使用场景

为 Claude、Cursor 等 AI 智能体提供干净的网页内容上下文。

为 RAG 管道抓取文档、帮助中心和知识库。

监控竞争对手的定价页面、更新日志和产品页面。

将杂乱的页面转换为类型化的 JSON 以实现自动化。

研究流程：搜索、抓取、总结多个来源。

支持客户端

Claude Desktop

Claude Code

Cursor

Windsurf

OpenCode

Codex

依据项目文档列出，未经本站实测。

详细介绍

webclaw 是一个快速的、本地优先的网页内容提取工具，专为 LLM 和 AI 智能体设计。它通过 CLI、REST API 和 MCP 服务器提供抓取、爬取和结构化数据提取功能。核心提取逻辑用 Rust 编写，支持本地运行，无需账户即可处理大多数网站。对于受保护或 JavaScript 渲染的页面，可选用托管的 API（webclaw.io）。