适合谁
- 希望使用无代码方式从网站提取数据的非技术用户。
- 希望将网页转换为结构化 API 的开发者，用于集成。
- 需要自动化和定时抓取的个人和企业。
- 希望自托管数据抓取基础设施的团队。
M
41FMRS · D
Maxun 提供了一个功能丰富的无代码数据提取平台，并集成了 MCP 支持。其亮点在于易用性和灵活性，允许通过记录操作或 AI 描述来创建机器人，而 MCP 服务器则将这些功能暴露给 AI 助手。不过，用户需要注意抓取的法律和合规风险，以及动态网站可能带来的稳定性问题。总体而言，它是一个有潜力的工具，但尚处早期阶段。
Maxun 是一个开源的无代码网络数据平台，支持从真实网站中提取、抓取、爬取和搜索结构化数据。它结合了 Playwright 浏览器自动化与可选 AI（LLM）驱动，提供 Recorder 和 AI 模式，让你无需编程即可创建可复用的机器人。你还可以通过 RESTful API、SDK 或 CLI 访问数据，并支持定时运行、分页处理、登录后抓取等功能。项目采用 AGPL-3.0 许可，可自托管。
工具能力
extract
从网页中提取结构化数据（支持模式：记录、AI）。
scrape
将整个网页转换为干净的 Markdown 或 HTML，并可截取屏幕截图。
crawl
爬取整个网站，并从每个相关页面提取内容，可控制范围和发现逻辑。
search
执行自动化的网络搜索，以发现或抓取结果，支持基于时间过滤。
schedule_run
安排机器人运行，实现定时自动化。
get_robot_run
获取特定机器人运行的详细信息。
get_robot_runs
列出机器人运行历史。
get_robot
获取特定机器人的配置。
get_robots
获取所有可用机器人的列表。
安装接入
- 确保你有可用的 Maxun 实例（可以是托管的 app.maxun.dev 或自托管的 Docker/本地安装）。
- 通过 npm 或 pip 安装 MCP 服务器包（具体命令请参考官方文档或 npm/PyPI 发布页）。
- 配置环境变量，如 MAXUN_API_KEY 和 MAXUN_INSTANCE_URL（详见官方文档）。
- 在客户端配置中添加 MCP 服务器：例如在 Claude Desktop 的配置文件中添加 JSON 块，指定命令和参数。
- 重启客户端，你应能使用 Maxun MCP 工具。
选型与风险
不适合谁
- 需要处理反爬虫措施（如复杂验证码）的超大规模抓取，因为它主要模拟真实浏览器，但可能无法应对强反爬。
- 需要严格实时抓取极快变化的网站。
- 需要商业支持或已承诺 SLA 的生产环境。
- 仅需要简单单页 HTML 抓取而不需要完整机器人功能的用户。
所需权限
- 网络访问：连接到目标网站，打开页面、单击、填写表单等，因此需要能够访问互联网。
- API 密钥：需要 Maxun 实例的 API 密钥以进行身份验证。
- 数据访问：可能允许读取和提取网站内容，包括登录后的数据（如果配置了登录）。
- 存储和调度：在某些配置中，可能需要权限来安排任务和存储提取的数据。
风险与副作用
- 法律合规：抓取网站可能违反网站的服务条款或适用法律，特别是涉及个人数据时，你需要确保你拥有合法权利。
- IP 封禁：抓取可能会触发目标网站的反爬机制，导致你的 IP 被临时或永久封禁。
- 数据准确性：动态网站或布局更改可能导致提取失败或数据不准确。
- 安全：自托管时需保护基础设施，避免 API 密钥泄露。相对于托管版本，数据存储在本地，需确保安全。
常见排障
- 连接失败：检查 Maxun 实例的 URL 是否可访问，API 密钥是否正确。
- 工具出错：确保机器人已提前在 Maxun 中创建，并且工具调用的参数正确。
- 提取失败：尝试在 Maxun 中重新录制机器人，或检查目标网站是否更改布局。
- 调度问题：确认时区和调度配置正确，检查 Maxun 日志。
使用场景
市场研究：收集竞争对手信息、价格和评论。
潜在客户生成：从目录获取联系信息。
内容聚合：从多个来源抓取文章内容。
数据监控：定时跟踪网页变化。
AI 应用：为 RAG 或 LLM 准备干净的文本数据。
支持客户端
Claude Desktop完整支持