适合谁
- 需要从网站提取结构化数据的开发者和数据科学家
- 构建基于AI的网页内容分析工具
- 需要绕过CAPTCHA和地理限制获取数据的场景
O
59FMRS · C
Oxylabs MCP Server提供了强大的抓取和AI数据提取功能，适合需要高效获取网页数据的开发者。优点包括支持多种目标网站、自动渲染JavaScript、内置CAPTCHA管理，以及AI驱动的工具。需要注意凭证配置和成本问题。
Oxylabs MCP服务器为AI模型与网页之间提供桥梁。它能够抓取任何URL、渲染JavaScript密集型页面、提取并格式化内容以供AI使用、管理验证码，并获取来自195多个国家/地区的地理限制网络数据。
工具能力
universal_scraper
使用Oxylabs Web Scraper API进行通用网站抓取。
google_search_scraper
使用Oxylabs Web Scraper API提取Google搜索结果。
amazon_search_scraper
使用Oxylabs Web Scraper API抓取Amazon搜索结果页面。
amazon_product_scraper
使用Oxylabs Web Scraper API从单个Amazon产品页面提取数据。
ai_scraper
使用AI驱动的数据提取，从任何URL抓取JSON或Markdown格式的内容。
ai_crawler
根据提示，爬取网站并在多个页面收集Markdown或JSON格式的数据。
ai_browser_agent
根据提示，控制浏览器并以Markdown、JSON、HTML或截图格式返回数据。
ai_search
使用AI驱动的内容提取搜索网页的URL及其内容。
安装接入
- 安装uv包管理器：macOS/Linux: curl -LsSf https://astral.sh/uv/install.sh | sh；Windows: powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"。2. 在MCP客户端配置中添加以下JSON配置：{"mcpServers":{"oxylabs":{"command":"uvx","args":["oxylabs-mcp"],"env":{"OXYLABS_USERNAME":"你的用户名","OXYLABS_PASSWORD":"你的密码","OXYLABS_AI_STUDIO_API_KEY":"你的API密钥"}}}}。3. 确保提供至少一组有效凭证：要么是Web Scraper API的OXYLABS_USERNAME和OXYLABS_PASSWORD，要么是AI Studio的OXYLABS_AI_STUDIO_API_KEY。
claude_desktop_config.json
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
选型与风险
不适合谁
- 没有Oxylabs账户或凭证的用户
- 需要处理极其复杂或高度反爬的网站（可能需要专业支持）
- 对成本敏感且需要无限制免费使用的用户
所需权限
- 需要网络访问权限以调用Oxylabs API
- 环境变量中存储的凭证（OXYLABS_USERNAME、OXYLABS_PASSWORD、OXYLABS_AI_STUDIO_API_KEY）
风险与副作用
- 凭证泄露风险：注意不要将凭证硬编码或提交到公共仓库
- API密钥可能被滥用，需定期轮换
- 抓取操作可能违反网站服务条款，需自行评估合规性
- 依赖外部API，可能因网络或服务问题导致失败
常见排障
- 1. 确认环境变量已正确设置，且没有留空占位符（占位符会导致工具暴露但不工作）。
- 2. 检查网络连接，确保能访问Oxylabs API。
- 3. 查看服务器返回的notification/message事件中的日志，例如'Create job'和'Job info'，诊断问题。
- 4. 如果工具未显示，检查是否提供了正确的凭证组合：只有Web Scraper凭证时仅显示前四个工具，只有AI Studio密钥时显示后四个，两者都有则显示全部。
使用场景
抓取动态网站并提取数据供AI分析
获取Google、Amazon等目标平台的搜索结果
通过AI代理自动化浏览器操作
从网页收集结构化数据用于LLM训练或内容生成
支持客户端
Claude Desktop完整支持