壹贰线报 · 官方定价页核实(核实时点:2026-11)
做监控、做 SEO、做 AI Agent 网页抓取时,最头疼的三件事:
SPA/React/Vue 页面
curl下来是空壳,必须真跑 Chrome 执行 JS才能拿到正文;想要正文 Markdown 而不是满屏
<div>标签,还要截图、console 报错、Lighthouse 评分,接5个服务才凑齐;给 AI 用的话,再叠一层"AI 总结/关键词/元数据",自己搭 Puppeteer 跑一周还容易被封。
URLpipe 一个 HTTPS POST 全搞定:传一个 URL,返回页面 JS 执行后的 Markdown、截图(PNG base64)、元数据、console 错误,以及真正跑 Google Lighthouse 的性能/可访问性/SEO/最佳实践评分。无需本地部署浏览器、无需 SDK、EU 数据中心托管,每月 1000 操作积分,注册就送 API Key 到邮箱,无需信用卡。
📌 上手前要看的 3 个细节
不是更正,只是第一次用的朋友提前知道更顺手。
1000 操作积分分两类独立计量:4 个 AI 端点(/markdown /meta /summarize /keywords)每月 50 次,4 个纯 Web 端点(/html /screenshot /lighthouse /console)每月 500 次,加起来约 550-1000 操作/月(scrape_url 一次跑多端会按实际扣),两类互不挤占,每月 1 号 UTC 重置;超额返回 HTTP 429,不自动扣费不停服,Dashboard 实时看剩余;
AI vs Web 边界:Markdown 清理(去导航/侧边栏/广告)、智能元数据抽取、AI 总结、关键词提取这4个端走 AI 模型消耗 50 配额;HTML/截图/Lighthouse/Console 这4个走真实 headless Chrome 不跑模型,消耗 500 web 配额;
residential 住宅代理/async Webhook/Lighthouse full audit 属于进阶用法:数据中心出口已经能对付绝大多数站点,对 Cloudflare/DataDome 等强反爬站可开 residential(按页附加费);Lighthouse 等慢操作建议开 sync=false 异步,结果 POST 到你的 Webhook。
🎁 两个隐藏福利(官网文档没在首页突出写)
MCP Server 免费全档可用:
https://urlpipe.dev/mcp用 Bearer token 直接接入 Claude Code / Cursor / ChatGPT / Codex / Cline,提供 14 个工具(fetch_html / fetch_markdown / capture_screenshot / run_lighthouse / capture_console_errors / extract_meta / summarize / extract_keywords / scrape_url 聚合、list_projects / get_result / get_usage 等),Cursor Directory 2026-10 收录、Glama 评分 4.6/5.0,是给 AI 代理"看网页"最直接的方式;7天缓存免费复用:
max_age=7d(默认)同 URL 7 天内复取结果不扣积分,最长可设 30 天;强制刷新传max_age=0,适合监控+巡检场景大量省积分。
📊 免费版额度一览
能力 | 免费档($0/月) |
|---|---|
月操作积分 | 约 1000 操作(50 AI + 500 Web,分项计量) |
项目 / API Key | Unlimited(每项目独立Key+独立历史) |
端点数量 | 8 个(4 Web + 4 AI) |
Markdown 正文清理 | ✅ /markdown |
元数据智能抽取 | ✅ /meta(title/desc/author/date/feed/og:image) |
AI 摘要 | ✅ /summarize |
关键词提取 | ✅ /keywords(5–15个,按相关性排序) |
HTML(JS执行后) | ✅ /html(headless Chrome渲染,跟重定向) |
截图 PNG base64 | ✅ /screenshot(可设 viewport/设备/DPR/暗黑/拦广告) |
Lighthouse 审计 | ✅ /lighthouse(Mobile/Desktop,可选full audit JSON) |
Console 错误 | ✅ /console(errors/warnings/uncaught exceptions) |
scrape_url 聚合端点 | ✅(一次跑多个 operations) |
Sync 同步 / Async Webhook | ✅ 全支持 |
MCP Server | ✅ 14 工具(Claude/Cursor/ChatGPT 通用) |
结果缓存 | ✅ 默认7天,最长30天,命中免费 |
请求历史 / Labels 标签 | ✅ /list_requests,可按 labels 过滤 |
数据存储位置 | ✅ EU(GDPR 友好) |
信用卡 | ❌ 不需要 |
✨ 6 个真好用的能力卡
Markdown 真干净:/markdown 用 Readability 类算法自动剥离导航/侧边栏/页脚/广告,返回 LLM-ready 纯 Markdown,不用自己再洗 HTML;
真 headless Chrome:SPA、CSR、React/Vue、客户端渲染页面都能拿到渲染后内容,自动跟随 3xx 重定向;
scrape_url 一把梭:一次 POST 指定
operations=["markdown","meta","screenshot","lighthouse"]四个一起跑,省 4 次 HTTP 往返;Lighthouse 真·Google 原版:不是简易评分,是跑完整 Lighthouse,返回 performance/accessibility/best-practices/SEO/PWA 全分数+建议项,可开 full audit JSON;
Console Errors 抓现场:页面报错、warn、未捕获异常、CSP 违规直接返回,预发环境 QA 抓 Bug 神器,比手动开 DevTools 快;
Labels 业务标签:请求带
labels={"client":"acme","env":"staging"},后续 /list_requests 可按 label 过滤+账单归因。
⚠️ 三个要避开的坑
Lighthouse 慢,别用 sync:Lighthouse 一次跑 10-30 秒,建议传
sync=false加report_toWebhook,否则 HTTP 连接容易超时;screenshot 改 viewport 会单独算一次:自定义 viewport_width / device_scale_factor / dark_mode / block_ads 会改变页面加载方式,每次参数组合视为独立 page visit 扣 web 配额;
residential 住宅出口有附加费:默认数据中心 IP 免费,遇强反爬站开
residential=true会按页额外计费,免费额度下建议只在必要时开启。
🎯 适合 / 不适合
适合:
AI Agent / RAG 接真实网页(MCP 直连 Cursor/Claude)、SEO 批量扫站(Lighthouse+Meta+Keywords)、预发监控巡检(截图+Console Errors)、新闻/文档聚合(Markdown 清洗)、低成本替代自建 Puppeteer/Playwright 集群;
个人博客/独立开发者/小团队低流量生产,或作为主爬取链路的备份。
不适合:
日均千页以上的大规模爬虫(免费 550 次/月不够,需联系团队 Unlimited 定制)、需要登录态/cookie/表单交互的复杂爬取(URLpipe 是无状态 GET)、国内站点毫秒级监控(服务器在 EU,国内访问 300-600ms 延迟)。
🚀 4 步上手(可直接复制)
打开 https://urlpipe.dev 填邮箱创建项目,几秒后 API Key 发到邮箱(
sk_live_***),无需信用卡;用 curl 试一次 Markdown(官方示例):
curl -X POST https://urlpipe.dev/markdown \
-H "Authorization: Bearer sk_live_你的key" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com"}'
一把梭聚合调用(一次拿 markdown + 元数据 + 截图 + Lighthouse,async 模式):
curl -X POST https://urlpipe.dev/scrape_url \
-H "Authorization: Bearer sk_live_你的key" \
-H "Content-Type: application/json" \
-d '{
"project_id": "proj_xxx",
"url": "https://your-site.com",
"operations": ["markdown", "meta", "screenshot", "lighthouse"],
"sync": false,
"report_to": "https://your-app.com/webhook/urlpipe",
"labels": {"env": "prod", "client": "壹贰云"},
"max_age": "2 hours"
}'
# 立刻返回 {"token":"req_xxx"},跑完POST到webhook
接 MCP(Cursor / Claude Code),在 MCP 配置加:
{
"mcpServers": {
"urlpipe": {
"type": "http",
"url": "https://urlpipe.dev/mcp",
"headers": {"Authorization": "Bearer sk_live_你的key"}
}
}
}
重启 Cursor,直接对 Agent 说"帮我看一下 https://xxx.com 的 Lighthouse 评分和 console 报错",自动调用 14 工具。
📊 8 款网页抓取/Markdown/性能审计 API 横向对比
工具 | 免费额度 | JS渲染 | Markdown | Lighthouse | 截图 | MCP | AI总结 | 数据中心 |
|---|---|---|---|---|---|---|---|---|
URLpipe | 50 AI + 500 Web/月≈1000 | ✅真实Chrome | ✅ | ✅真Google | ✅PNG | ✅14工具 | ✅meta/summary/keywords | EU |
Scrapfly | 1000 credits | ✅ | ✅(LLM) | ❌ | ✅ | ❌ | ✅Extraction | 全球190国 |
Firecrawl | 500 credits/月 | ✅ | ✅ | ❌ | ✅ | ✅ | ✅Map/Extract | US |
Jina Reader | 免费有限速 | ✅ | ✅ | ❌ | ✅ | ✅ | ❌ | 全球 |
Browserless | 免费1000次/月 | ✅ | ❌ | ❌ | ✅ | ❌ | US/EU | |
ScrapingBee | 1000 credits试用 | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ | 全球 |
Browserbase | 不限免费 | ✅Session | ❌ | ❌ | ✅ | ✅ | ❌ | US |
Thundercrawl | 1000 pages/月 | ✅ | ✅MD | ❌ | ❌ | ❌ | ✅ | EU |
横向对比清单完整版(含价目/反爬能力/MCP工具数)文末互动抽取。
💰 付费档位
档位 | 价格 | 说明 |
|---|---|---|
Free | $0/永久 | 50 AI + 500 Web ops/月,Unlimited 项目/Key/MCP,Sync+Async |
Unlimited(Custom) | 联系团队 | 无月上限、相同端点/API、直连团队、Priority 支持 |
URLpipe 目前还在 "Free while we're growing" 阶段——免费档是给真实业务用的不是 demo,超了直接邮件联系开通定制,简单直接。
🎯 活动直达入口(后台回复关键词)
在公众号后台发送以下任意关键词,自动获取「URLpipe 快速上手指引(7 步)」+「简化版清单(免费权益 + 不含项 + 3 条避坑)」两份资料:
URLpipeURLpipe免费网页抓取APIURLpipe对比LighthouseAPI
直达链接:https://urlpipe.dev(创建项目→Key 发邮箱→curl 测试→MCP 接入,全流程不到 3 分钟)
你平时用什么方式抓网页给 AI 读?是自写 Puppeteer、用 Jina Reader、Firecrawl 还是已经接上 MCP 了?遇到 SPA 渲染/反爬/Lighthouse 审计最头疼的是哪一环?
🔎 事实核验说明
本文数据来自 urlpipe.dev 官方首页+FAQ+定价页+端点文档+Glama MCP 4.6/5 评分+Cursor Directory 2026-10收录页交叉一致;配额 50 AI + 500 Web/月、8 端点、14 MCP 工具、scrape_url 聚合、max_age 7天默认缓存、EU存储、无信用卡、Unlimited 项目/Key、residential附加费均来自官方原文;核实时点 2026-11。文中价格与规则以官方文档为准。