Search1API文档

专用站点解析器

Search1API 如何为部分主流网站返回更干净、更结构化的输出,以及每个网站已验证的 URL 模式。

POST /crawl 通过通用提取链路处理任何公开 URL。 对于少数主流网站,Search1API 还维护了专门的处理逻辑, 能返回比通用提取更干净、更结构化的输出:类似文章的 Markdown,外加站点专属的元数据。

专用处理的工作方式

专用处理有三种形式:

  • 专用 HTML 解析器直接读取渲染后的页面结构,把站点特有的元素 (作者、发布日期、正文、计数)映射为统一的结果结构。
  • 专用数据源或 API 路径读取网站自身的结构化数据源,而不是 HTML 页面。 例如,Reddit URL 通过 Reddit 公开的 Atom feed 提供服务, 无需账户或 OAuth 应用即可返回帖子正文和评论串。
  • 站点专属的提取规则在专用解析之前,将渲染后的 HTML 提取与 URL 规范化、目标正文校验结合起来,雪球的数字 ID 帖子就采用这种方式。

当专用路径无法处理某个请求时,enableFallback 允许该请求回退到基于浏览器渲染的提取。 响应仍然成功,但内容中可能包含页面周边的界面元素,不如专用输出干净。

部分站点规则会强制使用其指定的爬虫和校验路径。雪球的数字 ID 帖子不使用跨爬虫回退; 被识别为已删除的帖子会以 SOFT_NOT_FOUND 结束。知乎文章和单个回答必须包含 对应实体的正文,而不能是摘录或无关的回答。

按 URL 模式逐一验证支持

覆盖范围按 URL 形态而不是按域名来衡量。每个站点的介绍页只列出经过真实请求验证的 URL 模式。 一个站点可能支持帖子和列表页,而其他板块仍不受支持或需要登录。 需要登录认证的页面会如实返回错误,而不是编造内容。

支持专用处理的网站

网站机制已验证的 URL 模式详情
LinkedIn专用 HTML 解析器公司主页、职位搜索与职位列表、帖子、Pulse 文章、公开个人资料LinkedIn Scraper API
Reddit公开 Atom feed带评论串的帖子、subreddit 列表(包括排序视图)、用户主页Reddit Scraper API
X (Twitter)公开 embed/syndication JSON推文、引用推文和长文 ArticlesX Scraper API
YouTube基于页面字幕轨的专用解析器watch 和 youtu.be 视频 URL、播放列表YouTube Scraper API
GitHub专用转换器仓库 README、blob 文件视图、raw.githubusercontent.com 文件GitHub Scraper API
Stack Overflow / Stack Exchange公开 Stack Exchange API问题页面、/a/ 和 /q/ 永久链接、所有网络站点Stack Overflow Scraper API
Hugging Face公开 Hub API + 原始 README模型卡片、数据集卡片、Space 元数据、受限仓库的部分内容Hugging Face Scraper API
微信专用 HTML 解析器公开的 mp.weixin.qq.com/s/ 文章链接WeChat Scraper API
Hacker News公开的 Algolia 托管 HN API带评论树的帖子页面、评论永久链接、front/newest/ask/show 列表页Hacker News Scraper API
npm公开 registry.npmjs.org API包页面、scoped 包、指定版本的页面npm Scraper API
PyPI公开 pypi.org JSON API项目页面、指定发布版本的页面PyPI Scraper API
哔哩哔哩基于视频元数据 + 弹幕数据的专用解析器/video/ 页面、b23.tv 短链接Bilibili Scraper API
CSDN基于 cloudflare-fetch 的专用解析器blog.csdn.net 的 /article/details/ 页面CSDN Scraper API
知乎基于渲染页面数据的专用实体解析器zhuanlan.zhihu.com/p/ 文章和 /question/<id>/answer/<id> 单个回答Zhihu Scraper API
雪球带帖子身份校验和中文排版规范化的专用 DOM 解析器root/www 下数字形式 /<user-id>/<post-id> 的公开帖子 URL,规范化为 HTTPS wwwXueqiu Scraper API

每个链接页面都记录了该网站已验证的 URL 模式、一个真实请求示例以及真实的响应输出。

本页内容