PyPI 项目页面转 Markdown
面向项目页面的 PyPI 抓取 API
把 PyPI 项目 URL 发给 Crawl 接口，拿回结构化 Markdown——项目描述加 License、requires-python 和依赖列表。含版本固定 URL。
接口 — bash
可以抓什么
适配器读 pypi.org/pypi/<name>/json——README 和 metadata，没有网页包在外面的版本历史侧栏。
1
项目页面
描述转 Markdown——License、requires-python、发布日期进 metadata。
2
版本固定发布
/project/<name>/<version>/ URL 返回那个确切版本——它的描述和依赖。
3
依赖成列表
安装依赖渲染成干净的列表——extras 和环境标记原样保留。
适用场景
依赖调研 / 包发现 / 版本审计
输入什么，返回什么
两种 URL 形态：左边是 PyPI 实际返回页面的真实匿名截图，右边是 API 返回的 results.content 全文。
项目页面
pypi.org/project/fastapi/PyPI 实际返回的页面
472 KB 渲染 HTML——描述被版本历史、项目链接和统计侧栏包裹
API 返回的数据
markdown
项目卡片 + 描述 — 24 KB · fastapi 0.141.1 · MIT · 32 个依赖
版本固定发布
pypi.org/project/django/5.2/PyPI 实际返回的页面
581 KB 渲染 HTML——同一布局固定到 5.2 版本
API 返回的数据
markdown
确切版本 — 2.7 KB · Django 5.2 · requires-python >=3.10 · 该版本的依赖
换个 PyPI 链接看看效果
按 URL 形态的覆盖情况
PyPI 支持按 URL 形态实测，不按域名笼统宣称。表中每一行都在线上爬虫上验证过。
| URL 形态 | 状态 | 返回内容 |
|---|---|---|
/project/<name>/ | 支持 | 最新版本——描述转 Markdown，License、requires-python、发布日期、依赖列表齐全。 |
/project/<name>/<version>/ | 支持 | 版本固定返回那个确切版本——它的描述和依赖列表，适合审计和 diff。 |
没有侧栏噪音的项目卡片
PyPI 网页把项目描述包在版本历史侧栏里——几万字符里一半是版本链接。把项目 URL 发给 Crawl 接口，请求会被路由到读取 pypi.org/pypi/<name>/json 的专用适配器——只返回 README 和 metadata 记录，没有别的。
走 JSON API，不要侧栏
适配器读 pypi.org 的 JSON API——拿到描述和 metadata 记录，不带版本链接的壳。
卡片加描述
Markdown 开头是项目卡片——名称、版本、License、requires-python——下面接描述全文。
依赖成列表
安装依赖渲染成干净的列表——extras 和环境标记完整保留。
按 URL 形态实测
矩阵每行都是真实 URL 的实测复现——按形态实测，不按域名笼统宣称。
什么是 PyPI 抓取 API？
PyPI 抓取 API 是一个 HTTP 接口：给它一个 PyPI 项目 URL，返回结构化、可直接喂给模型的项目页面。网页把描述嵌在导航和版本历史侧栏里，实质内容是项目记录——README、License、requires-python、依赖。Search1API 的 Crawl 接口直接读 pypi.org 的 JSON API，项目页和版本固定 URL 都能拿回 Markdown 卡片，不带侧栏噪音。
接入路径
典型流程
把 PyPI 项目 URL 发给 Crawl 接口，拿回结构化 Markdown——项目描述加 License、requires-python 和依赖列表。含版本固定 URL。
1
把 PyPI 项目 URL POST 给 Crawl 接口——无需账号。
2
URL 匹配规则后路由到 PyPI 适配器。
3
适配器读 pypi.org/pypi/<name>/json——纯 HTTP，无挑战。
4
项目返回 Markdown + results.metadata——version、license、requiresPython。
典型用法
采用前审查依赖——描述、License、requires-python 一次拿到。
版本审计——版本固定 URL 返回可做 diff 的特定版本依赖。
做包发现——索引上所有项目都是同一个卡片结构。
与 npm 适配器搭配——两个包注册表共用一条管线形态。
常见问题
需要 PyPI 账号吗？
不需要。适配器读公开的 pypi.org JSON API——和网站渲染的是同一条记录。读取路径里没有任何 token 或会话。
支持哪些 PyPI URL？
项目页面（/project/<name>/）和版本固定发布（/project/<name>/<version>/）。搜索和列表页不在专用路径上。
和网页版有什么区别？
网页把描述包在版本历史侧栏里，几万字符一半是版本链接。JSON API 只返回 README 和 metadata 记录。
版本固定内容真的不同吗？
是的——版本固定返回那个版本自己的描述和依赖列表，包括当时的 requires-python 边界和 extras。
返回哪些 metadata？
platform、package、version、license、requiresPython、descriptionContentType——不读描述也能给项目分流和过滤。
抓 PyPI 合法吗？
我们只获取 PyPI 通过公开 JSON API 匿名提供的内容——无登录、无会话共享、不绕过访问控制。具体用途是否合法、是否符合 PyPI 条款取决于你的辖区和场景，请与法务确认。