PyPI プロジェクトページを Markdown 化
プロジェクトページ向け PyPI スクレイパー API
PyPI プロジェクト URL を Crawl エンドポイントに送るだけ。説明文に加え、ライセンス・requires-python・requirements リストが構造化 Markdown で返ります。バージョン固定 URL も対象。
エンドポイント — bash
対応しているページ
アダプターは pypi.org/pypi/<name>/json を読みます — Web ページが包んでいるリリース履歴サイドバーなしの README とメタデータ。
1
プロジェクトページ
説明文を Markdown で — ライセンス・requires-python・リリース日はメタデータに。
2
バージョン固定リリース
/project/<name>/<version>/ URL はそのリリースを返却 — その版の説明文と requirements。
3
requirements をリストで
インストール要件はクリーンなリストで描画 — extras と環境マーカーも保持。
用途
依存関係の調査 / パッケージ発掘 / バージョン監査
入力と出力
2 つの URL タイプ。左は PyPI が実際に配信する公開ページの匿名スクリーンショット、右は API が返す results.content の全文です。
プロジェクトページ
pypi.org/project/fastapi/PyPI が返すもの
472 KB の描画 HTML — リリース履歴・プロジェクトリンク・統計サイドバーに包まれた説明文
API が返すもの
markdown
プロジェクトカード + 説明文 — 24 KB · fastapi 0.141.1 · MIT · requirements 32 件
バージョン固定リリース
pypi.org/project/django/5.2/PyPI が返すもの
581 KB の描画 HTML — リリース 5.2 に固定された同じレイアウト
API が返すもの
markdown
特定リリース — 2.7 KB · Django 5.2 · requires-python >=3.10 · その版の requirements
別の PyPI リンクでも確認できます
URL パターン別の対応状況
PyPI 対応はドメイン単位ではなく URL パターン単位で計測しています。表の各行は本番クローラーで検証済みです。
| URL パターン | ステータス | 取得できる内容 |
|---|---|---|
/project/<name>/ | 対応 | 最新リリース — 説明文を Markdown で、ライセンス・requires-python・リリース日・requirements リスト付き。 |
/project/<name>/<version>/ | 対応 | バージョン固定はその版を返却 — その版の説明文と requirements。監査・差分に有用。 |
サイドバーのノイズなしでプロジェクトカードを取得
PyPI の Web ページは説明文をリリース履歴サイドバーで包んでおり、数万文字の半分がバージョンリンクです。Crawl エンドポイントにプロジェクト URL を渡すと、pypi.org/pypi/<name>/json を読む専用アダプターにルーティングされます — README とメタデータレコードだけが返ります。
サイドバーではなく JSON API
アダプターは pypi.org の JSON API を読みます — バージョンリンクのクロームなしで説明文とメタデータレコードを取得。
カードと説明文
Markdown はプロジェクトカード（名前、バージョン、ライセンス、requires-python）で始まり、その下に説明文全文。
requirements をリストで
インストール要件はクリーンなリストで描画 — extras と環境マーカーもそのまま残ります。
URL パターンごとに実測
表の各行は実際の URL をライブでクロールして再現したもの — ドメイン単位の主張ではなくパターン単位の実測です。
PyPI スクレイパー API とは？
PyPI スクレイパー API は、PyPI プロジェクト URL を受け取りプロジェクトページを構造化されたモデル向け形式で返す HTTP インターフェースです。Web ページは説明文をナビゲーションとリリース履歴サイドバーに埋め込んでおり、中身はプロジェクトレコード — README、ライセンス、requires-python、requirements です。Search1API の Crawl エンドポイントは pypi.org の JSON API を直接読み取るため、プロジェクトとバージョン固定 URL がサイドバーのノイズなしでカードを Markdown で返します。
実装の流れ
典型的なワークフロー
PyPI プロジェクト URL を Crawl エンドポイントに送るだけ。説明文に加え、ライセンス・requires-python・requirements リストが構造化 Markdown で返ります。バージョン固定 URL も対象。
1
PyPI プロジェクト URL を Crawl エンドポイントに POST — アカウントは不要。
2
URL がパターンルールに照合され、PyPI アダプターにルーティングされます。
3
アダプターが pypi.org/pypi/<name>/json を読み取り — 純粋な HTTP、チャレンジなし。
4
プロジェクトは Markdown と results.metadata で返却 — version、license、requiresPython。
利用シーン
採用前の依存関係の審査 — 説明文、ライセンス、requires-python が 1 コールで。
バージョン監査 — バージョン固定 URL が差分用の特定リリースの requirements を返します。
パッケージ発掘への投入 — インデックス上の全プロジェクトで同じカード形状。
npm アダプターとの併用 — 2 つのパッケージレジストリを 1 つのパイプライン形状で。
FAQ
PyPI アカウントは必要ですか？
不要です。アダプターは公開の pypi.org JSON API を読み取ります — サイトがレンダリングしているものと同じレコードです。読み取り経路にトークンやセッションはありません。
どの PyPI URL に対応していますか？
プロジェクトページ（/project/<name>/）とバージョン固定リリース（/project/<name>/<version>/）に対応。検索・一覧ページは専用パスの対象外です。
Web ページとの違いは？
Web ページは説明文をリリース履歴サイドバーで包み、数万文字の半分がバージョンリンクです。JSON API は README とメタデータレコードだけを返します。
バージョン固定で本当に内容が変わりますか？
はい — バージョン固定はその版自身の説明文と requirements リストを返します。そのリリース時点の requires-python 境界や extras も含まれます。
どんなメタデータが返りますか？
platform、package、version、license、requiresPython、descriptionContentType — 説明文を読まずにプロジェクトを振り分け・フィルタできます。
PyPI のスクレイピングは合法ですか？
当社が取得するのは PyPI が公開 JSON API を通じて匿名で提供するもののみです — ログイン、セッション共有、アクセス制御の回避は行いません。特定の用途が法や PyPI の規約に適合するかは管轄と用途次第なので、自社の法務にご確認ください。