知乎の記事・回答を Markdown 化
知乎の記事・回答向けスクレイパー API
知乎のコラム記事または回答の直接リンクを Crawl に送信。専用パーサーが対象の本文を Markdown に変換し、取得できる場合は著者と公開日時も返します。
エンドポイント — bash
取得できるページ
コラム記事と個別回答を、読書・検索・アーカイブに使える形で取得。
1
記事本文
公開コラム記事の見出し、リスト、リンク、画像を抽出。
2
個別回答
回答の直接リンクから、収集したい回答本文を取得。
3
著者と公開日時
ページデータに含まれる著者情報と公開日時を本文に添付。
用途
中国語 RAG / 回答調査 / 記事アーカイブ
入力と出力
公開コラム記事と個別回答の、実際のページ 2 件です。左は匿名ブラウザーで撮影した元ページ、右は Crawl が返した Markdown 全文です。スクロールまたはコピーして最後まで確認できます。
コラム記事
zhuanlan.zhihu.com/p/2040015771137529694Zhihu が返すもの
コラム記事 — タイトル、著者、本文と周辺 UI
API が返すもの
markdown
Markdown 全文 — 14,934 文字 · スクロール・全文コピーに対応
個別回答
www.zhihu.com/question/574984177/answer/2818374142Zhihu が返すもの
回答ページ — 質問タイトル、著者と回答の最初の画面
API が返すもの
markdown
Markdown 全文 — 2,922 文字 · スクロール・全文コピーに対応
別の Zhihu リンクでも確認できます
取得できるページ
どちらの URL も同じ /crawl エンドポイントで利用できます。リンクで指定した記事・回答の本文が返ります。
| URL パターン | ステータス | 取得できる内容 |
|---|---|---|
zhuanlan.zhihu.com/p/<article-id> | 対応 | コラム記事の本文を Markdown に変換。見出し、リンク、コード、画像を保持。 |
(www.|m.)zhihu.com/question/<question-id>/answer/<answer-id> | 対応 | 指定した回答を Markdown で取得。質問タイトルと、取得できる著者・公開日時を添付。 |
対象の本文を読む
知乎の画面では回答が折り畳まれ、記事の周囲にログイン案内やおすすめが表示されます。パーサーはページデータから対象 ID の本文を読み、抜粋や別の回答による代用を防ぎます。
長文記事を取得
コラム記事を索引化・保存できる Markdown で取得。
回答を指定して収集
直接リンクで、調査やナレッジベースに使う回答を選択。
書式を保持
見出し、リスト、コード、出典リンク、画像 URL の構造を保持。
出典を一緒に保存
タイトルと、取得できる著者・公開日時を本文と一緒に管理。
知乎スクレイパー API とは？
知乎スクレイパー API は、公開コラム記事や個別回答をアプリケーションで読める形に変換します。Search1API は本文の書式と取得できる出典情報を保持し、検索・読書・アーカイブ向けの Markdown を返します。
実装の流れ
典型的な流れ
知乎のコラム記事または回答の直接リンクを Crawl に送信。専用パーサーが対象の本文を Markdown に変換し、取得できる場合は著者と公開日時も返します。
1
コラム記事 URL または回答の直接リンクを /crawl に POST。
2
レスポンスからタイトルと Markdown 本文を読む。
3
元 URL と一緒に、取得できた author・publishedTime を保存。
4
本文を索引化、アーカイブ、またはアプリケーションへ渡す。
利用例
中国語の公開記事を検索用に索引化。
元リンク付きで個別回答を収集。
読みやすい Markdown の記事アーカイブを作成。
直接リンクを持つ複数の回答を比較。
FAQ
知乎から何を取得できますか？
公開コラム記事と個別回答です。上記に両方のページ種別で成功した Crawl レスポンスを掲載しています。
書式は保持されますか？
はい。見出し、リスト、コード、通常のリンク、画像を Markdown に変換。知乎の検索リンク装飾は除去し、テキストを保持します。
著者と公開日時も取得できますか？
元データに含まれる場合は author と publishedTime を title・content と一緒に返します。
自分のリンクを試すには？
URL-to-Markdown ツールを開くか、上記のリクエスト例に従い記事・回答の URL を /crawl に POST してください。
対応範囲は？
コラム記事と回答の直接リンクに対応。質問一覧、プロフィール、トピック、コメントは対象外です。サイトのアクセス確認により失敗する場合があります。