Web ページを AI が扱いやすいコンテンツに変換する Crawl API
独自スクレイパーや HTML クリーンアップ基盤を運用せず、URL から読みやすい本文を構造化結果として取得できます。
エンドポイント
雑多な Web ページを、インデックス化、要約、保存、AI 入力に使える読みやすい本文へ変換します。
ページの主要本文を抽出。
タイトル、URL、メタ情報を保持。
RAG、要約、エージェントに最適。
活用例
エージェント / RAG / ページ整形
エージェントとデータパイプラインのための抽出
Crawl endpoint は単一 URL または複数 URL を受け取り、ページ本文、タイトル、リンク、メタデータを返します。LLM にそのまま渡すにはノイズが多い HTML を整理します。
迅速な抽出
シンプルなウェブページから約3秒で結果を取得します。迅速なコンテンツ取得により、AIアプリケーションが応答性を保ちます。
構造化されたコンテンツ
クリーンで解析されたコンテンツをMarkdown形式で受け取ります。煩雑なHTMLやフォーマットの問題なしにAI処理に最適です。
高度なクロール
インテリジェントなクロールルールを使用して一般的なアクセス制限を回避します。基本的なクローラーをブロックするサイトからコンテンツにアクセスします。
多様なドキュメント
HTMLだけでなく、PDFやその他のドキュメント形式からコンテンツを抽出します。AIの知識ベースをすべてのコンテンツタイプに拡張します。
クロール API とは？
クロール API は、URL を取得して生の HTML の代わりにクリーンで解析済みのコンテンツを返すサービスです。JavaScript レンダリングを処理し、ナビゲーション・広告・スクリプトなどの定型的要素を除去して、記事本文、タイトル、メタデータを構造化形式で抽出します。Search1API のような Web クローラー API はバッチ処理にも対応しており、複数 URL を 1 リクエストで送信してそれぞれのクリーンな本文を受け取れます。RAG 取り込み、コンテンツ集約、LLM がノイズの多い HTML ではなく読めるテキストを必要とする AI エージェントのワークフローに最適です。
基本フロー
独自スクレイパーや HTML クリーンアップ基盤を運用せず、URL から読みやすい本文を構造化結果として取得できます。
1 つの URL または URL 配列を Crawl endpoint に送信します。
インデックス化や LLM コンテキストに適した本文とメタデータを受け取ります。
処理量に応じてリトライやバッチ処理を組み合わせます。
主な用途
当社のインテリジェントクローラーを使用して、任意のウェブページからコンテンツを抽出します。
クリーンな記事本文が必要な RAG 取り込みパイプライン。
多数のサイトからページを正規化するコンテンツ集約システム。
特定 URL を読んでから行動する AI エージェント。
自作クローラーで anti-bot ブロックにお困りですか？
自前のスクレイパーがレート制限やボット検知でブロックされる場合は、ローテーション住宅用プロキシ経由でリクエストを送り、新しい IP と地域指定を活用できます。
FAQ
Crawl API は複数 URL を処理できますか？
はい。URL オブジェクトの配列を送信することで、1 回のリクエストでバッチ処理できます。
Crawl API のクレジット消費は？
Crawl API は 1 リクエストあたり 1 クレジットです。クロールが完了した時点で課金されます。対象サーバーが URL の不存在を確認した場合（検証済みの 404/410 デッドリンク）も、ゼロ件検索と同様に「完了した回答」として課金対象になります。当社側の障害（タイムアウトや上流エラー）で失敗した場合は課金されません。
クロール API とは何ですか？
クロール API は URL を取得し、生の HTML ではなく解析済みのクリーンな本文を返します。ナビゲーションや広告、スクリプトなどの定型的要素を除去し、記事本文・タイトル・メタデータを抽出します。Search1API はバッチ URL 処理と構造化 JSON 出力に対応し、RAG や AI エージェントのワークフローにそのまま組み込めます。
無料の Web クローラー API はありますか？
はい。Search1API は新規登録で 100 クレジットを無料進呈し、クレジットカードは不要です。Crawl API は 1 リクエスト 1 クレジットなので、100 ページを無料でクロールできます。
Crawl API と Extract API の違いは？
Crawl API はページ本文をクリーンなテキストで返します。Extract API はさらに、自然言語プロンプトと JSON Schema で指定した特定フィールドを抽出します。読めるテキストが必要なら Crawl、価格や評価、属性などの構造化データが必要なら Extract を使います。