メインコンテンツへスキップ

前提条件

セットアップ

npm create cloudflare@latest my-scraper
cd my-scraper
npm install @mendable/evocrawl-js
APIキーをシークレットとして追加します:
wrangler secret put EVOCRAWL_API_KEY

Webを検索する

Webを検索し、ページ全体のコンテンツを含む結果を返すハンドラーを作成します。 src/index.ts を編集します:
import Evocrawl from "@mendable/evocrawl-js";

export interface Env {
  EVOCRAWL_API_KEY: string;
}

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const evocrawl = new Evocrawl({ apiKey: env.EVOCRAWL_API_KEY });
    const url = new URL(request.url);

    if (request.method === "POST" && url.pathname === "/search") {
      const { query } = (await request.json()) as { query: string };
      const results = await evocrawl.search(query, { limit: 5 });
      return Response.json(results);
    }

    return new Response("Not found", { status: 404 });
  },
};

ページをスクレイピングする

任意のURLからクリーンなMarkdownを抽出するため、/scrape ルートを追加します。
if (request.method === "POST" && url.pathname === "/scrape") {
  const { url: targetUrl } = (await request.json()) as { url: string };
  const result = await evocrawl.scrape(targetUrl);
  return Response.json(result);
}

ページを Interact で操作する

実行中のブラウザセッションを操作するための /interact ルートを追加します。ボタンをクリックしたり、フォームに入力したり、動的なコンテンツを抽出したりできます。
if (request.method === "POST" && url.pathname === "/interact") {
  const result = await evocrawl.scrape("https://www.amazon.com", {
    formats: ["markdown"],
  });
  const scrapeId = result.metadata?.scrapeId;

  await evocrawl.interact(scrapeId, {
    prompt: "Search for iPhone 16 Pro Max",
  });
  const response = await evocrawl.interact(scrapeId, {
    prompt: "Click on the first result and tell me the price",
  });

  await evocrawl.stopInteraction(scrapeId);
  return Response.json({ output: response.output });
}

デプロイ

wrangler deploy

試してみる

curl -X POST https://my-scraper.<your-subdomain>.workers.dev/search \
  -H "Content-Type: application/json" \
  -d '{"query": "evocrawl web scraping"}'

次のステップ

Search ドキュメント

Web を検索し、ページ全体のコンテンツを取得

スクレイピング ドキュメント

フォーマット、アクション、プロキシなど、スクレイピングのオプションをすべて掲載

Interact ドキュメント

クリック、フォーム入力、動的コンテンツの抽出

Node SDK リファレンス

クロール、map、バッチスクレイプなどを網羅した SDK リファレンス