メインコンテンツへスキップ

​
前提条件

​
セットアップ

pip install fastapi uvicorn firecrawl-py
.env に API key を追加します: 
FIRECRAWL_API_KEY=fc-YOUR-API-KEY

​
APIを作成する

main.py を作成します。 
import os
from fastapi import FastAPI
from pydantic import BaseModel
from firecrawl import Evocrawl

app = FastAPI()
firecrawl = Evocrawl(api_key=os.environ["FIRECRAWL_API_KEY"])


class SearchRequest(BaseModel):
    query: str
    limit: int = 5


class ScrapeRequest(BaseModel):
    url: str


class InteractRequest(BaseModel):
    scrape_id: str
    prompt: str


@app.post("/search")
async def search(req: SearchRequest):
    results = firecrawl.search(req.query, limit=req.limit)
    return [{"title": r.title, "url": r.url} for r in results.web]


@app.post("/scrape")
async def scrape(req: ScrapeRequest):
    result = firecrawl.scrape(req.url)
    return {"markdown": result.markdown, "metadata": result.metadata}


@app.post("/interact/start")
async def interact_start(req: ScrapeRequest):
    result = firecrawl.scrape(req.url, formats=["markdown"])
    return {"scrape_id": result.metadata.scrape_id}


@app.post("/interact")
async def interact(req: InteractRequest):
    response = firecrawl.interact(req.scrape_id, prompt=req.prompt)
    return {"output": response.output}


@app.post("/interact/stop")
async def interact_stop(req: InteractRequest):
    firecrawl.stop_interaction(req.scrape_id)
    return {"status": "stopped"}

​
実行してみる

uvicorn main:app --reload

​
試してみる

# ウェブを検索する
curl -X POST http://localhost:8000/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping", "limit": 5}'

# ページをスクレイピングする
curl -X POST http://localhost:8000/scrape \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

# インタラクティブセッションを開始し、プロンプトを送信する
curl -X POST http://localhost:8000/interact/start \
  -H "Content-Type: application/json" \
  -d '{"url": "https://www.amazon.com"}'
FastAPI は http://localhost:8000/docs にインタラクティブなドキュメントを自動的に生成します。

​
非同期版

高負荷時の並行処理性能を高めるには、AsyncEvocrawl を使用します: 
from firecrawl import AsyncEvocrawl

async_firecrawl = AsyncEvocrawl(api_key=os.environ["FIRECRAWL_API_KEY"])

@app.post("/scrape-async")
async def scrape_async(req: ScrapeRequest):
    result = await async_firecrawl.scrape(req.url)
    return {"markdown": result.markdown}

​
次のステップ

Scrape ドキュメント

フォーマット、アクション、プロキシなど、スクレイピングのオプションを網羅

Search ドキュメント

Web を検索してページ全体のコンテンツを取得

Interact ドキュメント

クリック、フォーム入力、動的コンテンツの抽出

Python SDK リファレンス

クロール、map、async などを含む SDK の完全なリファレンス