跳转到主要内容

前置条件

  • Rust 1.70+,并已安装 Cargo
  • 一个 Evocrawl API 密钥——免费获取

安装 crate

firecrawl 添加到 Cargo.toml 中:
[dependencies]
firecrawl = "2"
tokio = { version = "1", features = ["full"] }
serde_json = "1"

进行网页搜索

use firecrawl::{Client, SearchOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let client = Client::new("fc-YOUR-API-KEY")?;

    let results = client.search(
        "firecrawl web scraping",
        SearchOptions { limit: Some(5), ..Default::default() },
    ).await?;

    if let Some(web) = results.data.web {
        for item in web {
            if let firecrawl::SearchResultOrDocument::WebResult(r) = item {
                println!("{} - {}", r.url, r.title.unwrap_or_default());
            }
        }
    }
    Ok(())
}

抓取网页

let doc = client.scrape("https://example.com", None).await?;
println!("{}", doc.markdown.unwrap_or_default());
{
  "markdown": "# Example Domain\n\nThis domain is for use in illustrative examples...",
  "metadata": {
    "title": "Example Domain",
    "sourceURL": "https://example.com"
  }
}

与页面交互

先抓取网页以获取 scrapeId,然后使用交互 API 控制浏览器会话:
use firecrawl::{Client, ScrapeOptions, Format, ScrapeExecuteOptions};

let doc = client.scrape(
    "https://www.amazon.com",
    ScrapeOptions {
        formats: Some(vec![Format::Markdown]),
        ..Default::default()
    },
).await?;

let scrape_id = doc.metadata
    .as_ref()
    .and_then(|m| m.scrape_id.as_deref())
    .expect("scrapeId not found");

// 发送 prompt 与页面交互
let run = client.interact(
    scrape_id,
    ScrapeExecuteOptions {
        prompt: Some("Search for iPhone 16 Pro Max".to_string()),
        ..Default::default()
    },
).await?;

let run = client.interact(
    scrape_id,
    ScrapeExecuteOptions {
        prompt: Some("Click on the first result and tell me the price".to_string()),
        ..Default::default()
    },
).await?;

println!("{:?}", run.output);

// 关闭会话
client.stop_interaction(scrape_id).await?;

环境变量

设置 FIRECRAWL_API_KEY,不要直接传入 API 密钥:
export FIRECRAWL_API_KEY=fc-YOUR-API-KEY
let api_key = std::env::var("FIRECRAWL_API_KEY")?;
let client = Client::new(api_key)?;

后续步骤

Search 文档

进行网页搜索并获取完整页面内容

抓取 文档

包含所有 抓取 选项,包括 formats、actions 和代理

交互文档

点击、填写表单并提取动态内容

Rust SDK 参考

完整的 SDK 参考,包含爬取、map、batch scrape 等功能