Scraping | Evocrawl

Evocrawl converte páginas da web em Markdown, ideal para aplicações com LLMs.

Gerencia complexidades: proxies, cache, limites de taxa, conteúdo bloqueado por JS
Lida com conteúdo dinâmico: sites dinâmicos, sites renderizados em JS, PDFs, imagens
Gera Markdown limpo, dados estruturados, capturas de tela ou HTML.

Para mais detalhes, consulte a Referência da API do endpoint Scraping.

Experimente no Playground

Teste scraping no playground interativo — sem precisar de código.

Extraindo dados de uma URL com o Evocrawl

endpoint /scrape

Usado para extrair o conteúdo de uma URL.

Instalação

# pip install evocrawl-py

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")

# npm install @mendable/evocrawl-js

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-SUA-CHAVE-API" });

# Instale globalmente com npm
npm install -g evocrawl

# Autentique (configuração única)
evocrawl login

Uso

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")

# Raspar um site:
doc = evocrawl.scrape("https://evocrawl.com", formats=["markdown", "html"])
print(doc)

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

// Fazer a raspagem de um site:
const doc = await evocrawl.scrape('https://evocrawl.com', { formats: ['markdown', 'html'] });
console.log(doc);

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://evocrawl.com",
    "formats": ["markdown", "html"]
  }'

# Scrape a URL and get markdown
evocrawl https://evocrawl.com

# Com múltiplos formatos (retorna JSON)
evocrawl https://evocrawl.com --format markdown,html,links --pretty

Para mais detalhes sobre os parâmetros, consulte a Referência da API.

Cada scrape consome 1 crédito. Créditos adicionais são cobrados para certas opções: modo JSON custa 4 créditos adicionais por página, proxy avançado custa 4 créditos adicionais por página e o processamento de PDFs custa 1 crédito por página de PDF, e a extração de áudio custa 4 créditos adicionais por página.

Resposta

Os SDKs retornarão o objeto de dados diretamente. O cURL retornará o payload exatamente como mostrado abaixo.

{
  "success": true,
  "data" : {
    "markdown": "A Launch Week I chegou! [Confira nosso lançamento do Dia 2 🚀](https://www.evocrawl.com/blog/launch-week-i-day-2-doubled-rate-limits)[💥 Ganhe 2 meses grátis...",
    "html": "<!DOCTYPE html><html lang=\"en\" class=\"light\" style=\"color-scheme: light;\"><body class=\"__variable_36bd41 __variable_d7dc5d font-inter ...",
    "metadata": {
      "title": "Home - Evocrawl",
      "description": "O Evocrawl rastreia e converte qualquer site em markdown limpo.",
      "language": "en",
      "keywords": "Evocrawl,Markdown,Dados,Mendable,Langchain",
      "robots": "follow, index",
      "ogTitle": "Evocrawl",
      "ogDescription": "Transforme qualquer site em dados prontos para LLM.",
      "ogUrl": "https://www.evocrawl.com/",
      "ogImage": "https://www.evocrawl.com/og.png?123",
      "ogLocaleAlternate": [],
      "ogSiteName": "Evocrawl",
      "sourceURL": "https://evocrawl.com",
      "statusCode": 200,
      "contentType": "text/html"
    }
  }
}

Formatos de Scraping

Agora você pode escolher em quais formatos deseja sua saída. Você pode especificar vários formatos de saída. Os formatos suportados são:

Markdown (markdown)
Resumo (summary)
HTML (html) - versão limpa do HTML da página
HTML bruto (rawHtml) - HTML não modificado conforme recebido da página
Captura de tela (screenshot, com opções como fullPage, quality, viewport) — as URLs das capturas de tela expiram após 24 horas
Links (links)
JSON (json) - saída estruturada
Imagens (images) - extrair todas as URLs de imagens da página
Branding (branding) - extrair identidade da marca e sistema de design
Áudio (audio) - extrair áudio em MP3 de URLs de vídeo compatíveis, por exemplo, YouTube (retorna uma URL assinada do GCS, expira após 1 hora)

As chaves de saída corresponderão ao formato que você escolher.

Extraia dados estruturados

endpoint /scrape (com json)

Usado para extrair dados estruturados de páginas extraídas.

from evocrawl import Evocrawl
from pydantic import BaseModel

app = Evocrawl(api_key="fc-SUA-CHAVE-API")

class CompanyInfo(BaseModel):
    company_mission: str
    supports_sso: bool
    is_open_source: bool
    is_in_yc: bool

result = app.scrape(
    'https://evocrawl.com',
    formats=[{
      "type": "json",
      "schema": CompanyInfo.model_json_schema()
    }],
    only_main_content=False,
    timeout=120000
)

print(result)

import Evocrawl from "@mendable/evocrawl-js";
import { z } from "zod";

const app = new Evocrawl({
  apiKey: "fc-YOUR_API_KEY"
});

// Define o schema para extrair os conteúdos
const schema = z.object({
  company_mission: z.string(),
  supports_sso: z.boolean(),
  is_open_source: z.boolean(),
  is_in_yc: z.boolean()
});

const result = await app.scrape("https://evocrawl.com", {
  formats: [{
    type: "json",
    schema: schema
  }],
});

console.log(result);

curl -X POST https://api.evocrawl.com/v2/scrape \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://evocrawl.com",
      "formats": [ {
        "type": "json",
        "schema": {
          "type": "object",
          "properties": {
            "company_mission": {
                      "type": "string"
            },
            "supports_sso": {
                      "type": "boolean"
            },
            "is_open_source": {
                      "type": "boolean"
            },
            "is_in_yc": {
                      "type": "boolean"
            }
          },
          "required": [
            "company_mission",
            "supports_sso",
            "is_open_source",
            "is_in_yc"
          ]
        }
      } ]
    }'

Resultado:

JSON

{
    "success": true,
    "data": {
      "json": {
        "company_mission": "Rastreamento e extração de dados na web com IA",
        "supports_sso": true,
        "is_open_source": true,
        "is_in_yc": true
      },
      "metadata": {
        "title": "Evocrawl",
        "description": "Rastreamento e extração de dados na web com IA",
        "robots": "follow, index",
        "ogTitle": "Evocrawl",
        "ogDescription": "Rastreamento e extração de dados na web com IA",
        "ogUrl": "https://evocrawl.com/",
        "ogImage": "https://evocrawl.com/og.png",
        "ogLocaleAlternate": [],
        "ogSiteName": "Evocrawl"
        "sourceURL": "https://evocrawl.com/"
      },
    }
}

Extraindo sem esquema

Agora é possível extrair sem um esquema, bastando enviar um prompt para o endpoint. O LLM escolhe a estrutura dos dados.

from evocrawl import Evocrawl

app = Evocrawl(api_key="fc-YOUR-API-KEY")

result = app.scrape(
    'https://evocrawl.com',
    formats=[{
      "type": "json",
      "prompt": "Extraia a missão da empresa presente na página."
    }],
    only_main_content=False,
    timeout=120000
)

print(result)

import Evocrawl from "@mendable/evocrawl-js";

const app = new Evocrawl({
  apiKey: "fc-SUA_CHAVE_DE_API"
});

const result = await app.scrape("https://evocrawl.com", {
  formats: [{
    type: "json",
    prompt: "Extraia a missão da empresa desta página."
  }]
});

console.log(result);

curl -X POST https://api.evocrawl.com/v2/scrape \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://evocrawl.com",
      "formats": [{
        "type": "json",
        "prompt": "Extraia a missão da empresa desta página."
      }]
    }'

Resultado:

JSON

{
    "success": true,
    "data": {
      "json": {
        "company_mission": "Raspagem e extração de dados na web com IA",
      },
      "metadata": {
        "title": "Evocrawl",
        "description": "Raspagem e extração de dados na web com IA",
        "robots": "seguir, indexar",
        "ogTitle": "Evocrawl",
        "ogDescription": "Raspagem e extração de dados na web com IA",
        "ogUrl": "https://evocrawl.com/",
        "ogImage": "https://evocrawl.com/og.png",
        "ogLocaleAlternate": [],
        "ogSiteName": "Evocrawl",
        "sourceURL": "https://evocrawl.com/"
      },
    }
}

Opções do formato JSON

Ao usar o formato json, passe um objeto dentro de formats com os seguintes parâmetros:

schema: JSON Schema para a saída estruturada.
prompt: Prompt opcional para orientar a extração quando houver um schema ou quando você preferir uma orientação leve.

Extrair identidade de marca

endpoint /scrape (com branding)

O formato de branding extrai informações completas sobre a identidade de marca de uma página da web, incluindo cores, fontes, tipografia, espaçamento, componentes de UI e mais. Isso é útil para análise de design systems, monitoramento de marca ou para criar ferramentas que precisam compreender a identidade visual de um site.

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')

result = evocrawl.scrape(
    url='https://evocrawl.com',
    formats=['branding']
)

print(result['branding'])

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

const result = await evocrawl.scrape('https://evocrawl.com', {
    formats: ['branding']
});

console.log(result.branding);

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://evocrawl.com",
    "formatos": ["branding"]
  }'

Resposta

O formato de branding retorna um objeto BrandingProfile completo com a seguinte estrutura:

Output

{
  "success": true,
  "data": {
    "branding": {
      "colorScheme": "dark",
      "logo": "https://evocrawl.com/logo.svg",
      "colors": {
        "primary": "#FF6B35",
        "secondary": "#004E89",
        "accent": "#F77F00",
        "background": "#1A1A1A",
        "textPrimary": "#FFFFFF",
        "textSecondary": "#B0B0B0"
      },
      "fonts": [
        {
          "family": "Inter"
        },
        {
          "family": "Roboto Mono"
        }
      ],
      "typography": {
        "fontFamilies": {
          "primary": "Inter",
          "heading": "Inter",
          "code": "Roboto Mono"
        },
        "fontSizes": {
          "h1": "48px",
          "h2": "36px",
          "h3": "24px",
          "body": "16px"
        },
        "fontWeights": {
          "regular": 400,
          "medium": 500,
          "bold": 700
        }
      },
      "spacing": {
        "baseUnit": 8,
        "borderRadius": "8px"
      },
      "components": {
        "buttonPrimary": {
          "background": "#FF6B35",
          "textColor": "#FFFFFF",
          "borderRadius": "8px"
        },
        "buttonSecondary": {
          "background": "transparent",
          "textColor": "#FF6B35",
          "borderColor": "#FF6B35",
          "borderRadius": "8px"
        }
      },
      "images": {
        "logo": "https://evocrawl.com/logo.svg",
        "favicon": "https://evocrawl.com/favicon.ico",
        "ogImage": "https://evocrawl.com/og-image.png"
      }
    }
  }
}

Estrutura do Perfil de Branding

O objeto branding contém as seguintes propriedades:

colorScheme: Esquema de cores detectado ("light" ou "dark")
logo: URL do logotipo principal
colors: Objeto com as cores da marca:
- primary, secondary, accent: Cores principais da marca
- background, textPrimary, textSecondary: Cores de UI
- link, success, warning, error: Cores semânticas
fonts: Lista (array) de famílias tipográficas usadas na página
typography: Informações detalhadas de tipografia:
- fontFamilies: Famílias tipográficas primária, de títulos e de código
- fontSizes: Definições de tamanho para títulos e corpo do texto
- fontWeights: Definições de espessura (leve, regular, média, negrito)
- lineHeights: Valores de altura de linha para diferentes tipos de texto
spacing: Informações de espaçamento e layout:
- baseUnit: Unidade base de espaçamento em pixels
- borderRadius: Raio de borda padrão
- padding, margins: Valores de espaçamento
components: Estilos de componentes de UI:
- buttonPrimary, buttonSecondary: Estilos de botões
- input: Estilos de campos de entrada
icons: Informações de estilo de ícones
images: Imagens da marca (logo, favicon, og:image)
animations: Configurações de animação e transição
layout: Configuração de layout (grid, alturas de cabeçalho/rodapé)
personality: Traços de personalidade da marca (tom, energia, público-alvo)

Combinando com outros formatos

Você pode combinar o formato de branding com outros formatos para obter dados completos da página:

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')

result = evocrawl.scrape(
    url='https://evocrawl.com',
    formats=['markdown', 'branding', 'screenshot']
)

print(result['markdown'])
print(result['branding'])
print(result['screenshot'])

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-SUA-CHAVE-DE-API" });

const result = await evocrawl.scrape('https://evocrawl.com', {
    formats: ['markdown', 'branding', 'screenshot']
});

console.log(result.markdown);
console.log(result.branding);
console.log(result.screenshot);

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://evocrawl.com",
    "formatos": ["markdown", "branding", "screenshot"]
  }'

Extração de áudio

O formato audio extrai áudio de sites compatíveis (por exemplo, o YouTube) como arquivos MP3 e retorna uma URL assinada do Google Cloud Storage. Isso é útil para criar pipelines de processamento de áudio, serviços de transcrição ou ferramentas de podcast.

A extração de áudio custa 5 créditos por página (1 base + 4 adicionais).

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")

doc = evocrawl.scrape("https://www.youtube.com/watch?v=dQw4w9WgXcQ", formats=["audio"])
print(doc.audio)  # URL GCS assinada para o arquivo MP3

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

const doc = await evocrawl.scrape('https://www.youtube.com/watch?v=dQw4w9WgXcQ', {
  formats: ['audio']
});

console.log(doc.audio); // URL do GCS assinada para o arquivo MP3

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.youtube.com/watch?v=dQw4w9WgXcQ",
    "formats": ["audio"]
  }'

Interagindo com a página com ações

O Evocrawl permite executar várias ações em uma página da web antes de fazer o scraping do conteúdo. Isso é especialmente útil para interagir com conteúdo dinâmico, navegar entre páginas ou acessar conteúdo que exige interação do usuário. Veja um exemplo de como usar ações para acessar google.com, pesquisar por Evocrawl, clicar no primeiro resultado e fazer uma captura de tela. É importante, quase sempre, usar a ação wait antes/depois de executar outras ações para dar tempo suficiente para a página carregar.

Exemplo

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")

doc = evocrawl.scrape(
    url="https://example.com/login",
    formats=["markdown"],
    actions=[
        {"type": "write", "text": "john@example.com"},
        {"type": "press", "key": "Tab"},
        {"type": "write", "text": "secret"},
        {"type": "click", "selector": 'button[type="submit"]'},
        {"type": "wait", "milliseconds": 1500},
        {"type": "screenshot", "full_page": True},
    ],
)

print(doc.markdown, doc.screenshot)

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-SUA-CHAVE-DE-API" });

const doc = await evocrawl.scrape('https://example.com/login', {
  formatos: ['markdown'],
  ações: [
    { type: 'write', text: 'john@example.com' },
    { type: 'press', key: 'Tab' },
    { type: 'write', text: 'secret' },
    { type: 'click', selector: 'button[type="submit"]' },
    { type: 'wait', milliseconds: 1500 },
    { type: 'screenshot', fullPage: true },
  ],
});

console.log(doc.markdown, doc.screenshot);

curl -X POST https://api.evocrawl.com/v2/scrape \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://example.com/login",
      "formats": ["markdown"],
      "actions": [
        { "type": "write", "text": "john@example.com" },
        { "type": "press", "key": "Tab" },
        { "type": "write", "text": "secret" },
        { "type": "click", "selector": "button[type=\"submit\"]" },
        { "type": "wait", "milliseconds": 1500 },
        { "type": "screenshot", "fullPage": true },
      ],
  }'

Saída

{
  "success": true,
  "data": {
    "markdown": "Nossa primeira Launch Week chegou ao fim! [Confira o recap 🚀](blog/evocrawl-launch-week-1-recap)...",
    "actions": {
      "screenshots": [
        "https://alttmdsdujxrfnakrkyi.supabase.co/storage/v1/object/public/media/screenshot-75ef2d87-31e0-4349-a478-fb432a29e241.png"
      ],
      "scrapes": [
        {
          "url": "https://www.evocrawl.com/",
          "html": "<html><body><h1>Evocrawl</h1></body></html>"
        }
      ]
    },
    "metadata": {
      "title": "Home - Evocrawl",
      "description": "O Evocrawl rastreia e converte qualquer site em Markdown limpo.",
      "language": "en",
      "keywords": "Evocrawl,Markdown,Dados,Mendable,LangChain",
      "robots": "index, follow",
      "ogTitle": "Evocrawl",
      "ogDescription": "Transforme qualquer site em dados prontos para LLMs.",
      "ogUrl": "https://www.evocrawl.com/",
      "ogImage": "https://www.evocrawl.com/og.png?123",
      "ogLocaleAlternate": [],
      "ogSiteName": "Evocrawl"
      "sourceURL": "http://google.com",
      "statusCode": 200
    }
  }
}

Para mais detalhes sobre os parâmetros de ações, consulte a referência da API.

Localização e idioma

Especifique o país e os idiomas preferidos para obter conteúdo relevante com base no seu local de destino e nas suas preferências de idioma.

Como funciona

Quando você define as configurações de localização, o Evocrawl usará um proxy apropriado, se disponível, e emulará as configurações correspondentes de idioma e fuso horário. Por padrão, a localização é definida como “US” se não for especificada.

Uso

Para usar as configurações de localização e idioma, inclua o objeto location no corpo da sua requisição com as seguintes propriedades:

country: Código de país ISO 3166-1 alpha-2 (por exemplo, ‘US’, ‘AU’, ‘DE’, ‘JP’). O padrão é ‘US’.
languages: Uma lista (array) de idiomas e localidades preferidos para a requisição, em ordem de prioridade. O padrão é o idioma da localização especificada.

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")

doc = evocrawl.scrape('https://example.com',
    formats=['markdown'],
    location={
        'country': 'US',
        'languages': ['en']
    }
)

print(doc)

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

const doc = await evocrawl.scrape('https://example.com', {
  formatos: ['markdown'],
  localização: { país: 'US', idiomas: ['en'] },
});

console.log(doc.metadata);

curl -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "formatos": ["markdown"],
    "location": { "country": "US", "languages": ["en"] }
  }'

Para mais detalhes sobre as localizações compatíveis, consulte a documentação de proxies.

Cache e maxAge

Para acelerar as requisições, o Evocrawl retorna resultados do cache por padrão quando há uma cópia recente disponível.

Janela de frescor padrão: maxAge = 172800000 ms (2 dias). Se a página em cache for mais recente do que isso, ela é retornada instantaneamente; caso contrário, a página é coletada novamente e então armazenada em cache.
Desempenho: Pode acelerar as coletas em até 5x quando os dados não precisam estar ultra recentes.
Sempre buscar conteúdo novo: Defina maxAge como 0. Observe que isso ignora totalmente o cache, então toda requisição passa por todo o pipeline de coleta, o que significa que a requisição levará mais tempo para ser concluída e terá maior chance de falhar. Use um maxAge diferente de zero se a atualização em toda requisição não for crítica.
Evitar armazenamento: Defina storeInCache como false se você não quiser que o Evocrawl armazene em cache os resultados desta requisição.
Consulta somente no cache: Defina minAge para fazer uma consulta somente no cache sem acionar uma nova coleta. O valor está em milissegundos e especifica a idade mínima que os dados em cache devem ter. Se nenhum dado em cache for encontrado, um 404 com o código de erro SCRAPE_NO_CACHED_DATA é retornado. Defina minAge como 1 para aceitar qualquer dado em cache, independentemente da idade.
Rastreio de mudanças: Requisições que incluem changeTracking ignoram o cache, então maxAge é desconsiderado.
Créditos: Resultados em cache ainda custam 1 crédito por página. O cache melhora a velocidade, não o uso de créditos.

Exemplo (forçar conteúdo novo):

from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')

doc = evocrawl.scrape(url='https://example.com', max_age=0, formats=['markdown'])
print(doc)

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

const doc = await evocrawl.scrape('https://example.com', { maxAge: 0, formats: ['markdown'] });
console.log(doc);

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "maxAge": 0,
    "formats": ["markdown"]
  }'

Exemplo (usar uma janela de cache de 10 minutos):

from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')

doc = evocrawl.scrape(url='https://example.com', max_age=600000, formats=['markdown', 'html'])
print(doc)

const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });

const doc = await evocrawl.scrape('https://example.com', { maxAge: 600000, formats: ['markdown', 'html'] });
console.log(doc);

curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "maxAge": 600000,
    "formats": ["markdown", "html"]
  }'

Scraping em lote de várias URLs

Agora é possível fazer scraping em lote de várias URLs ao mesmo tempo. A função recebe as URLs iniciais e parâmetros opcionais como argumentos. O parâmetro params permite definir opções adicionais para a tarefa de scraping em lote, como os formatos de saída.

Como funciona

Funciona de forma muito semelhante ao endpoint /crawl. Ele cria um job de raspagem em lote e retorna um ID do job para você acompanhar o status da raspagem em lote. O SDK oferece 2 métodos: síncrono e assíncrono. O método síncrono retorna os resultados do job de raspagem em lote, enquanto o método assíncrono retorna um ID do job que você pode usar para verificar o status da raspagem em lote.

Como usar

from evocrawl import Evocrawl

evocrawl = Evocrawl(api_key="fc-SUA-API-KEY")

job = evocrawl.batch_scrape([
    "https://evocrawl.com",
    "https://docs.evocrawl.com",
], formats=["markdown"], poll_interval=2, wait_timeout=120)

print(job)

import Evocrawl from '@mendable/evocrawl-js';

const evocrawl = new Evocrawl({ apiKey: "fc-SUA-API-KEY" });

const job = await evocrawl.batchScrape([
  'https://evocrawl.com',
  'https://docs.evocrawl.com',
], { options: { formats: ['markdown'] }, pollInterval: 2, timeout: 120 });

console.log(job);

curl -s -X POST "https://api.evocrawl.com/v2/batch/scrape" \
  -H "Authorization: Bearer $EVOCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": ["https://evocrawl.com", "https://docs.evocrawl.com"],
    "formats": ["markdown"]
  }'

Resposta

Se você estiver usando os métodos síncronos dos SDKs, eles retornarão os resultados do job de scraping em lote. Caso contrário, será retornado um ID de job que você pode usar para verificar o status do scraping em lote.

Sincronamente

Concluído

{
  "status": "completed",
  "total": 36,
  "completed": 36,
  "creditsUsed": 36,
  "expiresAt": "2024-00-00T00:00:00.000Z",
  "next": "https://api.evocrawl.com/v2/batch/scrape/123-456-789?skip=26",
  "data": [
    {
      "markdown": "[Página inicial da documentação do Evocrawl![logo claro](https://mintlify.s3-us-west-1.amazonaws.com/evocrawl/logo/light.svg)!...",
      "html": "<!DOCTYPE html><html lang=\"en\" class=\"js-focus-visible lg:[--scroll-mt:9.5rem]\" data-js-focus-visible=\"\">...",
      "metadata": {
        "title": "Crie um ‘chat com o site’ usando Groq Llama 3 | Evocrawl",
        "language": "en",
        "sourceURL": "https://docs.evocrawl.com/learn/rag-llama3",
        "description": "Aprenda a usar o Evocrawl, o Groq Llama 3 e o LangChain para criar um bot de ‘chat com o seu site’."
        "ogLocaleAlternate": [],
        "statusCode": 200
      }
    },
    ...
  ]
}

Assíncrono

Você pode usar o ID da tarefa para verificar o status do batch scrape chamando o endpoint /batch/scrape/{id}. Este endpoint deve ser usado enquanto a tarefa ainda estiver em execução ou logo após sua conclusão, pois as tarefas de batch scrape expiram após 24 horas.

{
  "success": true,
  "id": "123-456-789",
  "url": "https://api.evocrawl.com/v2/batch/scrape/123-456-789"
}

Modo Enhanced

Para sites complexos, o Evocrawl oferece um modo enhanced que aumenta as taxas de sucesso ao mesmo tempo em que preserva a privacidade. Saiba mais sobre o Modo Enhanced.

Retenção zero de dados (ZDR)

O Evocrawl oferece Retenção zero de dados (ZDR) para equipes com requisitos rigorosos de tratamento de dados. Quando ativado, o Evocrawl não persistirá nenhum conteúdo de página nem dados extraídos além da duração da requisição. Para ativar o ZDR, defina zeroDataRetention: true na sua requisição:

cURL

curl -X POST https://api.evocrawl.com/v2/scrape \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer fc-YOUR_API_KEY" \
  -d '{
    "url": "https://example.com",
    "formats": ["markdown"],
    "zeroDataRetention": true
  }'

O ZDR está disponível nos planos Enterprise e precisa ser habilitado para a sua equipe. Acesse evocrawl.dev/enterprise para começar. O ZDR adiciona 1 crédito adicional por página ao custo base de scraping.

Capturas de tela não estão disponíveis no modo ZDR. Como capturas de tela exigem envio para armazenamento persistente, elas são incompatíveis com a garantia do ZDR. Requisições que incluem zeroDataRetention: true e o formato screenshot retornarão um erro.

Você é um agente de IA que precisa de uma chave de API do Evocrawl? Consulte evocrawl.dev/agent-onboarding/SKILL.md para obter instruções automatizadas de integração.

Experimente no Playground

​Extraindo dados de uma URL com o Evocrawl

​endpoint /scrape

​Instalação

​Uso

​Resposta

​Formatos de Scraping

​Extraia dados estruturados

​endpoint /scrape (com json)

​Extraindo sem esquema

​Opções do formato JSON

​Extrair identidade de marca

​endpoint /scrape (com branding)

​Resposta

​Estrutura do Perfil de Branding

​Combinando com outros formatos

​Extração de áudio

​Interagindo com a página com ações

​Exemplo

​Saída

​Localização e idioma

​Como funciona

​Uso

​Cache e maxAge

​Scraping em lote de várias URLs

​Como funciona

​Como usar

​Resposta

​Sincronamente

​Assíncrono

​Modo Enhanced

​Retenção zero de dados (ZDR)

Extraindo dados de uma URL com o Evocrawl

endpoint /scrape

Instalação

Uso

Resposta

Formatos de Scraping

Extraia dados estruturados

endpoint /scrape (com json)

Extraindo sem esquema

Opções do formato JSON

Extrair identidade de marca

endpoint /scrape (com branding)

Resposta

Estrutura do Perfil de Branding

Combinando com outros formatos

Extração de áudio

Interagindo com a página com ações

Exemplo

Saída

Localização e idioma

Como funciona

Uso

Cache e maxAge

Scraping em lote de várias URLs

Como funciona

Como usar

Resposta

Sincronamente

Assíncrono

Modo Enhanced

Retenção zero de dados (ZDR)