> ## Documentation Index
> Fetch the complete documentation index at: https://docs.evocrawl.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Scrape
> Transformez n'importe quelle URL en données propres
Evocrawl convertit les pages web en Markdown, idéal pour les applications LLM.
* Il gère les complexités : proxys, mise en cache, limites de débit, contenu bloqué par JavaScript
* Prend en charge le contenu dynamique : sites dynamiques, sites rendus par JavaScript, PDF, images
* Produit un Markdown propre, des données structurées, des captures d’écran ou du HTML.
Pour plus de détails, consultez la [référence de l’API Scrape point de terminaison](https://docs.evocrawl.com/api-reference/endpoint/scrape).
Testez le scraping dans le Playground interactif — aucun code à écrire.
## Extraire le contenu d’une URL avec Evocrawl
### point de terminaison /scrape
Utilisé pour scraper une URL et en récupérer le contenu.
### Installation
```python Python theme={null}
# pip install evocrawl-py
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-VOTRE-CLE-API")
```
```js Node theme={null}
# npm install @mendable/evocrawl-js
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-VOTRE-CLÉ-API" });
```
```bash CLI theme={null}
# Installer globalement avec npm
npm install -g evocrawl
# Authentification (configuration unique)
evocrawl login
```
### Utilisation
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")
# Extraire le contenu d’un site :
doc = evocrawl.scrape("https://evocrawl.com", formats=["markdown", "html"])
print(doc)
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
// Récupérer le contenu d’un site :
const doc = await evocrawl.scrape('https://evocrawl.com', { formats: ['markdown', 'html'] });
console.log(doc);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://evocrawl.com",
"formats": ["markdown", "html"]
}'
```
```bash CLI theme={null}
# Scrape a URL and get markdown
evocrawl https://evocrawl.com
# Avec plusieurs formats (renvoie du JSON)
evocrawl https://evocrawl.com --format markdown,html,links --pretty
```
Pour plus d’informations sur les paramètres, consultez la [référence de l’API](https://docs.evocrawl.com/api-reference/endpoint/scrape).
Chaque opération de `scrape` consomme 1 crédit. Des crédits supplémentaires sont facturés pour certaines options : le mode JSON coûte 4 crédits supplémentaires par page, le proxy avancé coûte 4 crédits supplémentaires par page, le traitement des PDF coûte 1 crédit par page de PDF, et l’extraction audio coûte 4 crédits supplémentaires par page.
### Réponse
Les SDK renvoient directement l’objet de données. cURL renvoie la charge utile exactement comme ci-dessous.
```json theme={null}
{
"success": true,
"data" : {
"markdown": "Launch Week I est là ! [Découvrez notre sortie du Jour 2 🚀](https://www.evocrawl.com/blog/launch-week-i-day-2-doubled-rate-limits)[💥 2 mois offerts...",
"html": "
## Formats de scraping
Vous pouvez désormais choisir les formats de votre sortie. Vous pouvez spécifier plusieurs formats de sortie. Les formats pris en charge sont :
* Markdown (`markdown`)
* Résumé (`summary`)
* HTML (`html`) - version nettoyée du HTML de la page
* HTML brut (`rawHtml`) - HTML non modifié tel que reçu depuis la page
* Capture d’écran (`screenshot`, avec des options comme `fullPage`, `quality`, `viewport`) — les URL de capture d’écran expirent après 24 heures
* Liens (`links`)
* JSON (`json`) - sortie structurée
* Images (`images`) - extrait toutes les URL d’images de la page
* Branding (`branding`) - extrait l’identité de marque et le design system
* Audio (`audio`) - extrait l’audio MP3 à partir d’URL vidéo prises en charge, par ex. YouTube (retourne une URL GCS signée, expire après 1 heure)
Les clés de sortie correspondront au format que vous choisissez.
### Point de terminaison /scrape (avec json)
Permet d’extraire des données structurées à partir de pages scrappées.
```python Python theme={null}
from evocrawl import Evocrawl
from pydantic import BaseModel
app = Evocrawl(api_key="fc-YOUR-API-KEY")
class CompanyInfo(BaseModel):
mission_entreprise: str
supporte_sso: bool
est_open_source: bool
est_dans_yc: bool
result = app.scrape(
'https://evocrawl.com',
formats=[{
"type": "json",
"schema": CompanyInfo.model_json_schema()
}],
only_main_content=False,
timeout=120000
)
print(result)
```
```js Node theme={null}
import Evocrawl from "@mendable/evocrawl-js";
import { z } from "zod";
const app = new Evocrawl({
apiKey: "fc-YOUR_API_KEY"
});
// Définir le schéma pour extraire les contenus
const schema = z.object({
company_mission: z.string(),
supports_sso: z.boolean(),
is_open_source: z.boolean(),
is_in_yc: z.boolean()
});
const result = await app.scrape("https://evocrawl.com", {
formats: [{
type: "json",
schema: schema
}],
});
console.log(result);
```
```bash cURL theme={null}
curl -X POST https://api.evocrawl.com/v2/scrape \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer VOTRE_CLÉ_API' \
-d '{
"url": "https://evocrawl.com",
"formats": [ {
"type": "json",
"schema": {
"type": "object",
"properties": {
"company_mission": {
"type": "string"
},
"supports_sso": {
"type": "boolean"
},
"is_open_source": {
"type": "boolean"
},
"is_in_yc": {
"type": "boolean"
}
},
"required": [
"company_mission",
"supports_sso",
"is_open_source",
"is_in_yc"
]
}
} ]
}'
```
Résultat :
```json JSON theme={null}
{
"success": true,
"data": {
"json": {
"company_mission": "Scraping et extraction de données web propulsés par l’IA",
"supports_sso": true,
"is_open_source": true,
"is_in_yc": true
},
"metadata": {
"title": "Evocrawl",
"description": "Scraping et extraction de données web propulsés par l’IA",
"robots": "suivre, indexer",
"ogTitle": "Evocrawl",
"ogDescription": "Scraping et extraction de données web propulsés par l’IA",
"ogUrl": "https://evocrawl.com/",
"ogImage": "https://evocrawl.com/og.png",
"ogLocaleAlternate": [],
"ogSiteName": "Evocrawl"
"sourceURL": "https://evocrawl.com/"
},
}
}
```
Vous pouvez désormais extraire sans schéma en passant simplement un `prompt` au point de terminaison. Le LLM choisit la structure des données.
```python Python theme={null}
from evocrawl import Evocrawl
app = Evocrawl(api_key="fc-YOUR-API-KEY")
result = app.scrape(
'https://evocrawl.com',
formats=[{
"type": "json",
"prompt": "Extrait la mission de l’entreprise à partir de la page."
}],
only_main_content=False,
timeout=120000
)
print(result)
```
```js Node theme={null}
import Evocrawl from "@mendable/evocrawl-js";
const app = new Evocrawl({
apiKey: "fc-VOTRE_CLÉ_API"
});
const result = await app.scrape("https://evocrawl.com", {
formats: [{
type: "json",
prompt: "Extraire la mission de l'entreprise de la page."
}]
});
console.log(result);
```
```bash cURL theme={null}
curl -X POST https://api.evocrawl.com/v2/scrape \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-d '{
"url": "https://evocrawl.com",
"formats": [{
"type": "json",
"prompt": "Extraire la mission de l'entreprise de la page."
}]
}'
```
Résultat :
```json JSON theme={null}
{
"success": true,
"data": {
"json": {
"company_mission": "Collecte et extraction de données web propulsées par l’IA",
},
"metadata": {
"title": "Evocrawl",
"description": "Collecte et extraction de données web propulsées par l’IA",
"robots": "follow, index",
"ogTitle": "Evocrawl",
"ogDescription": "Collecte et extraction de données web propulsées par l’IA",
"ogUrl": "https://evocrawl.com/",
"ogImage": "https://evocrawl.com/og.png",
"ogLocaleAlternate": [],
"ogSiteName": "Evocrawl",
"sourceURL": "https://evocrawl.com/"
},
}
}
```
### Options du format JSON
Lorsque vous utilisez le format `json`, passez un objet dans `formats` avec les paramètres suivants :
* `schema` : schéma JSON pour la sortie structurée.
* `prompt` : invite facultative pour orienter l’extraction lorsqu’un schéma est présent ou lorsque vous souhaitez un guidage léger.
## Extraire l’identité de marque
### endpoint /scrape (avec branding)
Le format « branding » extrait des informations complètes sur l’identité de marque à partir d’une page web, notamment les couleurs, les polices, la typographie, les espacements, les composants d’interface, et bien plus encore. C’est utile pour l’analyse de design systems, la veille de marque, ou la création d’outils qui doivent comprendre l’identité visuelle d’un site web.
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-VOTRE_CLE_API')
result = evocrawl.scrape(
url='https://evocrawl.com',
formats=['branding']
)
print(result['branding'])
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-VOTRE-CLE-API" });
const result = await evocrawl.scrape('https://evocrawl.com', {
formats: ['branding']
});
console.log(result.branding);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://evocrawl.com",
"formats": ["branding"]
}'
```
### Réponse
Le format d’habillage de marque retourne un objet `BrandingProfile` complet avec la structure suivante :
```json Output theme={null}
{
"success": true,
"data": {
"branding": {
"colorScheme": "dark",
"logo": "https://evocrawl.com/logo.svg",
"colors": {
"primary": "#FF6B35",
"secondary": "#004E89",
"accent": "#F77F00",
"background": "#1A1A1A",
"textPrimary": "#FFFFFF",
"textSecondary": "#B0B0B0"
},
"fonts": [
{
"family": "Inter"
},
{
"family": "Roboto Mono"
}
],
"typography": {
"fontFamilies": {
"primary": "Inter",
"heading": "Inter",
"code": "Roboto Mono"
},
"fontSizes": {
"h1": "48px",
"h2": "36px",
"h3": "24px",
"body": "16px"
},
"fontWeights": {
"regular": 400,
"medium": 500,
"bold": 700
}
},
"spacing": {
"baseUnit": 8,
"borderRadius": "8px"
},
"components": {
"buttonPrimary": {
"background": "#FF6B35",
"textColor": "#FFFFFF",
"borderRadius": "8px"
},
"buttonSecondary": {
"background": "transparent",
"textColor": "#FF6B35",
"borderColor": "#FF6B35",
"borderRadius": "8px"
}
},
"images": {
"logo": "https://evocrawl.com/logo.svg",
"favicon": "https://evocrawl.com/favicon.ico",
"ogImage": "https://evocrawl.com/og-image.png"
}
}
}
}
```
### Structure du profil de marque
L'objet `branding` contient les propriétés suivantes :
* `colorScheme` : Schéma de couleurs détecté (« light » ou « dark »)
* `logo` : URL du logo principal
* `colors` : Objet contenant les couleurs de la marque :
* `primary`, `secondary`, `accent` : Couleurs principales de la marque
* `background`, `textPrimary`, `textSecondary` : Couleurs de l’interface
* `link`, `success`, `warning`, `error` : Couleurs sémantiques
* `fonts` : Tableau des familles de polices utilisées sur la page
* `typography` : Informations détaillées sur la typographie :
* `fontFamilies` : Familles de polices principales, titres et code
* `fontSizes` : Définitions des tailles pour les titres et le corps du texte
* `fontWeights` : Définitions des graisses (light, regular, medium, bold)
* `lineHeights` : Valeurs d’interlignage pour différents types de texte
* `spacing` : Informations sur les espacements et la mise en page :
* `baseUnit` : Unité d’espacement de base en pixels
* `borderRadius` : Rayon de bordure par défaut
* `padding`, `margins` : Valeurs d’espacement
* `components` : Styles des composants d’interface :
* `buttonPrimary`, `buttonSecondary` : Styles des boutons
* `input` : Styles des champs de saisie
* `icons` : Informations sur le style des icônes
* `images` : Images de la marque (logo, favicon, og:image)
* `animations` : Paramètres d’animation et de transition
* `layout` : Configuration de la mise en page (grille, hauteurs d’en-tête/pied de page)
* `personality` : Traits de personnalité de la marque (ton, énergie, public cible)
### Combiner avec d’autres formats
Vous pouvez combiner le format « branding » avec d’autres formats pour obtenir des données de page complètes :
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')
result = evocrawl.scrape(
url='https://evocrawl.com',
formats=['markdown', 'branding', 'screenshot']
)
print(result['markdown'])
print(result['branding'])
print(result['screenshot'])
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-VOTRE-CLÉ-API" });
const result = await evocrawl.scrape('https://evocrawl.com', {
formats: ['markdown', 'branding', 'screenshot']
});
console.log(result.markdown);
console.log(result.branding);
console.log(result.screenshot);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://evocrawl.com",
"formats": ["markdown", "branding", "screenshot"]
}'
```
Le format `audio` extrait l’audio de sites web pris en charge (par ex. YouTube) sous forme de fichiers MP3 et renvoie une URL signée de Google Cloud Storage. Cela est utile pour créer des pipelines de traitement audio, des services de transcription ou des outils de podcast.
L’extraction audio coûte 5 crédits par page (1 de base + 4 supplémentaires).
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")
doc = evocrawl.scrape("https://www.youtube.com/watch?v=dQw4w9WgXcQ", formats=["audio"])
print(doc.audio) # URL GCS signée vers le fichier MP3
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
const doc = await evocrawl.scrape('https://www.youtube.com/watch?v=dQw4w9WgXcQ', {
formats: ['audio']
});
console.log(doc.audio); // URL GCS signée vers le fichier MP3
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://www.youtube.com/watch?v=dQw4w9WgXcQ",
"formats": ["audio"]
}'
```
## Interagir avec la page à l’aide des actions
Evocrawl vous permet d’effectuer diverses actions sur une page web avant d’en extraire le contenu. C’est particulièrement utile pour interagir avec du contenu dynamique, naviguer entre les pages ou accéder à du contenu nécessitant une interaction de l’utilisateur.
Voici un exemple d’utilisation des actions pour accéder à google.com, rechercher Evocrawl, cliquer sur le premier résultat et prendre une capture d’écran.
Il est recommandé d’utiliser presque systématiquement l’action `wait` avant et après l’exécution d’autres actions afin de laisser suffisamment de temps au chargement de la page.
### Exemple
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")
doc = evocrawl.scrape(
url="https://example.com/login",
formats=["markdown"],
actions=[
{"type": "write", "text": "john@example.com"},
{"type": "press", "key": "Tab"},
{"type": "write", "text": "secret"},
{"type": "click", "selector": 'button[type="submit"]'},
{"type": "wait", "milliseconds": 1500},
{"type": "screenshot", "full_page": True},
],
)
print(doc.markdown, doc.screenshot)
```
```js Node.js theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
const doc = await evocrawl.scrape('https://example.com/login', {
formats: ['markdown'],
actions: [
{ type: 'write', text: 'john@example.com' },
{ type: 'press', key: 'Tab' },
{ type: 'write', text: 'secret' },
{ type: 'click', selector: 'button[type="submit"]' },
{ type: 'wait', milliseconds: 1500 },
{ type: 'screenshot', fullPage: true },
],
});
console.log(doc.markdown, doc.screenshot);
```
```bash cURL theme={null}
curl -X POST https://api.evocrawl.com/v2/scrape \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-d '{
"url": "https://example.com/login",
"formats": ["markdown"],
"actions": [
{ "type": "write", "text": "john@example.com" },
{ "type": "press", "key": "Tab" },
{ "type": "write", "text": "secret" },
{ "type": "click", "selector": "button[type=\"submit\"]" },
{ "type": "wait", "milliseconds": 1500 },
{ "type": "screenshot", "fullPage": true },
],
}'
```
### Résultat
```json JSON theme={null}
{
"success": true,
"data": {
"markdown": "Notre première Launch Week est terminée ! [Voir le récapitulatif 🚀](blog/evocrawl-launch-week-1-recap)...",
"actions": {
"screenshots": [
"https://alttmdsdujxrfnakrkyi.supabase.co/storage/v1/object/public/media/screenshot-75ef2d87-31e0-4349-a478-fb432a29e241.png"
],
"scrapes": [
{
"url": "https://www.evocrawl.com/",
"html": "Evocrawl
"
}
]
},
"metadata": {
"title": "Accueil - Evocrawl",
"description": "Evocrawl explore et convertit n’importe quel site web en markdown propre.",
"language": "en",
"keywords": "Evocrawl,Markdown,Données,Mendable,LangChain",
"robots": "index, follow",
"ogTitle": "Evocrawl",
"ogDescription": "Transformez n’importe quel site web en données prêtes pour les LLM.",
"ogUrl": "https://www.evocrawl.com/",
"ogImage": "https://www.evocrawl.com/og.png?123",
"ogLocaleAlternate": [],
"ogSiteName": "Evocrawl"
"sourceURL": "http://google.com",
"statusCode": 200
}
}
}
```
Pour en savoir plus sur les paramètres des actions, consultez la [référence de l’API](https://docs.evocrawl.com/api-reference/endpoint/scrape).
## Localisation et langue
Indiquez le pays et les langues souhaitées pour obtenir un contenu pertinent selon votre zone cible et vos préférences linguistiques.
### Fonctionnement
Lorsque vous renseignez les paramètres de localisation, Evocrawl utilisera, si possible, un proxy adapté et adoptera la langue et le fuseau horaire correspondants. Par défaut, la localisation est définie sur « US » si aucun paramètre n’est fourni.
### Utilisation
Pour utiliser les paramètres de localisation et de langue, incluez l’objet `location` dans le corps de votre requête avec les propriétés suivantes :
* `country` : code pays ISO 3166-1 alpha-2 (p. ex. « US », « AU », « DE », « JP »). Par défaut : « US ».
* `languages` : un tableau des langues et paramètres régionaux préférés pour la requête, par ordre de priorité. Par défaut : la langue de la localisation spécifiée.
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")
doc = evocrawl.scrape('https://example.com',
formats=['markdown'],
location={
'country': 'US',
'languages': ['en']
}
)
print(doc)
```
```js Node.js theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
const doc = await evocrawl.scrape('https://example.com', {
formats: ['markdown'],
location: { country: 'US', languages: ['en'] },
});
console.log(doc.metadata);
```
```bash cURL theme={null}
curl -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com",
"formats": ["markdown"],
"location": { "country": "US", "languages": ["en"] }
}'
```
Pour plus de détails sur les localisations prises en charge, consultez la [documentation sur les proxys](/fr/features/proxies).
## Mise en cache et maxAge
Pour accélérer les requêtes, Evocrawl renvoie par défaut les résultats depuis le cache lorsqu’une copie récente est disponible.
* **Fenêtre de fraîcheur par défaut** : `maxAge = 172800000` ms (2 jours). Si une page en cache est plus récente que ce délai, elle est renvoyée instantanément ; sinon, la page est explorée puis mise en cache.
* **Performances** : cela peut accélérer les scrapes jusqu’à 5x lorsque les données n’ont pas besoin d’être ultra fraîches.
* **Toujours récupérer du contenu frais** : définissez `maxAge` à `0`. Cela contourne complètement le cache : chaque requête passe par l’intégralité du pipeline de scraping, ce qui allonge le temps de traitement et augmente le risque d’échec. Utilisez une valeur de `maxAge` non nulle si une fraîcheur maximale à chaque requête n’est pas critique.
* **Éviter le stockage** : définissez `storeInCache` sur `false` si vous ne voulez pas que Evocrawl mette en cache/stocke les résultats pour cette requête.
* **Consultation du cache uniquement** : définissez `minAge` pour effectuer une consultation du cache uniquement sans déclencher de nouveau scrape. La valeur est en millisecondes et spécifie l’ancienneté minimale que doivent avoir les données en cache. Si aucune donnée en cache n’est trouvée, une erreur `404` avec le code `SCRAPE_NO_CACHED_DATA` est renvoyée. Définissez `minAge` à `1` pour accepter toute donnée en cache, quel que soit son âge.
* **Suivi des modifications** : les requêtes qui incluent `changeTracking` contournent le cache, donc `maxAge` est ignoré.
* **Crédits** : les résultats en cache coûtent toujours 1 crédit par page. La mise en cache améliore la vitesse, pas l’utilisation des crédits.
Exemple (forcer du contenu frais) :
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')
doc = evocrawl.scrape(url='https://example.com', max_age=0, formats=['markdown'])
print(doc)
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
const doc = await evocrawl.scrape('https://example.com', { maxAge: 0, formats: ['markdown'] });
console.log(doc);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com",
"maxAge": 0,
"formats": ["markdown"]
}'
```
Exemple (utiliser une fenêtre de cache de 10 minutes) :
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key='fc-YOUR_API_KEY')
doc = evocrawl.scrape(url='https://example.com', max_age=600000, formats=['markdown', 'html'])
print(doc)
```
```js Node theme={null}
const evocrawl = new Evocrawl({ apiKey: "fc-YOUR-API-KEY" });
const doc = await evocrawl.scrape('https://example.com', { maxAge: 600000, formats: ['markdown', 'html'] });
console.log(doc);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com",
"maxAge": 600000,
"formats": ["markdown", "html"]
}'
```
## Extraction par lots de plusieurs URL
Vous pouvez désormais lancer l’extraction par lots de plusieurs URL simultanément. La fonction prend en arguments les URL de départ ainsi que des paramètres optionnels. L’argument params vous permet de définir des options supplémentaires pour la tâche d’extraction par lots, comme les formats de sortie.
### Fonctionnement
C’est très proche du fonctionnement du point de terminaison `/crawl`. Il lance un job de scraping par lot et renvoie un ID de job pour en vérifier l’état.
Le SDK propose deux méthodes, synchrone et asynchrone. La méthode synchrone renvoie les résultats du job de scraping par lot, tandis que la méthode asynchrone renvoie un ID de job que vous pouvez utiliser pour en suivre l’état.
### Utilisation
```python Python theme={null}
from evocrawl import Evocrawl
evocrawl = Evocrawl(api_key="fc-YOUR-API-KEY")
job = evocrawl.batch_scrape([
"https://evocrawl.com",
"https://docs.evocrawl.com",
], formats=["markdown"], poll_interval=2, wait_timeout=120)
print(job)
```
```js Node theme={null}
import Evocrawl from '@mendable/evocrawl-js';
const evocrawl = new Evocrawl({ apiKey: "fc-VOTRE-CLÉ-API" });
const job = await evocrawl.batchScrape([
'https://evocrawl.com',
'https://docs.evocrawl.com',
], { options: { formats: ['markdown'] }, pollInterval: 2, timeout: 120 });
console.log(job);
```
```bash cURL theme={null}
curl -s -X POST "https://api.evocrawl.com/v2/batch/scrape" \
-H "Authorization: Bearer $EVOCRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": ["https://evocrawl.com", "https://docs.evocrawl.com"],
"formats": ["markdown"]
}'
```
### Réponse
Si vous utilisez les méthodes synchrones des SDK, elles renverront les résultats du travail de scraping par lot. Sinon, elles renverront un identifiant de travail que vous pourrez utiliser pour vérifier l’état du scraping par lot.
#### Synchrone
```json Terminé theme={null}
{
"status": "terminée",
"total": 36,
"completed": 36,
"creditsUsed": 36,
"expiresAt": "2024-00-00T00:00:00.000Z",
"next": "https://api.evocrawl.com/v2/batch/scrape/123-456-789?skip=26",
"data": [
{
"markdown": "[Page d’accueil de la documentation Evocrawl!...",
"html": "...",
"metadata": {
"title": "Créer un « chat avec un site web » avec Groq Llama 3 | Evocrawl",
"language": "en",
"sourceURL": "https://docs.evocrawl.com/learn/rag-llama3",
"description": "Apprenez à utiliser Evocrawl, Groq Llama 3 et LangChain pour créer un bot « discuter avec votre site web ».",
"ogLocaleAlternate": [],
"statusCode": 200
}
},
...
]
}
```
#### Asynchrone
Vous pouvez ensuite utiliser l’ID de la tâche pour vérifier l’état du batch scrape en appelant le point de terminaison `/batch/scrape/{id}`. Ce point de terminaison est destiné à être utilisé pendant l’exécution de la tâche ou juste après son achèvement, **car les tâches de batch scrape expirent après 24 heures**.
```json theme={null}
{
"success": true,
"id": "123-456-789",
"url": "https://api.evocrawl.com/v2/batch/scrape/123-456-789"
}
```
## Mode amélioré
Pour les sites web complexes, Evocrawl propose un mode amélioré qui offre de meilleurs taux de réussite tout en préservant la confidentialité.
En savoir plus sur le [Mode amélioré](/fr/features/enhanced-mode).
## Rétention zéro des données (ZDR)
Evocrawl prend en charge la rétention zéro des données (ZDR) pour les équipes ayant des exigences strictes en matière de traitement des données. Lorsqu'elle est activée, Evocrawl ne conserve aucun contenu de page ni aucune donnée extraite au-delà de la durée de vie de la requête.
Pour activer ZDR, définissez `zeroDataRetention: true` dans votre requête :
```bash cURL theme={null}
curl -X POST https://api.evocrawl.com/v2/scrape \
-H "Content-Type: application/json" \
-H "Authorization: Bearer fc-YOUR_API_KEY" \
-d '{
"url": "https://example.com",
"formats": ["markdown"],
"zeroDataRetention": true
}'
```
ZDR est disponible sur les offres Enterprise et doit être activé pour votre équipe. Rendez-vous sur [evocrawl.dev/enterprise](https://www.evocrawl.com/enterprise) pour démarrer.
ZDR ajoute **1 crédit supplémentaire par page** en plus du coût de base du scrape.
Les captures d’écran ne sont pas disponibles en mode ZDR. Comme elles nécessitent un envoi vers un stockage persistant, elles sont incompatibles avec la garantie ZDR. Les requêtes qui incluent à la fois `zeroDataRetention: true` et un format `screenshot` renverront une erreur.
> Êtes-vous un agent IA ayant besoin d’une clé API Evocrawl ? Consultez [evocrawl.dev/agent-onboarding/SKILL.md](https://www.evocrawl.com/agent-onboarding/SKILL.md) pour obtenir les instructions d’intégration automatisée.