Saltar al contenido principal
Aprende a usar las funciones principales de Evocrawl para hacer scraping de repositorios, issues y documentación de GitHub.

​
Configuración

npm install @mendable/evocrawl-js zod

​
Scrape con modo JSON

Extrae datos estructurados de repositorios mediante esquemas de Zod. 
import EvocrawlApp from '@mendable/evocrawl-js';
import { z } from 'zod';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

const result = await evocrawl.scrape('https://github.com/superaihuman/evocrawl', {
    formats: [{
        type: 'json',
        schema: z.object({
            name: z.string(),
            description: z.string(),
            stars: z.number(),
            forks: z.number(),
            language: z.string(),
            topics: z.array(z.string())
        })
    }]
});

console.log(result.json);
Busca repositorios, issues o documentación en GitHub. 
import EvocrawlApp from '@mendable/evocrawl-js';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

const searchResult = await evocrawl.search('machine learning site:github.com', {
    limit: 10,
    sources: [{ type: 'web' }], // { type: 'news' }, { type: 'images' }
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(searchResult);

​
Scrape

Extrae una sola página de GitHub: un repositorio, un issue o un archivo. 
import EvocrawlApp from '@mendable/evocrawl-js';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

const result = await evocrawl.scrape('https://github.com/superaihuman/evocrawl', {
    formats: ['markdown'] // p. ej. html, links, etc.
});

console.log(result);

​
Map

Descubre todas las URL disponibles en un repositorio o sitio de documentación. Nota: Map devuelve únicamente las URL, sin contenido. 
import EvocrawlApp from '@mendable/evocrawl-js';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

const mapResult = await evocrawl.map('https://github.com/vercel/next.js/tree/canary/docs');

console.log(mapResult.links);
// Devuelve un array de URLs sin contenido

​
Crawl

Rastrea varias páginas de un repositorio o de la documentación. 
import EvocrawlApp from '@mendable/evocrawl-js';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

const crawlResult = await evocrawl.crawl('https://github.com/facebook/react/wiki', {
    limit: 10,
    scrapeOptions: {
        formats: ['markdown']
    }
});

console.log(crawlResult.data);

​
Batch Scrape

Extrae varias URL de GitHub simultáneamente. 
import EvocrawlApp from '@mendable/evocrawl-js';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

// Esperar a que finalice
const job = await evocrawl.batchScrape([
    'https://github.com/vercel/next.js',
    'https://github.com/facebook/react',
    'https://github.com/microsoft/typescript'],
    {
        options: {
            formats: ['markdown']
        },
        pollInterval: 2,
        timeout: 120
    }
);


console.log(job.status, job.completed, job.total);

console.log(job);

​
Rastreo por lotes con modo JSON

Extrae datos estructurados de múltiples repositorios a la vez. 
import EvocrawlApp from '@mendable/evocrawl-js';
import { z } from 'zod';

const evocrawl = new EvocrawlApp({ apiKey: process.env.EVOCRAWL_API_KEY });

// Esperar a que finalice
const job = await evocrawl.batchScrape([
    'https://github.com/vercel/next.js',
    'https://github.com/facebook/react'],
    {
        options: {
            formats: [{
                type: 'json',
                schema: z.object({
                    name: z.string(),
                    description: z.string(),
                    stars: z.number(),
                    language: z.string()
                })
            }]
        },
        pollInterval: 2,
        timeout: 120
    }
);


console.log(job.status, job.completed, job.total);

console.log(job);