Un parser de webs en Python que reúne datos públicos de las páginas en CSV o Excel: precios, catálogos, anuncios

Ejemplo de resultado

def product_links(list_url: str) -> Iterator[str]:
    """Enlaces a las páginas de producto de todas las páginas de la lista, siguiendo 'Siguiente'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una página abierta, a un ritmo prudente: una pausa entre peticiones y algunos reintentos si hay errores."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s respondió %s, intento %d de 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} no se abrió tras 3 intentos")

Acerca de este servicio

Un parser recoge los datos que se ven en páginas web públicas y los guarda como una tabla: precios y existencias de productos, el catálogo de un proveedor para su tienda, anuncios, ofertas de empleo, eventos o artículos. Díganos la web y las páginas, enumere los campos que necesita (nombre, precio, enlace, imagen, etc.) y envíe una o dos de esas páginas guardadas desde su navegador (Archivo > Guardar página como) o capturas de ellas. Escribimos el parser en Python según la estructura real de esas páginas, y guarda los resultados en CSV, Excel o JSON. Recibe un archivo con el código, un archivo de configuración con las direcciones y la pausa entre páginas, y un README que explica cómo instalar Python y ejecutarlo. Usted ejecuta el parser en su propio ordenador, así que los datos le llegan directamente; nosotros no los recogemos por usted ni los guardamos. Lee solo páginas abiertas, a un ritmo prudente, y nunca inicia sesión, ni se salta captchas u otras protecciones, ni recoge datos personales como nombres, correos o teléfonos de personas. Cuando una web cambia su estructura, el parser puede requerir una actualización. Si puede recoger y usar los datos de una web según sus condiciones es responsabilidad suya.

Qué incluye

• Qué recibeUn archivo ZIP con el código Python, un archivo de configuración y un README con instrucciones paso a paso; el código también se muestra en la página del pedido.
• Sus campos, su tablaColumnas en el orden que necesita
• Hecho sobre las páginas realesEscrito según la estructura de las páginas que envía
• Ritmo prudenteUna pausa entre páginas, fijada en la configuración
• Se ejecuta en su ordenadorWindows, macOS o Linux, con Python
• Una guía sencillaQué instalar y cómo ejecutarlo, paso a paso

Cómo funciona

1. 1
   PáginasUsted da la web, los campos y una o dos páginas guardadas
2. 2
   ParserEscribimos el código y la guía para ejecutarlo
3. 3
   EjecuciónLo ejecuta y revisa las primeras filas de la tabla
4. 4
   CambiosPide cambios dentro de su paquete y nos envía cualquier mensaje de error

Qué necesitamos de usted

La web y las páginas exactas: un enlace a una lista y a una página de elemento, y cuántas páginas hay aproximadamente. Los campos que necesita, en el orden de su tabla, con un ejemplo de cada uno. Una o dos de esas páginas guardadas desde su navegador como HTML (Archivo > Guardar página como) o capturas, para que el parser siga su estructura real. El archivo de resultados que necesita (CSV, Excel o JSON) y dónde lo ejecutará.

Le preguntaremos:

• ¿Qué web y qué páginas?
• Los campos que necesita
• ¿Cuántas páginas aproximadamente?
• El archivo de resultados
• Cualquier otra cosa que deba hacer

Comparar paquetes

Preguntas y respuestas

¿No encontró su respuesta? Pregúntenos