Un parser Python che salva in una tabella i dati SEO delle pagine di un sito: title, description, H1, stato, canonical

Esempio di risultato

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

Informazioni sul servizio

Prima di un trasferimento del sito o di un controllo SEO, questo parser scorre le pagine di un sito e salva una riga per ciascuna: indirizzo, codice di risposta, title e meta description con la loro lunghezza, H1, numero di H2, link canonical, tag noindex, numero di parole, immagini senza testo alt e numero di link interni. Prende gli indirizzi dal file sitemap del sito, dalle pagine di categoria o da un suo elenco. Lo usi sul suo sito o sul sito pubblico di un concorrente. Ci invii l'indirizzo del sito, qualche pagina salvata dal browser e i campi che le servono. Riceve il codice Python, un file di impostazioni e un README e lo esegue sul suo computer. Raccoglie dati, non corregge il sito e non promette posizioni nei motori di ricerca. Legge solo pagine pubbliche a un ritmo discreto e non accede mai con login né aggira captcha o protezioni. È lei a valutare se le condizioni di un sito lo consentono; un successivo cambio di struttura richiede un aggiornamento.

Cosa è incluso

• Cosa riceveUn archivio ZIP con il codice Python, un file di impostazioni e un README con le istruzioni passo passo; il codice è visibile anche nella pagina dell'ordine.
• Tag e loro lunghezzaTitle e description con il numero di caratteri
• Codici di rispostaIndividua pagine rotte e reindirizzate
• Testo alt mancanteConta le immagini senza testo alt
• Da sitemap o dal suo elencoIndirizzi dal file sitemap, dalle categorie o da un file che fornisce
• Ritmo discretoUna pausa tra le pagine, regolata nelle impostazioni

Come funziona

1. 1
   SitoLei indica il sito, la fonte degli indirizzi e le pagine salvate
2. 2
   ParserScriviamo il codice e la guida per eseguirlo
3. 3
   AvvioLo esegue e controlla qualche riga nel browser
4. 4
   ModificheChiede modifiche nei limiti del pacchetto e invia eventuali messaggi di errore

Cosa ci serve da lei

L'indirizzo del sito e da dove il parser deve prendere gli indirizzi: il file sitemap, le pagine di categoria o un suo elenco. Circa quante pagine ci sono. I campi che le servono, es. indirizzo, codice di risposta, title, description, H1, canonical, noindex, numero di parole, immagini senza alt. Due o tre pagine di tipo diverso salvate dal browser (File > Salva pagina con nome). CSV o Excel.

Le chiederemo:

• Quale sito?
• Da dove prendere gli indirizzi
• I campi che le servono
• Circa quante pagine?

Confronto dei pacchetti

Domande e risposte

Non hai trovato la risposta? Chiedi a noi