Parser di titoli di notiziePronti all'uso

Un parser Python già pronto dei titoli di siti di notizie aperti: titolo, data, sezione, breve sommario e link

Di solito pronto in 15 minutiRevisioni incluseControllo di qualità
Pacchetti
Pagamento protettoDettagli
  • Le revisioni previste dal pacchetto sono gratuite.
  • Se non risponde entro 3 giorni dalla consegna, il lavoro viene accettato automaticamente.

Il denaro viene riservato al momento del pagamento e sbloccato solo quando accetta il lavoro.

Un parser Python già pronto dei titoli di siti di notizie aperti: titolo, data, sezione, breve sommario e link

Esempio di risultato

Esempio per il pacchetto Standard

Parser del catalogo di un fornitore di attrezzi da giardino in Excel

Come appare il risultato

ArticoloNomePrezzoDisponibilePesoFoto
GT-1042Forbici da potatura, 20 mm18,90Sì0,24 kg…/gt-1042.jpg
GT-1187Seghetto pieghevole, 210 mm24,50Sì0,31 kg…/gt-1187.jpg
GT-2210Cesoie per siepi, lama ondulata39,00No1,10 kg…/gt-2210.jpg
GT-3305Trapiantatoio, acciaio inox9,80Sì0,18 kg…/gt-3305.jpg
GT-4120Tubo da giardino 25 m, 1/2"42,00Sì2,90 kg…/gt-4120.jpg

Il file dell'esempio contiene 1.236 prodotti da 52 pagine di elenco.

Una parte del codice

def product_links(list_url: str) -> Iterator[str]:
    """Link alle pagine prodotto da ogni pagina dell'elenco, seguendo 'Avanti'."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """Una pagina pubblica, a un ritmo discreto: una pausa tra le richieste e qualche tentativo in caso di errore."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s ha risposto %s, tentativo %d di 3", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} non si è aperta dopo 3 tentativi")

File: un archivio ZIP con scraper.py, settings.ini (la pagina iniziale, la pausa tra le richieste, il nome del file), requirements.txt e un README su come installarlo ed eseguirlo. Legge solo pagine pubbliche, una ogni 2 secondi, e controlla prima il file robots.txt del sito. Il cliente lo esegue sul proprio computer.

Cliente: un negozio online di giardinaggio che rivende gli attrezzi di un fornitore; il fornitore ha un catalogo pubblico sul suo sito ma nessun file di listino. Compito: scorrere le pagine di elenco del catalogo, aprire ogni pagina prodotto e salvare in Excel codice articolo, nome, prezzo, disponibilità, peso e link alla foto principale, per confrontare i prezzi una volta alla settimana.

Il cliente e tutti i dati sono inventati.

Informazioni sul servizio

Un parser di titoli di notizie già pronto: un tipico parser Python già messo a punto per le pagine di notizie, adattato al sito di notizie aperto o alla sezione che indica. Salva titolo, data e ora, sezione, tag, il breve sommario che il sito mostra e il link: abbastanza per seguire il Suo settore, vedere quanto spesso compare un tema o tenere un elenco di letture per una newsletter. Non copia gli articoli completi, che appartengono ai loro editori; la tabella vi rimanda tramite link. Se il sito ha un feed RSS, il parser può leggerlo, il che è più leggero per il sito. Ci invia i link a una pagina di sezione e a un articolo, copie salvate di essi e i campi di cui ha bisogno. Lo esegue Lei sul Suo computer. Legge solo pagine aperte con un ritmo educato, salta tutto ciò che è dietro un abbonamento o un accesso e non salva commenti né nulla con i nomi dei lettori.

Cosa è incluso

  • Cosa riceveUn archivio ZIP con il parser di titoli di notizie già pronto in Python, un file di impostazioni con gli indirizzi e la pausa tra le pagine, e un README; il codice è mostrato anche nella pagina dell'ordine.
  • Campi dei titoli già prontiTitolo, data, sezione, tag, sommario, link
  • Link, non testi completiGli articoli restano ai loro editori
  • Più siti insiemeFino a 3 in un'unica tabella, nel pacchetto Premium
  • Ritmo educatoUna pausa tra le pagine, impostata nelle impostazioni
  • Una guida sempliceInstallazione di Python e avvio, passo dopo passo

Come funziona

  1. 1
    PagineCi dà il sito, la sezione, i campi e le pagine salvate
  2. 2
    ConfigurazioneAdattiamo il parser già pronto a quelle pagine e scriviamo la guida
  3. 3
    EsecuzioneLo esegue e controlla le prime righe della tabella
  4. 4
    ModificheChiede modifiche entro i limiti del pacchetto e ci invia l'eventuale messaggio di errore

Cosa ci serve da lei

Il sito di notizie aperto e le pagine esatte: un link a una pagina di sezione o di tag e a un articolo. I campi di cui ha bisogno nell'ordine della Sua tabella, per esempio titolo, data, sezione, sommario e link. Una o due di quelle pagine salvate dal Suo browser (File > Salva pagina con nome) o screenshot, e il link RSS se il sito ne ha uno. Il file dei risultati: CSV, Excel o, nel pacchetto Premium, JSON. Per il pacchetto Premium, gli altri siti e ogni quanto eseguirlo.

Le chiederemo:

  • Quale sito e quale sezione?
  • I campi di cui ha bisogno
  • Parole chiave da mantenere
  • File dei risultati e frequenza

Confronto dei pacchetti

PacchettiBase15 €Standard28 €Premium50 €
Cosa è inclusoTitoli da una paginaSezione e articoliFino a 3 siti di notizie
Tempi di consegna1 giorno2 giorni3 giorni
Revisioni123
Siti11fino a 3
Tipi di pagina12 (elenco e scheda)fino a 3
Campifino a 10fino a 25fino a 25 per ciascuno
Scorre le pagine di un elencoNoSìSì
File dei risultatiCSVExcel o CSVExcel, CSV o JSON
Duplicati rimossi, riprende da dove si è fermatoNoNoSì
Versione già prontaTitoli di notizieTitoli di notizieTitoli di notizie
Ordina BaseOrdina StandardOrdina Premium

Pagamento protetto

Paga al momento dell'ordine, ma il denaro viene sbloccato solo per un lavoro accettato.

  • Prezzo fissoIl prezzo del pacchetto non cambia dopo il pagamento.
  • Il denaro viene riservatoAl pagamento, l'importo viene solo riservato. Passa a Dleex quando accetta il lavoro.
  • Verificato prima della consegnaOgni risultato passa un controllo di qualità prima di arrivare a lei, e lo vede nella pagina dell'ordine prima di accettarlo.
  • Revisioni gratuiteRichieda revisioni nell'ambito del suo brief tante volte quante ne prevede il pacchetto.
  • Accettazione dopo 3 giorniSe entro 3 giorni dalla consegna non accetta il lavoro né richiede una revisione, il lavoro viene accettato automaticamente. Se scrive nella chat dell'ordine dopo la consegna, l'ordine resta in attesa; dopo la nostra risposta potremmo far ripartire i 3 giorni e glielo indicheremo nella chat.
  • Rifacimento o rimborso totaleSe il risultato non corrisponde al suo brief e le revisioni non hanno risolto il problema, oppure il lavoro richiede più del doppio dei tempi di consegna previsti, scriva nella chat dell'ordine: rifaremo il lavoro o le rimborseremo l'intero pagamento.
Come funziona →

Domande e risposte

Può salvare il testo completo degli articoli?

No. Gli articoli sono opera degli editori. Il parser salva il titolo, il breve sommario che il sito mostra e il link, così legge l'articolo sul sito.

Posso ripubblicare i titoli sul mio sito?

Dipende dalle condizioni dell'editore e dalla legge del Suo Paese, e la decisione è Sua. Il parser è pensato per il Suo monitoraggio e per elenchi di letture personali.

E se il sito cambia struttura?

Il parser lavora sulle pagine così come sono ora. Dopo un restyling serve un aggiornamento, che è un nuovo ordine. Legge con un ritmo educato e non aggira i limiti che un sito imposta.

Posso raccogliere questi dati?

Raccogliere dati pubblici è consentito in molti casi, ma le condizioni dei siti e le leggi sui dati variano da Paese a Paese, quindi è Lei a decidere se può raccoglierli e usarli. Il parser non accede mai, non aggira protezioni né raccoglie dati personali.

Perché costa meno di un parser su misura?

È un parser di titoli di notizie tipico già pronto: i suoi campi e il modo in cui scorre le pagine sono già messi a punto, e lo adattiamo al sito che indica e alle Sue colonne. Siti e campi insoliti sono il servizio di parser su misura.

Non hai trovato la risposta?

Pacchetti