Web scraper: internetten nasıl veri toplanır

Bir tedarikçinin sitesindeki fiyatları elle bir tabloya kopyalamak yirmi ürün için işe yarar. İki bin ürün içinse bir haftanızı alır ve yine de yazım hataları olur. Web scraper (ayrıştırıcı ya da parser da denir), sayfaları sizin yerinize açan, her birinden aynı bilgi parçalarını alan ve bunları tablo olarak kaydeden küçük bir programdır. Neler yapabildiği, neler hazırlamanız gerektiği ve hangi kurallara uyulması gerektiği aşağıda.

Scraper ne işe yarar

Aynı türden bilgi birçok benzer sayfada bulunuyorsa scraper işe yarar:

• Fiyatlar ve stok. Bir tedarikçinin fiyatlarının nasıl değiştiğini veya hangi ürünlerin stokta olmadığını takip edin.
• Tedarikçi kataloğu. Adları, açıklamaları, görselleri ve fiyatları kendi mağazanıza taşıyın.
• İlanlar. Herkese açık bir ilan sitesindeki emlak, araç veya iş ilanlarını tek bir tabloda toplayın.
• Etkinlikler ve makaleler. Herkese açık bir takvimden veya haber sayfasından tarihleri, başlıkları ve bağlantıları derleyin.

Yalnızca toplamanıza izin verilen verileri toplayın

Her şeyden önce verileri almanın doğru olup olmadığını kontrol edin:

• Yalnızca herkese açık sayfalar. Verileri görmek için giriş yapmanız gerekiyorsa scraper doğru araç değildir.
• Sitenin kullanım şartlarını okuyun. Birçok site neyin toplanabileceğini ve neyin toplanamayacağını belirtir. Büyük platformlar, arama motorları ve sosyal ağlar genellikle bunu yasaklar; bunun yerine onların resmî dışa aktarma araçlarını veya API'lerini kullanın.
• Hız sınırlarına uyun. Sayfalar arasında birkaç saniyelik bir ara, sitedeki yükü düşük tutar. CAPTCHA'ları veya engellemeleri aşmaya asla çalışmayın.
• Kişisel verilerin korunmasına ilişkin yasalara uyun. Kişilerin adları, e-posta adresleri ve telefon numaraları kişisel veridir ve birçok ülke bunların toplanmasını sıkı biçimde sınırlar. Bunları dışarıda bırakın.

Sonuçta bir sitenin verilerini toplayıp kullanıp kullanamayacağınız sizin kararınızdır, bu yüzden başlamadan önce kontrol edin.

Sayfaları tarif edin

Scraper sayfaların gerçek yapısına göre yazılır, bu yüzden net olun:

• Bir liste sayfasının bağlantısı ve tek bir ürün sayfasının bağlantısı.
• Yaklaşık kaç sayfa olduğu, örneğin "her birinde 24 ürün olan yaklaşık 40 liste sayfası".
• Tarayıcınızdan kaydedilmiş bir iki sayfa (Dosya > Sayfayı farklı kaydet) veya ekran görüntüleri.

Alanları tablo sütunları gibi listeleyin

Sonucu bir tablo olarak düşünün ve sütunlarını sırayla, her birine bir örnekle adlandırın:

• Ad: "Meşe kesme tahtası, büyük"
• Fiyat: "34.90"
• Eski fiyat: "39.90", ürün indirimdeyse
• Stokta: "evet"
• Ürün sayfasının bağlantısı ve görselin bağlantısı

On net alan, otuz belirsiz alandan iyidir. "Yalnızca stoktaki ürünler" gibi ihtiyacınız olan kuralları ekleyin.

Formatı ve nerede çalışacağını seçin

• CSV her tablo programında açılır ve çoğu mağaza sistemine aktarılabilir.
• Excel, elle filtreleyip sıralayacaksanız daha kolaydır.
• JSON, verileri başka bir yere yükleyecek bir yazılımcıya uygundur.

Scraper Python ile kendi bilgisayarınızda çalışır; böylece veriler doğrudan size gelir ve güncel rakamlara ihtiyaç duyduğunuzda onu yeniden çalıştırabilirsiniz.

Site değiştiğinde

Scraper sayfaları bugünkü görünümlerine göre izler. Site yeni bir tasarıma geçerse scraper alanları bulamayabilir ve güncellenmesi gerekir. Bir site, ölçülü bir hızda bile ziyaretleri sınırlayabilir. Verilere her hafta güveniyorsanız bunu hesaba katın.

Kısacası

Hangi herkese açık sayfalara ve alanlara ihtiyacınız olduğuna karar verin, sitenin kullanım şartlarını kontrol edin, ölçülü bir hız koruyun ve kişisel verileri dışarıda bırakın. Kodu kendiniz yazmak istemiyorsanız web scraper sipariş edin: siteyi, alanları ve kaydedilmiş bir iki sayfayı gönderirsiniz, Python kodunu, bir ayar dosyasını ve CSV, Excel veya JSON'a veri çekmek için onu çalıştırmaya yönelik adım adım bir kılavuz alırsınız. Ödeme ancak siz işi onayladıktan sonra serbest bırakılır.