공개 페이지의 상품 사양을 열로 모아 나란히 비교할 수 있게 하는 Python 파서

결과물 예시

품번	상품명	가격	재고	무게	사진
GT-1042	전지가위, 20mm	18.90	있음	0.24kg	…/gt-1042.jpg
GT-1187	접이식 톱, 210mm	24.50	있음	0.31kg	…/gt-1187.jpg
GT-2210	양손 전정가위, 물결날	39.00	없음	1.10kg	…/gt-2210.jpg
GT-3305	모종삽, 스테인리스	9.80	있음	0.18kg	…/gt-3305.jpg
GT-4120	정원용 호스 25m, 1/2"	42.00	있음	2.90kg	…/gt-4120.jpg

예시 파일에는 목록 페이지 52개에서 모은 상품 1,236개가 담겨 있습니다.

코드 일부

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

파일: scraper.py, settings.ini(시작 페이지, 요청 사이 대기 시간, 파일 이름), requirements.txt, 그리고 설치와 실행 방법을 담은 README가 들어 있는 ZIP 압축 파일. 공개된 페이지만 2초에 한 페이지씩 읽으며, 먼저 사이트의 robots.txt를 확인합니다. 고객이 자신의 컴퓨터에서 직접 실행합니다.