같은 상품의 가격을 공개 온라인 쇼핑몰 3곳에서 비교해 하나의 표로 만드는 Python 파서

결과물 예시

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

서비스 소개

이 파서는 최대 세 곳의 공개 온라인 쇼핑몰에서 같은 상품의 가격을 나란히 보여 줍니다. 상품마다 한 행에 쇼핑몰별 가격, 이전 가격, 재고, 링크와 확인 날짜가 들어갑니다. 세 쇼핑몰은 프리미엄에 포함되며, 베이직과 스탠다드는 시작이나 테스트용으로 쇼핑몰 한 곳을 읽습니다. 상품은 바코드나 제조사 부품 번호처럼 쇼핑몰에 표시된 코드, 또는 상품별로 지정하신 링크로 짝지어집니다. 이름만으로는 차이가 커서 안전하게 대조할 수 없기 때문입니다. 사이트, 브라우저에서 저장한 쇼핑몰별 상품 페이지, 상품 목록을 보내 주세요. Python 코드, 설정 파일, README를 받아 고객님의 컴퓨터에서 실행하시면 됩니다. 공개된 페이지를 서버에 무리를 주지 않는 속도로 읽고, 로그인하거나 캡차나 보호 장치를 우회하지 않으며, Amazon이나 Google은 읽지 않습니다. 쇼핑몰 이용 약관이 이를 허용하는지는 고객님이 판단하시며, 나중에 구조가 바뀌면 업데이트가 필요합니다.

포함 사항

• 받으시는 결과물Python 코드, 설정 파일, 단계별 안내가 담긴 README가 들어 있는 ZIP 압축 파일. 코드는 주문 페이지에서도 볼 수 있습니다.
• 상품마다 한 행쇼핑몰별 가격, 재고, 링크를 나란히
• 코드나 지정한 링크로 대조바코드, 제조사 부품 번호 또는 지정하신 링크
• 확인 날짜모든 행에 기록되어 실행 결과끼리 비교 가능
• 적당한 속도페이지 사이 대기 시간을 설정에서 지정
• 고객님의 컴퓨터에서 실행Python이 설치된 Windows, macOS 또는 Linux

진행 방식

1. 1
   쇼핑몰쇼핑몰, 저장한 상품 페이지, 상품 목록을 보내 주세요
2. 2
   파서코드와 실행 안내서를 작성합니다
3. 3
   실행실행한 뒤 쇼핑몰마다 몇몇 행을 확인해 보세요
4. 4
   수정패키지 범위 안에서 수정을 요청하고 오류 메시지가 있으면 보내 주세요

준비해 주실 내용

쇼핑몰 세 곳(베이직과 스탠다드는 한 곳)과 브라우저에서 저장한(파일 > 다른 이름으로 페이지 저장) 쇼핑몰별 상품 페이지. 바코드처럼 쇼핑몰에 표시되는 코드가 담긴 상품 목록, 또는 쇼핑몰마다 각 상품의 링크를 적은 표. 쇼핑몰별로 필요한 필드(예: 가격, 이전 가격, 재고 여부, 링크). 대략적인 상품 수. CSV, Excel, JSON 중 무엇인지.

다음 내용을 여쭤봅니다:

• 어떤 쇼핑몰인가요?
• 상품을 대조하는 방법
• 쇼핑몰별 필드
• 상품은 대략 몇 개인가요?

패키지 비교

질문과 답변

답을 찾지 못하셨나요? 질문하기