공개 카탈로그의 이미지를 상품 코드로 이름 붙여 폴더에 저장하고 표도 만드는 Python 파서

결과물 예시

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

서비스 소개

자신의 카탈로그를 새 쇼핑몰로 옮기거나 공급업체가 상품 사진 사용을 허락했을 때, 이 파서는 공개 카탈로그 페이지의 이미지를 폴더에 저장하고 파일마다 상품 코드로 이름을 붙이며, 코드, 상품명, 이미지 링크, 파일 이름을 연결한 표도 만듭니다. 사이트, 카테고리와 상품 페이지, 브라우저에서 저장한 페이지 한두 개, 파일 이름 짓는 방식을 보내 주세요. Python 코드, 설정 파일, README를 받아 고객님의 컴퓨터에서 실행하시므로 파일은 바로 고객님께 저장됩니다. 사용 권한이 있는 이미지만 저장하세요. 고객님 자신의 이미지이거나 소유자가 허락한 이미지여야 합니다. 파일은 사이트가 제공하는 그대로 저장됩니다. 공개된 페이지를 서버에 무리를 주지 않는 속도로 읽으며, 로그인하거나 캡차나 보호 장치를 우회하지 않습니다. 사이트 이용 약관이 이를 허용하는지는 고객님이 판단하시며, 나중에 구조가 바뀌면 업데이트가 필요합니다.

포함 사항

• 받으시는 결과물Python 코드, 설정 파일, 단계별 안내가 담긴 README가 들어 있는 ZIP 압축 파일. 코드는 주문 페이지에서도 볼 수 있습니다.
• 원하는 파일 이름상품 코드 기준, 추가 사진은 _1, _2, _3
• 함께 제공되는 표코드, 상품명, 이미지 링크, 파일 이름
• 가장 큰 크기페이지에 더 큰 이미지 링크가 있으면 그것을 저장
• 적당한 속도페이지 사이 대기 시간을 설정에서 지정
• 고객님의 컴퓨터에서 실행Python이 설치된 Windows, macOS 또는 Linux

진행 방식

1. 1
   페이지 수카탈로그, 저장한 상품 페이지, 파일 이름 방식을 보내 주세요
2. 2
   파서코드와 실행 안내서를 작성합니다
3. 3
   실행실행한 뒤 첫 이미지 폴더를 살펴보세요
4. 4
   수정패키지 범위 안에서 수정을 요청하고 오류 메시지가 있으면 보내 주세요

준비해 주실 내용

사이트와 정확한 페이지: 카테고리 링크와 상품 페이지 하나의 링크, 대략적인 상품 수와 이미지 수. 파일 이름 짓는 방식(예: 상품 코드에 _1, _2). 파일 이름 외에 표에 필요한 필드. 브라우저에서 저장한(파일 > 다른 이름으로 페이지 저장) 해당 페이지 한두 개. 그리고 이미지가 고객님의 것이거나 소유자가 사용을 허락했다는 확인.

다음 내용을 여쭤봅니다:

• 어떤 사이트와 페이지인가요?
• 파일 이름 짓는 방식
• 이미지는 대략 몇 장인가요?
• 누구의 이미지인가요?

패키지 비교

질문과 답변

답을 찾지 못하셨나요? 질문하기