웹 페이지의 공개 데이터를 CSV나 Excel로 모아 주는 Python 웹사이트 파서: 가격, 카탈로그, 게시글

결과물 예시

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

서비스 소개

파서는 공개된 웹 페이지에서 눈에 보이는 데이터를 모아 표로 저장합니다. 상품 가격과 재고, 쇼핑몰에 쓸 공급업체 카탈로그, 매물·구인 공고, 행사, 기사 등을 모을 수 있습니다. 사이트와 페이지를 알려 주시고 필요한 항목(상품명, 가격, 링크, 이미지 등)을 적은 다음, 해당 페이지 한두 개를 브라우저에서 저장해(파일 > 다른 이름으로 페이지 저장) 보내거나 스크린샷을 보내 주세요. 그 페이지의 실제 구조에 맞춰 Python으로 파서를 작성하며, 결과는 CSV, Excel 또는 JSON으로 저장됩니다. 코드, 주소와 페이지 사이 대기 시간이 담긴 설정 파일, Python 설치 및 실행 방법을 설명한 README가 들어 있는 압축 파일을 받으십니다. 파서는 고객님의 컴퓨터에서 직접 실행하므로 데이터는 곧바로 고객님께 갑니다. 저희가 대신 데이터를 모으거나 보관하지 않습니다. 파서는 공개된 페이지만 적당한 속도로 읽으며, 로그인하거나 캡차 등 보호 장치를 우회하거나 이름, 이메일, 전화번호 같은 개인정보를 수집하지 않습니다. 사이트 구조가 바뀌면 파서를 업데이트해야 할 수 있습니다. 사이트 이용 약관상 데이터를 수집하고 사용할 수 있는지는 고객님이 판단하셔야 합니다.

포함 사항

• 받으시는 결과물Python 코드, 설정 파일, 단계별 안내가 담긴 README가 들어 있는 ZIP 압축 파일. 코드는 주문 페이지에서도 볼 수 있습니다.
• 원하는 항목, 원하는 표필요한 순서대로 열 배치
• 실제 페이지 기준 제작보내 주신 페이지의 구조에 맞춰 작성
• 적당한 속도페이지 사이 대기 시간을 설정에서 지정
• 고객님의 컴퓨터에서 실행Python이 설치된 Windows, macOS 또는 Linux
• 쉬운 안내서무엇을 설치하고 어떻게 실행하는지 단계별로

진행 방식

1. 1
   페이지 수사이트, 항목, 저장한 페이지 한두 개를 보내 주세요
2. 2
   파서코드와 실행 안내서를 작성합니다
3. 3
   실행실행하고 표의 첫 몇 행을 확인하세요
4. 4
   수정패키지 범위 안에서 수정을 요청하고 오류 메시지가 있으면 보내 주세요

준비해 주실 내용

사이트와 정확한 페이지: 목록 페이지와 상세 페이지 링크, 대략적인 페이지 수. 필요한 항목을 표의 순서대로, 항목마다 예시와 함께. 파서가 실제 구조를 따를 수 있도록 해당 페이지 한두 개를 브라우저에서 HTML로 저장한 파일(파일 > 다른 이름으로 페이지 저장) 또는 스크린샷. 필요한 결과 파일 형식(CSV, Excel, JSON)과 실행할 환경.

다음 내용을 여쭤봅니다:

• 어떤 사이트의 어떤 페이지인가요?
• 필요한 항목
• 대략 몇 페이지인가요?
• 결과 파일
• 그 밖에 필요한 기능

패키지 비교

질문과 답변

답을 찾지 못하셨나요? 질문하기