팟캐스트의 공개 사이트에서 에피소드 목록을 만드는 Python 파서: 번호, 제목, 날짜, 길이, 링크

결과물 예시

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

서비스 소개

새 사이트로 옮기는 팟캐스트 진행자, 쇼노트 편집자, 연구자는 이 파서로 에피소드를 표로 정리합니다. 번호, 시즌, 제목, 날짜, 길이, 짧은 설명, 주제나 태그, 에피소드 페이지 링크, 페이지에 표시될 경우 오디오 링크가 들어갑니다. 프로그램 자체의 공개 사이트나, 대부분의 팟캐스트에 있는 공개 RSS 피드를 읽습니다. 에피소드 목록 페이지, 에피소드 페이지 하나, 브라우저에서 저장한 페이지 한두 개를 보내 주세요. Python 코드, 설정 파일, README를 받아 고객님의 컴퓨터에서 실행하시면 됩니다. 오디오 파일이 아닌 링크를 저장하며, 게스트 이름을 넣는 열은 없습니다. 서버에 무리를 주지 않는 속도로 읽고, 로그인하거나 캡차나 보호 장치를 우회하지 않으며, 소셜 네트워크나 계정이 필요한 청취 앱은 읽지 않습니다. 사이트 이용 약관이 이를 허용하는지는 고객님이 판단하시며, 나중에 구조가 바뀌면 업데이트가 필요합니다.

포함 사항

• 받으시는 결과물Python 코드, 설정 파일, 단계별 안내가 담긴 README가 들어 있는 ZIP 압축 파일. 코드는 주문 페이지에서도 볼 수 있습니다.
• 순서대로 정리된 에피소드번호, 시즌, 날짜를 각각 별도 열로
• 분 단위 길이페이지나 피드에 표시될 경우
• 에피소드와 오디오 링크링크만, 오디오 파일은 없음
• 적당한 속도페이지 사이 대기 시간을 설정에서 지정
• 고객님의 컴퓨터에서 실행Python이 설치된 Windows, macOS 또는 Linux

진행 방식

1. 1
   프로그램에피소드 목록이나 피드와 저장한 에피소드 페이지 하나를 보내 주세요
2. 2
   파서코드와 실행 안내서를 작성합니다
3. 3
   실행실행한 뒤 최신 에피소드를 사이트와 대조해 보세요
4. 4
   수정패키지 범위 안에서 수정을 요청하고 오류 메시지가 있으면 보내 주세요

준비해 주실 내용

팟캐스트 사이트와 에피소드 목록 링크 또는 공개 RSS 피드 주소, 에피소드 페이지 하나, 대략적인 에피소드 수. 표에 넣을 순서대로 필드(예: 번호, 시즌, 제목, 날짜, 길이, 설명, 태그, 에피소드 링크, 오디오 링크). 브라우저에서 저장한(파일 > 다른 이름으로 페이지 저장) 해당 페이지 한두 개 또는 스크린샷. CSV, Excel, JSON 중 무엇인지.

다음 내용을 여쭤봅니다:

• 어떤 팟캐스트인가요?
• 필요한 항목
• 에피소드는 대략 몇 개인가요?
• 결과 파일

패키지 비교

질문과 답변

답을 찾지 못하셨나요? 질문하기