사이트 페이지의 SEO 데이터를 표로 저장하는 Python 파서: title, description, H1, 상태, canonical

결과물 예시

def product_links(list_url: str) -> Iterator[str]:
    """목록의 모든 페이지에서 상품 페이지 링크를 모읍니다. '다음'을 따라갑니다."""
    url: str | None = list_url
    while url:
        page = fetch(url)
        for card in page.select("div.product-card a.title"):
            yield urljoin(url, card["href"])
        next_link = page.select_one("a.pagination-next")
        url = urljoin(url, next_link["href"]) if next_link else None


def fetch(url: str) -> BeautifulSoup:
    """공개 페이지 하나를 서버에 무리를 주지 않는 속도로 엽니다. 요청 사이에 쉬고, 오류가 나면 몇 번 다시 시도합니다."""
    for attempt in range(3):
        time.sleep(settings.delay_seconds)
        response = session.get(url, timeout=30)
        if response.status_code == 200:
            return BeautifulSoup(response.text, "html.parser")
        log.warning("%s 응답 %s, %d/3번째 시도", url, response.status_code, attempt + 1)
    raise ScraperError(f"{url} 페이지가 3번 시도해도 열리지 않았습니다")

서비스 소개

사이트 이전이나 SEO 점검 전에 이 파서는 사이트의 페이지를 돌며 페이지마다 한 행씩 저장합니다. 주소, 응답 코드, title과 meta description 및 각각의 길이, H1, H2 개수, canonical 링크, noindex 태그, 단어 수, alt 텍스트가 없는 이미지, 내부 링크 수가 들어갑니다. 주소는 사이트의 사이트맵 파일, 카테고리 페이지 또는 고객님의 목록에서 가져옵니다. 고객님 자신의 사이트나 경쟁사의 공개 사이트에 사용하세요. 사이트 주소, 브라우저에서 저장한 페이지 몇 개, 필요한 필드를 보내 주세요. Python 코드, 설정 파일, README를 받아 고객님의 컴퓨터에서 실행하시면 됩니다. 사실을 수집할 뿐 사이트를 고치지 않으며, 검색 순위는 약속하지 않습니다. 공개된 페이지만 서버에 무리를 주지 않는 속도로 읽으며, 로그인하거나 캡차나 보호 장치를 우회하지 않습니다. 사이트 이용 약관이 이를 허용하는지는 고객님이 판단하시며, 나중에 구조가 바뀌면 업데이트가 필요합니다.

포함 사항

• 받으시는 결과물Python 코드, 설정 파일, 단계별 안내가 담긴 README가 들어 있는 ZIP 압축 파일. 코드는 주문 페이지에서도 볼 수 있습니다.
• 태그와 길이글자 수와 함께 title과 description
• 응답 코드깨진 페이지와 리디렉션된 페이지 찾기
• 누락된 alt 텍스트alt 텍스트가 없는 이미지 수 집계
• 사이트맵 또는 지정한 목록에서사이트맵 파일, 카테고리 또는 보내 주신 파일의 주소
• 적당한 속도페이지 사이 대기 시간을 설정에서 지정

진행 방식

1. 1
   사이트사이트, 주소 출처, 저장한 페이지를 보내 주세요
2. 2
   파서코드와 실행 안내서를 작성합니다
3. 3
   실행실행한 뒤 몇몇 행을 브라우저에서 확인해 보세요
4. 4
   수정패키지 범위 안에서 수정을 요청하고 오류 메시지가 있으면 보내 주세요

준비해 주실 내용

사이트 주소와 파서가 주소를 가져올 곳: 사이트맵 파일, 카테고리 페이지 또는 고객님의 목록. 대략적인 페이지 수. 필요한 필드(예: 주소, 응답 코드, title, description, H1, canonical, noindex, 단어 수, alt 없는 이미지). 브라우저에서 저장한(파일 > 다른 이름으로 페이지 저장) 서로 다른 종류의 페이지 두세 개. CSV인지 Excel인지.

다음 내용을 여쭤봅니다:

• 어떤 사이트인가요?
• 주소를 가져올 곳
• 필요한 항목
• 대략 몇 페이지인가요?

패키지 비교

질문과 답변

답을 찾지 못하셨나요? 질문하기