중복 호스트

개요

여기서는 중복 호스트에 관한 설정에 대해 설명합니다. 중복 호스트는 크롤링 시 다른 호스트 이름을 동일한 것으로 처리하고 싶을 때 사용합니다. 예를 들어, www.example.com과 example.com을 같은 사이트로 처리하고 싶은 경우 등에 사용할 수 있습니다.

관리 방법

표시 방법

아래 그림의 중복 호스트 설정 목록 페이지를 열려면 왼쪽 메뉴의 [크롤러 > 중복 호스트]를 클릭합니다.

편집하려면 설정 이름을 클릭합니다.

설정 생성

중복 호스트 설정 페이지를 열려면 신규 생성 버튼을 클릭합니다.

설정 항목

정규 이름

정규 호스트 이름을 지정합니다. 중복 호스트 이름은 정규 호스트 이름으로 대체됩니다.

중복 이름

중복되는 호스트 이름을 지정합니다. 대체하려는 호스트 이름을 지정합니다.

참고

중복 이름과 일치하는 호스트 이름의 URL은 크롤링 설정의 “URL”(시작 URL)에 작성한 것도, 크롤링 중에 발견된 링크의 URL도 크롤링 전에 정규 이름의 URL로 대체됩니다. 따라서 크롤링 설정의 “크롤링할 URL”과 “크롤링에서 제외할 URL”은 대체된 후의 URL에 대해 평가됩니다. 이 항목들은 정규 이름의 호스트 이름으로 작성하십시오.

예를 들어 정규 이름이 example.com 이고 중복 이름이 www.example.com 일 때, “크롤링할 URL”에 https://www.example.com/.* 만 작성하면 대체 후의 시작 URL(https://example.com/)이 대상에서 제외됩니다. 이 경우 오류도 로그도 출력되지 않은 채 문서가 하나도 인덱스에 등록되지 않습니다.

설정 삭제

목록 페이지의 설정 이름을 클릭하고 삭제 버튼을 클릭하면 확인 화면이 표시됩니다. 삭제 버튼을 누르면 설정이 삭제됩니다.