概述
本节介绍有关重复主机的配置。 重复主机用于在爬取时将不同的主机名视为相同主机。 例如，在希望将 www.example.com 和 example.com 视为同一站点的情况下可以使用。
管理方法
显示方法
要打开下图所示的重复主机设置列表页面，请点击左侧菜单中的 [爬虫 > 重复主机]。
点击设置名称可进行编辑。
创建设置
要打开重复主机设置页面，请点击新建按钮。
配置项
常规名称
指定常规主机名。重复主机名将替换为常规主机名。
重复名称
指定重复的主机名。指定要替换的主机名。
Note
主机名与重复名称匹配的 URL，无论是写在爬取设置“URL”（起始 URL）中的，还是爬取过程中发现的链接 URL，都会在爬取之前被替换为常规名称的 URL。 因此，爬取设置中的“要包含在爬网中的URL”和“要从爬网中排除的URL”是针对替换之后的 URL 进行判断的。请使用常规名称的主机名来书写。
例如，常规名称为 example.com ，重复名称为 www.example.com 时，如果在“要包含在爬网中的URL”中只写 https://www.example.com/.* ，替换后的起始 URL（ https://example.com/ ）就会被排除在外。 这种情况下不会输出任何错误或日志，也不会有任何文档被登记到索引中。
删除设置
点击列表页面的设置名称，然后点击删除按钮，将显示确认画面。 点击删除按钮将删除该设置。