ウェブを対象としたクロールに関する設定

ここでは、ウェブを対象としたクロールに関する設定について説明します。

管理者アカウントでログイン後、メニューのウェブをクリックします。

ウェブクロールの設定

一覧ページで表示される名前です。

URL は複数指定できます。 http: または https: で始まるように指定します。たとえば、

のように指定します。

正規表現で指定することによって、特定の URL パターンをクロールの対象にしたり、除外できます。

たとえば、http://localhost/ 以下しかクロールしない場合は、対象とする URL に

また、拡張子が png のものを対象から除外したい場合は、除外する URL に

と、指定します。複数指定することが可能です。

クロールしたドキュメント内に含まれるリンクを順に辿っていきますがその辿る深さを指定できます。

クロールして取得するドキュメント数を指定できます。

クロール時に利用するユーザーエージェントを指定できます。

クロールするスレッド数を指定します。 5 を指定した場合、5 個のスレッドで同時にウェブサイトをクロールします。

ドキュメントをクロールする間隔 (ミリ秒) です。 5000 とした場合は 1 つのスレッドが 5 秒間隔でドキュメントを取得しにいきます。

スレッド数を 5 個、間隔を 1000 ミリ秒とした場合、1 秒間で 5 ドキュメントを取得しにいくことになります。ウェブサイトをクロールするときにはウェブサーバー側の負荷にもなるので、負荷をかけない十分な値を設定してください。

選択されたブラウザタイプのデータとして、クロールしたドキュメントを登録します。 PC しか選択されていない場合は、モバイル端末で検索しても結果に表示されません。特定のモバイル端末だけで表示したい場合にも利用できます。

有効にすることで、設定されているクロール時刻にクロールされます。一時的にクロールしないようにしたい場合に利用できます。