メニュー

ファイルシステムを対象としたクロールに関する設定

Date:

2009-09-05

ファイルシステムを対象としたクロールに関する設定

ここでは、ファイルシステムを対象としたクロールに関する設定について説明します。

設定方法

管理者アカウントでログイン後、メニューのファイルシステムをクリックします。

ファイルシステムクロールの設定

設定名

一覧ページで表示される名前です。

パスの指定

パスは複数指定できます。 file: で始まるように指定します。 たとえば、

file:/home/taro/
file:/home/documents/

のように指定します。 指定されたディレクトリ以下を巡回します。

Windows 環境の場合は URI で記述する必要があるので、c:\Documents\taro というパスであれば file:/c:/Documents/taro と指定します。

パスのフィルタリング

正規表現で指定することによって、特定のパスパターンをクロールの対象にしたり、除外できます。

たとえば、/home/ 以下しかクロールしない場合は、対象とする URL に

file:/home/.*

また、拡張子が png のものを対象から除外したい場合は、除外する URL に

.*\.png$

と、指定します。 複数指定することが可能です。

深さ

ディレクトリ階層の深さを指定します。

最大アクセス数

クロールして取得するドキュメント数を指定できます。

スレッド数

クロールするスレッド数を指定します。 5 を指定した場合、5 個のスレッドで同時にウェブサイトをクロールします。

間隔

ドキュメントをクロールする間隔です。 5000 とした場合は 1 つのスレッドが 5 秒間隔でドキュメントを取得しにいきます。

スレッド数を 5 個、間隔を 1000 ミリ秒とした場合、1 秒間で 5 ドキュメントを取得しにいくことになります。

ブラウザタイプ

選択されたブラウザタイプのデータとして、クロールしたドキュメントを登録します。 PC しか選択されていない場合は、モバイル端末で検索しても結果に表示されません。 特定のモバイル端末だけで表示したい場合にも利用できます。

状態

有効にすることで、設定されているクロール時刻にクロールされます。 一時的にクロールしないようにしたい場合に利用できます。