ファイルクロール（ファイルサーバー検索）

概要

ファイルクロールは、社内のファイルサーバーや Windows 共有フォルダー、クラウドストレージ上のドキュメントを Fess のインデックスに登録し、全文検索（ファイルサーバー検索）できるようにする機能です。Word・Excel・PowerPoint・PDF など多数のファイル形式に対応しています。

ファイルクロールの設定ページでは、ファイルシステム上や共有されているネットワーク上のフォルダーのファイルをクロールする設定を管理することができます。クロール対象は「パス」で指定するプロトコルによって決まります。

  • file:/ … ローカルまたはマウント済みのファイルシステム

  • smb:// … Windows ファイルサーバー／共有フォルダー（SMB/CIFS）

  • smb1:// … 旧来の SMB1 プロトコルを使用する Windows ファイルサーバー／共有フォルダー

  • ftp:// … FTP サーバー

  • s3:// … Amazon S3 バケット（ fess-storage-s3 プラグインが必要）

  • gcs:// … Google Cloud Storage バケット（ fess-storage-gcs プラグインが必要）

管理方法

表示方法

下図のファイルクロール設定を行うための一覧ページを開くには、左メニューの [クローラー > ファイルシステム] をクリックします。

image0

編集するには設定名をクリックします。

設定の作成

ファイルクロールの設定ページを開くには新規作成ボタンをクリックします。

image1

設定項目

名前

設定の名前です。

パス

このパスでは、クロールを開始する場所を指定します（例: file:/, smb://, s3://, gcs://）。

クロール対象とするパス

この項目で指定した正規表現(Javaフォーマット)にマッチするパスは Fess クローラーの対象となります。

クロール対象から除外するパス

この項目で指定した正規表現(Javaフォーマット)にマッチするパスは Fess クローラーの対象となりません。

検索対象とするパス

この項目で指定した正規表現(Javaフォーマット)にマッチするパスは検索の対象となります。

検索対象から除外するパス

この項目で指定した正規表現(Javaフォーマット)にマッチするパスは検索の対象となりません。

設定パラメーター

クロール設定情報を指定することができます。

file: で始まるパス（ローカルまたはマウント済みのファイルシステム）のクロールでは、シンボリックリンクをたどるかどうかを client.followSymlink で指定できます。デフォルトは true （たどる）です。 false を指定すると、シンボリックリンクは対象から外れ、リンク先のファイルはリンク経由ではクロールされません（スキップしたリンクは fess-crawler.log に INFO レベルで記録されます）。リンクをたどると、リンク先のファイルがリンクを含む設定のパーミッションでもう一度登録されるため、リンク先よりも多くのユーザーが読める共有をクロールする場合は false を検討してください。

client.followSymlink=false

深さ

クロールするファイルシステム構造の深さを指定します。

最大アクセス数

インデックスするパスの数を指定します。

スレッド数

この設定のために使用するスレッドの数を指定します。

間隔

スレッドがパスをクロールするごとに待機する時間を指定します。

ブースト値

ブースト値とは、この設定によってインデックスされたドキュメントの優先度です。

パーミッション

この設定のパーミッションを指定します。 パーミッションの指定方法は、たとえば、developerグループに属するユーザーに検索結果を表示させるためには{group}developerと指定します。 ユーザー単位の指定は{user}ユーザー名、ロール単位の指定は{role}ロール名、グループ単位の指定は{group}グループ名で指定します。

仮想ホスト

仮想ホストのホスト名を指定します。 詳しくは 設定ガイドの仮想ホスト を参照してください。

状態

この設定が有効であるとき、デフォルトクローラーのジョブはこの設定を含んでクロールを行います。

説明

説明を入力できます。

設定の削除

一覧ページの設定名をクリックし、削除ボタンをクリックすると確認画面が表示されます。削除ボタンを押すと設定が削除されます。

例

ローカルファイルをクロール

/home/share 下のファイルをクロールするならば、設定は以下のようになります。

名前 値
名前 Share ディレクトリ
パス file:/home/share

他のパラメーターはデフォルトの設定で構いません。

Windowsの共有フォルダーをクロール

\SERVERSharedFolder 下のファイルをクロールするならば、設定は以下のようになります。

名前 値
名前 共有フォルダー
パス smb://SERVER/SharedFolder/

共有フォルダーのアクセスに ユーザー名/パスワード が必要ならば、左メニューの [クローラー > ファイル認証] からファイル認証の設定を作成する必要があります。 その際の設定は以下のようになります。

名前 値
ホスト名 SERVER
スキーム SAMBA
ユーザー名 (入力してください)
パスワード (入力してください)

Amazon S3バケットをクロール

my-bucket バケット下のファイルをクロールするならば、設定は以下のようになります。

名前 値
名前 S3 バケット
パス s3://my-bucket/

S3へのアクセスには認証情報が必要です。「設定パラメーター」に以下を設定します。

client.endpoint=https://s3.ap-northeast-1.amazonaws.com
client.accessKey=YOUR_ACCESS_KEY
client.secretKey=YOUR_SECRET_KEY
client.region=ap-northeast-1

注釈

Amazon S3 と S3 互換ストレージへの対応は fess-storage-s3 プラグインから提供されます。 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または bin/fess-setup install plugin fess-storage-s3 で導入してください。

Google Cloud Storageバケットをクロール

my-gcs-bucket バケット下のファイルをクロールするならば、設定は以下のようになります。

名前 値
名前 GCS バケット
パス gcs://my-gcs-bucket/

GCSへのアクセスには認証情報が必要です。「設定パラメーター」に以下を設定します。

client.projectId=your-project-id
client.credentialsFile=/path/to/service-account.json

注釈

Google Cloud Storage への対応は fess-storage-gcs プラグインから提供されます。配布物には 同梱されていないため、管理画面の「システム > プラグイン」ページ、または bin/fess-setup install plugin fess-storage-gcs で導入してください。

関連ページ