クローラー詳細設定

概要

本ガイドでは、Fess クローラーの高度な設定について説明します。 基本的なクローラー設定については、クローラー設定:Web、ファイルサーバー、データベースクロール を参照してください。

警告

本ページの設定は、システム全体に影響する可能性があります。 設定を変更する際は、十分にテストを行ってから本番環境に適用してください。

全般設定

設定ファイルの場所

クローラーの詳細設定は、以下のファイルで行います。

• メイン設定: /etc/fess/fess_config.properties (または app/WEB-INF/classes/fess_config.properties)

• コンテンツ長設定: app/WEB-INF/classes/crawler/contentlength.xml

• コンポーネント設定: app/WEB-INF/classes/crawler/container.xml

デフォルトスクリプト

Fess 15.9 で crawler.default.script プロパティは廃止されたため、ドキュメントブーストの各ルールは ドキュメントブースト 画面でスクリプトの種類を個別に選択します。

HTTPスレッドプール

HTTPクローラーのスレッドプール設定です。

プロパティ	説明	デフォルト
crawler.http.thread_pool.size	HTTPスレッドプールサイズ	0

# 0の場合は自動設定
crawler.http.thread_pool.size=0

ドキュメント処理設定

基本設定

プロパティ	説明	デフォルト
crawler.document.max.site.length	サイト名フィールドの最大文字数	100
crawler.document.site.encoding	ドキュメントサイトのエンコーディング	UTF-8
crawler.document.unknown.hostname	不明なホスト名の代替値	unknown
crawler.document.use.site.encoding.on.english	英語ドキュメントでサイトエンコーディングを使用	false
crawler.document.append.data	ドキュメントにデータを追加	true
crawler.document.append.filename	ファイル名をドキュメントに追加	false

設定例

crawler.document.max.site.length=100
crawler.document.site.encoding=UTF-8
crawler.document.unknown.hostname=unknown
crawler.document.use.site.encoding.on.english=false
crawler.document.append.data=true
crawler.document.append.filename=false

単語処理設定

プロパティ	説明	デフォルト
crawler.document.max.alphanum.term.size	英数字単語の最大長	20
crawler.document.max.symbol.term.size	記号単語の最大長	10
crawler.document.duplicate.term.removed	重複単語の削除	false

設定例

# 英数字の最大長を50文字に変更
crawler.document.max.alphanum.term.size=50

# 記号の最大長を20文字に変更
crawler.document.max.symbol.term.size=20

# 重複単語を削除
crawler.document.duplicate.term.removed=true

注釈

max.alphanum.term.size を大きくすると、長いID、トークン、URLなどを 完全な形でインデックスできますが、インデックスサイズが増加します。

文字処理設定

プロパティ	説明	デフォルト
crawler.document.space.chars	空白文字の定義	u0009u000A...
crawler.document.fullstop.chars	句点文字の定義	u002eu06d4...

設定例

# デフォルト値(Unicode文字を含む)
crawler.document.space.chars=u0009u000Au000Bu000Cu000Du001Cu001Du001Eu001Fu0020u00A0u1680u180Eu2000u2001u2002u2003u2004u2005u2006u2007u2008u2009u200Au200Bu200Cu202Fu205Fu3000uFEFFuFFFDu00B6

crawler.document.fullstop.chars=u002eu06d4u2e3cu3002

プロトコル設定

対応プロトコル

プロパティ	説明	デフォルト
crawler.web.protocols	Webクロールのプロトコル	http,https
crawler.file.protocols	ファイルクロールのプロトコル	file,smb,smb1,ftp
crawler.crawling.data.encoding	クロールデータのエンコーディング	UTF-8

設定例

crawler.web.protocols=http,https
crawler.file.protocols=file,smb,smb1,ftp
crawler.crawling.data.encoding=UTF-8

環境変数パラメーター

プロパティ	説明	デフォルト
crawler.data.env.param.key.pattern	環境変数パラメーターキーのパターン	^FESS_ENV_.*

# FESS_ENV_で始まる環境変数をクロール設定で使用可能
crawler.data.env.param.key.pattern=^FESS_ENV_.*

データシリアライザー

プロパティ	説明	デフォルト
crawler.data.serializer	クロールデータのシリアライズ方式	kryo

crawler.data.serializer=kryo

robots.txt 設定

プロパティ	説明	デフォルト
crawler.ignore.robots.txt	robots.txtを無視	false
crawler.ignore.robots.tags	robotsメタタグを無視	false
crawler.ignore.content.exception	コンテンツ例外を無視	true

# robots.txtを無視(推奨しません)
crawler.ignore.robots.txt=false

# robotsメタタグ(X-Robots-Tag含む)を無視
crawler.ignore.robots.tags=false

# コンテンツ例外を無視
crawler.ignore.content.exception=true

警告

crawler.ignore.robots.txt=true に設定すると、サイトの利用規約に 違反する可能性があります。外部サイトをクロールする際は注意してください。

エラー処理設定

プロパティ	説明	デフォルト
crawler.failure.url.status.codes	失敗とみなすHTTPステータスコード（カンマ区切り）	404,403,410

# デフォルト(404,403,410)に加えて500もエラーとして扱う
crawler.failure.url.status.codes=404,403,410,500

システム監視設定

プロパティ	説明	デフォルト
crawler.system.monitor.interval	システム監視間隔(秒)	60

# 30秒ごとにシステムをモニタリング
crawler.system.monitor.interval=30

ホットスレッド設定

プロパティ	説明	デフォルト
crawler.hotthread.ignore_idle_threads	アイドルスレッドを無視	true
crawler.hotthread.interval	スナップショット間隔	500ms
crawler.hotthread.snapshots	スナップショット数	10
crawler.hotthread.threads	監視スレッド数	3
crawler.hotthread.timeout	タイムアウト	30s
crawler.hotthread.type	監視タイプ	cpu

設定例

crawler.hotthread.ignore_idle_threads=true
crawler.hotthread.interval=500ms
crawler.hotthread.snapshots=10
crawler.hotthread.threads=3
crawler.hotthread.timeout=30s
crawler.hotthread.type=cpu

メタデータ設定

プロパティ	説明	デフォルト
crawler.metadata.content.excludes	除外するメタデータ	resourceName,X-Parsed-By...
crawler.metadata.name.mapping	メタデータ名のマッピング	title=title:string...

# 除外するメタデータ
crawler.metadata.content.excludes=resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,X-FESS.*

# メタデータ名のマッピング
crawler.metadata.name.mapping=\
    title=title:string\n\
    Title=title:string\n\
    dc:title=title:string

HTML クローラー設定

XPath 設定

HTML要素を抽出するためのXPath設定です。

プロパティ	説明	デフォルト
crawler.document.html.content.xpath	コンテンツのXPath	//BODY
crawler.document.html.lang.xpath	言語のXPath	//HTML/@lang
crawler.document.html.digest.xpath	ダイジェストのXPath	//META[@name='description']/@content
crawler.document.html.canonical.xpath	カノニカルURLのXPath	//LINK[@rel='canonical'][1]/@href

設定例

# デフォルト設定
crawler.document.html.content.xpath=//BODY
crawler.document.html.lang.xpath=//HTML/@lang
crawler.document.html.digest.xpath=//META[@name='description']/@content
crawler.document.html.canonical.xpath=//LINK[@rel='canonical'][1]/@href

カスタム XPath の例

# 特定のdiv要素のみをコンテンツとして抽出
crawler.document.html.content.xpath=//DIV[@id='main-content']

# meta keywordsもダイジェストに含める
crawler.document.html.digest.xpath=//META[@name='description']/@content|//META[@name='keywords']/@content

これらはシステム全体の設定で、すべてのウェブクロール設定に適用されます。

注釈

変更は、次にクロールされて索引に登録されるドキュメントから反映されます。 システム設定の「最終更新日時の確認」（差分クロール）が有効な場合、前回のクロールから更新されていない （ Last-Modified が索引の最終更新日時より新しくない）ドキュメントは再クロールでも取得し直されないため、 以前の XPath で抽出した内容のまま残ります。すでにクロール済みのドキュメントに反映するには、 対象のドキュメントを索引から削除してからクロールし直すなど、索引を作り直してください。

クロール設定ごとに XPath を変えるには、ウェブクロール設定の「設定パラメーター」に次のように指定します。 指定したクロール設定では、 crawler.document.html.*.xpath の値より優先されます。 言語とダイジェストも、それぞれ field.xpath.default.lang 、 field.xpath.default.digest で指定できます。

field.xpath.default.content=//DIV[@id='main-content']

HTML タグ処理

プロパティ	説明	デフォルト
crawler.document.html.pruned.tags	削除するHTMLタグ	noscript,script,style,header,footer,aside,nav,a[rel=nofollow]
crawler.document.html.max.digest.length	ダイジェストの最大長	120
crawler.document.html.default.lang	デフォルト言語	(空)

設定例

# 削除するタグを追加
crawler.document.html.pruned.tags=noscript,script,style,header,footer,aside,nav,a[rel=nofollow],form

# ダイジェストの長さを200文字に
crawler.document.html.max.digest.length=200

# デフォルト言語を日本語に
crawler.document.html.default.lang=ja

URLパターンフィルター

プロパティ	説明	デフォルト
crawler.document.html.default.include.index.patterns	インデックスに含めるURLパターン	(空)
crawler.document.html.default.exclude.index.patterns	インデックスから除外するURLパターン	(?i).*(css|js|jpeg...)
crawler.document.html.default.include.search.patterns	検索結果に含めるURLパターン	(空)
crawler.document.html.default.exclude.search.patterns	検索結果から除外するURLパターン	(空)

設定例

# デフォルトの除外パターン
crawler.document.html.default.exclude.index.patterns=(?i).*(css|js|jpeg|jpg|gif|png|bmp|wmv|xml|ico|exe)

# 特定のパスのみインデックス
crawler.document.html.default.include.index.patterns=https://example\\.com/docs/.*

ファイルクローラー設定

基本設定

プロパティ	説明	デフォルト
crawler.document.file.name.encoding	ファイル名のエンコーディング	(空)
crawler.document.file.no.title.label	タイトルなしファイルのラベル	No title.
crawler.document.file.ignore.empty.content	空のコンテンツを無視	false
crawler.document.file.max.title.length	タイトルの最大長	100
crawler.document.file.max.digest.length	ダイジェストの最大長	200

設定例

# Windows-31Jのファイル名を処理
crawler.document.file.name.encoding=Windows-31J

# タイトルなしファイルのラベル
crawler.document.file.no.title.label=タイトルなし

# 空のファイルを無視
crawler.document.file.ignore.empty.content=true

# タイトルとダイジェストの長さ
crawler.document.file.max.title.length=200
crawler.document.file.max.digest.length=500

コンテンツ処理

プロパティ	説明	デフォルト
crawler.document.file.append.meta.content	メタデータをコンテンツに追加	true
crawler.document.file.append.body.content	本文をコンテンツに追加	true
crawler.document.file.default.lang	デフォルト言語	(空)

設定例

crawler.document.file.append.meta.content=true
crawler.document.file.append.body.content=true
crawler.document.file.default.lang=ja

ファイルURLパターンフィルター

プロパティ	説明	デフォルト
crawler.document.file.default.include.index.patterns	インデックスに含めるパターン	(空)
crawler.document.file.default.exclude.index.patterns	インデックスから除外するパターン	(空)
crawler.document.file.default.include.search.patterns	検索結果に含めるパターン	(空)
crawler.document.file.default.exclude.search.patterns	検索結果から除外するパターン	(空)

設定例

# 特定の拡張子のみインデックス
crawler.document.file.default.include.index.patterns=.*\\.(pdf|docx|xlsx|pptx)$

# tempフォルダーを除外
crawler.document.file.default.exclude.index.patterns=.*/temp/.*

MIMEタイプ検出オーバーライド

Fess はデフォルトで Apache Tika を使用してコンテンツベースのMIMEタイプ検出を行います。 しかし、一部のケースでコンテンツベースの検出が誤った結果を返すことがあります。 たとえば、REM コメントで始まるOracle SQLファイルは、REM キーワードが バッチファイルのマジックパターンに一致するため、application/x-bat として 誤検出される場合があります。

crawler.document.mimetype.extension.overrides プロパティを使用すると、 ファイル拡張子に基づいてMIMEタイプ検出をオーバーライドし、 特定のファイルタイプに対するコンテンツベース検出をバイパスできます。

プロパティ	説明	デフォルト
crawler.document.mimetype.extension.overrides	拡張子からMIMEタイプへのオーバーライドマッピング（1行に1つ、形式: .ext=mime/type）	(空)

設定例

# SQLファイルのMIMEタイプ検出をオーバーライド
crawler.document.mimetype.extension.overrides=\
.sql=text/x-sql\n\
.plsql=text/x-plsql\n\
.pls=text/x-plsql

各行は .拡張子=MIMEタイプ の形式で記述します。 複数のマッピングは \n（改行）で区切ります。 拡張子のマッチングは大文字小文字を区別しません（.SQL と .sql は同じ扱い）。

注釈

ファイル拡張子がこのマップのエントリに一致する場合、設定されたMIMEタイプが コンテンツベース検出を行わずに即座に返されます。 マップにない拡張子のファイルは、通常のTika検出が使用されます。

キャッシュ設定

ドキュメントキャッシュ

プロパティ	説明	デフォルト
crawler.document.cache.enabled	ドキュメントキャッシュを有効化	true
crawler.document.cache.max.size	キャッシュの最大サイズ(バイト)	2621440 (2.5MB)
crawler.document.cache.supported.mimetypes	キャッシュ対象のMIMEタイプ	text/html
crawler.document.cache.html.mimetypes	HTMLとして扱うMIMEタイプ	text/html

設定例

# ドキュメントキャッシュを有効化
crawler.document.cache.enabled=true

# キャッシュサイズを5MBに
crawler.document.cache.max.size=5242880

# キャッシュ対象のMIMEタイプ
crawler.document.cache.supported.mimetypes=text/html,application/xhtml+xml

# HTMLとして扱うMIMEタイプ
crawler.document.cache.html.mimetypes=text/html,application/xhtml+xml

注釈

キャッシュを有効にすると、検索結果にキャッシュリンクが表示され、 ユーザーはクロール時点のコンテンツを参照できます。

JVM オプション

クローラープロセスのJVMオプションを設定できます。

プロパティ	説明	デフォルト
jvm.crawler.options	クローラーのJVMオプション	-Xms128m 、 -Xmx512m など

デフォルト設定

jvm.crawler.options=\
-Djava.awt.headless=true\n\
...
-Xms128m\n\
-Xmx512m\n\
-XX:MaxMetaspaceSize=128m\n\
...
-XX:-HeapDumpOnOutOfMemoryError\n\
...
-XX:+UseG1GC\n\
...
-XX:MaxGCPauseMillis=60000\n\
...

注釈

上記は主要なオプションの抜粋です。実際のデフォルト値には、jcifs SMBタイムアウト、Netty設定、Log4j設定、G1GC詳細設定、PDFBox設定など、約40のオプションが含まれています。 完全なデフォルト値は fess_config.properties を参照してください。 カスタマイズ時は必要なオプションのみを変更し、他のデフォルト値は維持してください。

注釈

値は、1 行に 1 つのオプションを書き、各行の末尾を \n\ にします。 \n が区切りで、行末の \ は次の行へ続けるための記号です。 ... は省略した行を表します。 Fess は値を \n で分割し、1 つの要素を 1 つの JVM 引数として渡します。 -Xms128m -Xmx512m のようにスペースで区切ると全体が 1 つの引数になり、JVM が起動しないため、クロールが実行されません。 この値を設定すると既定のオプションがすべて置き換わります。 fess_config.properties の既定値を残したまま、変更する行だけを書き換えてください。

主要なオプションの説明

オプション	説明
-Xms128m	初期ヒープサイズ(128MB)
-Xmx512m	最大ヒープサイズ(512MB)
-XX:MaxMetaspaceSize=128m	Metaspaceの最大サイズ(128MB)
-XX:+UseG1GC	G1ガベージコレクターを使用
-XX:MaxGCPauseMillis=60000	GC停止時間の目標値(60秒)
-XX:-HeapDumpOnOutOfMemoryError	OutOfMemory時のヒープダンプを無効化

カスタム設定例

次の例は、既定値のうち書き換える行だけを示します。ほかの行は既定値のまま残してください。

大きなファイルをクロールする場合:

-Xms256m\n\
-Xmx2g\n\
-XX:MaxMetaspaceSize=256m\n\

デバッグ時:

-XX:+HeapDumpOnOutOfMemoryError\n\
-XX:HeapDumpPath=/tmp/crawler_dump.hprof\n\

既定の -XX:-HeapDumpOnOutOfMemoryError の行を、この 2 行に置き換えます。

詳細は メモリ設定 を参照してください。

パフォーマンスチューニング

クロール速度の最適化

1. スレッド数の調整

並列クロール数を増やすことで、クロール速度を向上できます。

# 管理画面のクロール設定でスレッド数を調整
スレッド数: 10

ただし、対象サーバーへの負荷に注意してください。

2. タイムアウトの調整

応答が遅いサイトの場合、タイムアウトを調整します。

# クロール設定の「設定パラメーター」に追加
client.connectionTimeout=10000
client.soTimeout=30000

3. 不要なコンテンツの除外

画像、CSS、JavaScriptファイルなどを除外することで、クロール速度が向上します。

# 除外URLパターン
.*\.(jpg|jpeg|png|gif|css|js|ico)$

4. リトライ設定

HTTPクロールのリトライ回数(デフォルト5回)とリトライ間隔(デフォルト500ミリ秒)は 組み込みの固定値であり、クロール設定の「設定パラメーター」では変更できません。 応答しないURLでの待ち時間を短縮したい場合は、上記のタイムアウト調整や不要なURLの 除外を行ってください。

メモリ使用量の最適化

1. ヒープサイズの調整

既定値の -Xms128m と -Xmx512m の行を、次のように書き換えます。

-Xms256m\n\
-Xmx1g\n\

2. キャッシュサイズの調整

crawler.document.cache.max.size=1048576  # 1MB

3. 大きなファイルの除外

# クロール設定の「設定パラメーター」に追加
client.maxContentLength=10485760  # 10MB

詳細は メモリ設定 を参照してください。

インデックス品質の向上

1. XPathの最適化

不要な要素(ナビゲーション、広告など)を除外します。

crawler.document.html.content.xpath=//DIV[@id='main-content']
crawler.document.html.pruned.tags=noscript,script,style,header,footer,aside,nav,form,iframe

2. ダイジェストの最適化

crawler.document.html.max.digest.length=200

3. メタデータマッピング

crawler.metadata.name.mapping=\
    title=title:string\n\
    description=digest:string\n\
    keywords=label:string

トラブルシューティング

メモリ不足

症状:

• OutOfMemoryError が fess_crawler.log に記録される

• クロールが途中で停止する

対策:

1. クローラーのヒープサイズを増やす（ jvm.crawler.options の既定値のうち -Xms と -Xmx の行を書き換えます）

   -Xms256m\n\
   -Xmx2g\n\
   

2. 並列スレッド数を減らす

3. 大きなファイルを除外する

詳細は メモリ設定 を参照してください。

クロールが遅い

症状:

• クロールに時間がかかりすぎる

• タイムアウトが頻発する

対策:

1. スレッド数を増やす(対象サーバーの負荷に注意)

2. タイムアウトを調整する

   client.connectionTimeout=5000
   client.soTimeout=10000
   

3. 不要なURLを除外する

特定のコンテンツが抽出できない

症状:

• ページのテキストが正しく抽出されない

• 重要な情報が検索結果に含まれない

対策:

1. XPathを確認・調整する

   crawler.document.html.content.xpath=//DIV[@class='content']
   

2. 削除タグを確認する

   crawler.document.html.pruned.tags=script,style
   

3. JavaScriptで動的に生成されるコンテンツの場合、別の方法(APIクロールなど)を検討

文字化けが発生する

症状:

• 検索結果で文字化けが発生する

• 特定の言語が正しく表示されない

対策:

1. エンコーディング設定を確認

   crawler.document.site.encoding=UTF-8
   crawler.crawling.data.encoding=UTF-8
   

2. ファイル名のエンコーディングを設定

   crawler.document.file.name.encoding=Windows-31J
   

3. ログでエンコーディングエラーを確認

   grep -i "encoding" /var/log/fess/fess_crawler.log
   

ベストプラクティス

1. テスト環境で検証

   本番環境に適用する前に、テスト環境で十分に検証してください。

2. 段階的な調整

   設定を一度に大きく変更せず、段階的に調整して効果を確認してください。

3. ログの監視

   設定変更後は、ログを監視してエラーやパフォーマンスの問題がないか確認してください。

   tail -f /var/log/fess/fess_crawler.log
   

4. バックアップ

   設定ファイルを変更する前に、必ずバックアップを取ってください。

   cp /etc/fess/fess_config.properties /etc/fess/fess_config.properties.bak
   

5. ドキュメント化

   変更した設定とその理由をドキュメント化してください。

S3/GCSクローラー設定

S3クローラー

注釈

Amazon S3 と S3 互換ストレージへの対応は fess-storage-s3 プラグインから提供されます。 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または bin/fess-setup install plugin fess-storage-s3 で導入してください。

S3およびS3互換ストレージ（MinIO等）をクロールするための設定です。 ファイルクロール設定の「設定パラメーター」に以下を記述します。

パラメーター	説明	デフォルト
client.endpoint	S3エンドポイントURL	(必須)
client.accessKey	アクセスキー	(必須)
client.secretKey	シークレットキー	(必須)
client.region	AWSリージョン	us-east-1
client.maxContentLength	取得するオブジェクトの最大サイズ(バイト)。超過したオブジェクトはスキップ	(無制限)
client.maxCachedContentSize	メモリにキャッシュする最大サイズ(バイト)。超過分は一時ファイルを使用	1048576 (1MB)
client.accessTimeout	アクセスタイムアウト(秒)。未設定の場合は無効	(無制限)

設定例

client.endpoint=https://s3.ap-northeast-1.amazonaws.com
client.accessKey=AKIAIOSFODNN7EXAMPLE
client.secretKey=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
client.region=ap-northeast-1

GCSクローラー

注釈

Google Cloud Storage への対応は fess-storage-gcs プラグインから提供されます。配布物には 同梱されていないため、管理画面の「システム > プラグイン」ページ、または bin/fess-setup install plugin fess-storage-gcs で導入してください。

Google Cloud Storageをクロールするための設定です。 ファイルクロール設定の「設定パラメーター」に以下を記述します。

パラメーター	説明	デフォルト
client.projectId	Google CloudプロジェクトID	(必須)
client.credentialsFile	サービスアカウントJSONファイルパス	(オプション)
client.endpoint	カスタムエンドポイント	(オプション)
client.maxContentLength	取得するオブジェクトの最大サイズ(バイト)。超過したオブジェクトはスキップ	(無制限)
client.maxCachedContentSize	メモリにキャッシュする最大サイズ(バイト)。超過分は一時ファイルを使用	1048576 (1MB)
client.accessTimeout	アクセスタイムアウト(秒)。未設定の場合は無効	(無制限)

設定例

client.projectId=my-gcp-project
client.credentialsFile=/etc/fess/gcs-credentials.json

注釈

credentialsFile を省略した場合、環境変数 GOOGLE_APPLICATION_CREDENTIALS が使用されます。

動的コンテンツのクロール (Playwright)

JavaScript で描画されるページ (SPA など) は、通常の HTTP クローラーでは 描画前の HTML しか取得できないため、本文がインデックスされません。 Playwright クローラーを使用すると、ヘッドレスブラウザーでページを描画してから コンテンツを取得できます。

有効化

ウェブクロール設定の「設定パラメーター」に以下を記述します。

client.crawlerClients=playwright:http://.*,playwright:https://.*

playwright: に続く部分は、Playwright で取得する URL の正規表現です。 上記の例では、すべての HTTP/HTTPS の URL が Playwright で取得されます。 特定のサイトだけを Playwright で取得する場合は、次のように指定します。

client.crawlerClients=playwright:https://example\.com/app/.*

注釈

Playwright のブラウザー本体は Fess のパッケージには含まれていません。 初回のクロール時にダウンロードされるため、外部ネットワークに接続できない 環境では、クローラーを実行する OS ユーザーであらかじめインストールして おいてください。

npx playwright install --with-deps

注釈

15.9 から、Playwright が使用する Node.js の実行ファイルも Fess のパッケージに 含まれなくなりました。次のコマンドで導入してください。 bin/fess.in.sh が 導入先を検出し、クローラーのプロセスに PLAYWRIGHT_NODEJS_PATH を渡します。

$ bin/fess-setup install nodejs

別の場所にある Node.js を使う場合は、 bin/fess.in.sh で PLAYWRIGHT_NODEJS_PATH に実行ファイルのフルパスを設定してください。 Playwright は PATH を参照しません。

設定パラメーター

以下のパラメーターは、クロール設定の「設定パラメーター」に client. を 付けて記述します。

パラメーター	説明	デフォルト
client.renderedState	コンテンツを取得する前に待機する読み込み状態。LOAD 、DOMCONTENTLOADED 、NETWORKIDLE のいずれかを大文字で指定	NETWORKIDLE
client.renderedStateTimeout	renderedState を待機する上限 (ミリ秒)。0 以下の場合は Playwright の既定値 (30000)	0
client.navigationTimeout	ページ遷移の上限 (ミリ秒)。0 以下の場合は Playwright の既定値 (30000)	(未設定)
client.contentWaitDuration	renderedState に到達してからコンテンツを取得するまでの追加の待機時間 (ミリ秒)	0
client.sharedClient	Playwright のワーカー (ブラウザー) を全クライアントで共有する	false
client.blockedResourceTypes	ブラウザーが取得しないリソース種別 (カンマ区切り)	(空)
client.ignoreHttpsErrors	HTTPS 証明書の検証エラーを無視する	false
client.proxyBypass	プロキシを経由しないホスト (カンマ区切り)	(空)

設定例

client.crawlerClients=playwright:http://.*,playwright:https://.*
client.renderedState=NETWORKIDLE
client.renderedStateTimeout=20000
client.navigationTimeout=60000
client.contentWaitDuration=1000
client.blockedResourceTypes=image,media,font,ping,beacon,cspreport

注釈

ユーザーエージェントとリクエストヘッダーは、クロール設定の 「ユーザーエージェント」およびリクエストヘッダーの設定がそのまま使用されます。 client.proxyHost 、client.proxyPort 、client.maxContentLength などの 共通のパラメーターもブラウザーに適用されます。

注釈

1 つの Playwright クライアントは 1 つのブラウザーページを使用し、 リクエストは直列に処理されます。クロール設定のスレッド数を増やしても、 Playwright での取得はその分速くはなりません。

DI 定義でのみ設定できる項目

以下の項目は「設定パラメーター」では変更できません。変更する場合は app/WEB-INF/classes/crawler/client+playwrightClient.xml を作成し、 playwrightClient コンポーネントを再定義します。

プロパティ	説明	デフォルト
browserName	使用するブラウザー。chromium 、firefox 、webkit	chromium
launchOptions	ブラウザーの起動オプション (BrowserType.LaunchOptions)	headless=true
newContextOptions	ブラウザーコンテキストのオプション (Browser.NewContextOptions)	(なし)
downloadTimeout	ファイルのダウンロードを待機する上限 (秒)	15
closeTimeout	ブラウザーの終了処理を待機する上限 (秒)	15

設定例

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE components PUBLIC "-//DBFLUTE//DTD LastaDi 1.0//EN"
    "http://dbflute.org/meta/lastadi10.dtd">
<components namespace="fessCrawler">
    <include path="crawler/container.xml" />
    <component name="playwrightClient"
        class="org.codelibs.fess.crawler.client.http.PlaywrightClient"
        instance="prototype">
        <property name="downloadTimeout">60</property>
        <property name="closeTimeout">30</property>
        <property name="launchOptions">
            <component
                class="com.microsoft.playwright.BrowserType$LaunchOptions"
                instance="prototype">
                <property name="headless">true</property>
            </component>
        </property>
    </component>
</components>

注釈

playwrightClient を再定義すると、プラグインが持つ crawler/client++.xml のコンポーネント定義は完全に置き換わります。 記述しなかったプロパティは既定値に戻るため、上記の例のように必要な プロパティをすべて記述してください。なお crawler/client++.xml を そのままコピーして配置すると、同じコンポーネントが二重に登録されて 起動に失敗します。

警告

downloadTimeout と closeTimeout の単位は秒です。 navigationTimeout 、renderedStateTimeout 、contentWaitDuration は ミリ秒であるため、混同しないよう注意してください。

不要なリソースのブロック

client.blockedResourceTypes には、ブラウザーが取得しないリソース種別を カンマ区切りで指定します。指定できるのは Playwright のリソース種別 (stylesheet 、image 、media 、font 、script 、 texttrack 、xhr 、fetch 、eventsource 、websocket 、 manifest 、other 、ping 、cspreport 、beacon) です。 既定では何もブロックしません。

image 、media 、font 、ping 、beacon 、cspreport は 安全に指定できる組です。後の 3 つはビーコン系のトラッカー通信であり、 ページ側が読み返すことはありません。

client.blockedResourceTypes=image,media,font,ping,beacon,cspreport

クロールが読み取らない種別だけを指定してください。ページの表示に必要な リソースの取得を減らすことで、クロールの所要時間と転送量を削減できます。

警告

document は指定しないでください。ページ本体の取得がブロックされて クロールが成立しないため、警告を出して無視されます。

注釈

一覧にない種別を指定した場合も警告が出ます。images のような複数形の 打ち間違いは、どのリクエストにも一致しないため何もブロックしません。 また、上記の一覧は 3 つのブラウザーエンジンが報告する種別の和集合であるため、 使用するブラウザーによっては報告されない種別があります。texttrack は Chromium のみが報告し、WebKit は media と manifest を報告しません。 報告されない種別を指定しても、単に何もブロックしないだけです。

注釈

script や xhr をブロックすると JavaScript による描画が行われなくなり、 Playwright を使用する意味がなくなります。サーバーサイドレンダリングのみを 対象とするクロールでは有効ですが、通常は上記の安全に指定できる種別の中から 選んでください。

15.9 での変更点

15.7 以前からアップグレードする場合、Playwright クローラーの動作が 以下のように変わっています。

• ユーザーエージェント: クロール設定の「ユーザーエージェント」が 実際にブラウザーから送信されるようになりました。15.7 以前はブラウザー既定の HeadlessChrome/... が送信されていました。ユーザーエージェントによって 応答を出し分けているサイトでは、取得内容が変わる場合があります。

• リクエストヘッダー: クロール設定のリクエストヘッダーがブラウザーに 反映されるようになりました。同じ名前のヘッダーが複数ある場合は、 カンマ区切りの 1 つの値にまとめられます。

• リダイレクト経由のダウンロード: 記録される URL がリダイレクト先 (実際にファイルを返した URL) になりました。リダイレクト先がクロール対象外の URL の場合は、対象外として除外されます。

• ``renderedState`` の待機: 待機がタイムアウトしても失敗とはみなされず、 その時点で読み込めていた内容がそのまま使用されるようになりました。 NETWORKIDLE に到達しないページもインデックスできます。

• タイムアウトの指定: ページ全体の読み込み時間を制限する client.navigationTimeout と client.renderedStateTimeout が 追加されました。client.connectionTimeout と client.soTimeout は ソケット単位のタイムアウトであり、ブラウザーには適用されません。

参考情報

• クローラー設定:Web、ファイルサーバー、データベースクロール - クローラー基本設定

• サムネイル画像の設定 - サムネイル設定

• メモリ設定 - メモリ設定

• ログ設定 - ログ設定

• 検索関連の設定 - 高度な検索設定