第8回 検索品質を育てる -- ユーザー行動データに基づく検索チューニングサイクル

はじめに

検索システムを導入して終わりではありません。 利用者が実際に検索を使い始めると、「期待した結果が出ない」「関係ない結果が上位に来る」といった声が出てくることがあります。

本記事では、検索ログを分析して課題を発見し、改善策を実施し、効果を測定するという検索品質のチューニングサイクルを紹介します。 一度で完璧な検索品質を実現するのではなく、データに基づいて継続的に改善していくアプローチです。

対象読者

  • 検索システムの運用担当者

  • 検索品質の改善に取り組みたい方

  • Fess をすでに運用中で、利用者からのフィードバックがある方

検索品質のチューニングサイクル

検索品質の改善は、以下の4ステップのサイクルで行います。

  1. 分析: 検索ログを確認し、課題を特定する

  2. 改善: 特定した課題に対する改善策を実施する

  3. 検証: 改善策の効果を確認する

  4. 継続: サイクルを繰り返し、品質を向上させていく

ステップ1: 検索ログの分析

検索ログの確認方法

Fess は利用者の検索行動を自動的に記録しています。 管理画面の [システム情報] > [検索ログ] から、検索ログを確認できます。

検索ログには以下の情報が含まれます。

  • 検索キーワード

  • 検索日時

  • 検索結果件数

  • ユーザーエージェント

注目すべきパターン

検索ログを分析する際、特に注目すべきパターンがあります。

ゼロヒットクエリ

検索結果が0件のクエリです。 利用者が探している情報が存在しないか、検索キーワードが適切にマッチしていない可能性があります。

例えば、「社員旅行」で検索してゼロヒットだが、「従業員レクリエーション」というドキュメントは存在するケース。 これはシノニム(同義語)の設定で解決できます。

高頻度クエリ

頻繁に検索されるキーワードは、組織にとって重要な情報ニーズを表しています。 これらのクエリで適切な結果が上位に表示されているか確認しましょう。

クリックログ

検索結果のどのリンクがクリックされたかの記録です。 上位の結果がクリックされず、下位の結果ばかりクリックされている場合、ランキングに改善の余地があります。

ステップ2: 改善策の実施

分析結果に基づいて、以下の改善策を組み合わせて実施します。

シノニムの設定

同義語を登録して、表記の揺れや略語に対応します。

管理画面の [システム] > [辞書] から同義語辞書を選択して設定します。

設定例:

社員旅行,従業員レクリエーション,社内イベント
PC,パソコン,コンピュータ
AWS,Amazon Web Services
k8s,Kubernetes

シノニムを設定することで、「社員旅行」で検索しても「従業員レクリエーション」を含むドキュメントがヒットするようになります。

キーマッチの設定

特定のキーワードに対して、特定のドキュメントを最上位に表示する機能です。

管理画面の [クローラー] > [キーマッチ] から設定します。

例えば、「経費精算」で検索したとき、経費精算マニュアルのページが最上位に表示されるように設定できます。

キーマッチ設定例
検索語 クエリー ブースト値
経費精算 url:https://portal/manual/expense.html 100
有給申請 url:https://portal/manual/paid-leave.html 100
VPN接続 url:https://portal/manual/vpn-setup.html 100

ドキュメントブーストの設定

特定の条件に一致するドキュメント全体のスコアを調整します。

管理画面の [クローラー] > [ドキュメントブースト] から設定します。

例えば、以下のようなブースト戦略が考えられます。

  • 公式マニュアル(portal サイト)のスコアを上げる

  • 最終更新日が新しいドキュメントを優先する

  • 特定のラベル(公式ドキュメント)のスコアを上げる

関連クエリの設定

検索結果画面に、関連するキーワードを提案する機能です。 利用者が検索を絞り込んだり、別の角度から検索したりする手助けになります。

管理画面の [クローラー] > [関連クエリー] から設定します。

設定例:

「VPN」→ 関連クエリ: 「VPN接続方法」「リモートワーク」「社外アクセス」

ストップワードの設定

検索時に無視すべき語を設定します。 「の」「は」「を」などの一般的な助詞はデフォルトで処理されますが、業界固有のノイズワードがある場合は追加できます。

管理画面の [システム] > [辞書] からストップワード辞書を選択して設定します。

ステップ3: 効果の検証

改善策を実施した後、効果を検証します。

検証方法

ゼロヒット率の変化

改善前と改善後で、ゼロヒットクエリの割合がどう変化したかを確認します。 シノニムの追加やキーマッチの設定により、ゼロヒット率が低下していれば改善の効果があったと判断できます。

クリック位置の変化

検索結果の何番目がクリックされているかの分布を確認します。 上位の結果がクリックされる割合が増えていれば、ランキングが改善されていると判断できます。

人気ワードの確認

検索画面に表示される人気ワードや、検索ログから集計したよく検索されるキーワードを確認します。 人気ワードで検索してみて、適切な結果が返るか手動で確認するのも有効です。

ステップ4: 継続的な改善

検索品質のチューニングは一度で終わるものではありません。

運用サイクルの確立

以下のような運用サイクルを確立することを推奨します。

チューニングサイクル例
頻度 アクション 内容
週次 ゼロヒットクエリの確認 新しいゼロヒットクエリがないか確認し、シノニムやキーマッチで対応
月次 検索ログの全体分析 高頻度クエリ、クリック率、ゼロヒット率のトレンドを確認
四半期 総合レビュー 検索品質の総合的な評価と改善計画の策定

利用者からのフィードバック

ログ分析だけでなく、実際の利用者からのフィードバックも重要な改善の入力です。 「こういうキーワードで見つからなかった」「この結果は役に立った」というフィードバックを収集する仕組みを整えましょう。

まとめ

本記事では、検索品質を継続的に改善するチューニングサイクルを紹介しました。

  • 検索ログの分析(ゼロヒット、高頻度クエリ、クリックログ)

  • シノニム、キーマッチ、ドキュメントブースト、関連クエリによる改善

  • 改善効果の検証方法

  • 継続的な運用サイクルの確立

「使われる検索」から「役に立つ検索」へ、データに基づいた改善で検索品質を育てていきましょう。

次回は、多言語環境での検索基盤構築について扱います。

参考資料