ハイライト

Unified Highlighter は、(Solr 6.4 以降の) 最新のハイライターであり、オプションの中で最もパフォーマンスが高く、正確であることで際立っています。一般的な要件や、プラグイン/拡張機能によるその他の要件を処理できます。このハイライターを最初の選択肢として使用することをお勧めします。

UH はクエリを非常に正確にハイライトするため、基盤となる Lucene クエリが実際に一致するものに忠実です。他のハイライターは、用語をより自由にハイライトします (過剰ハイライト)。難解/カスタムのクエリの場合、このハイライターは他のハイライターよりもサポートする可能性が高くなります。

このハイライターの強力な利点は、大規模なドキュメントのハイライトを高速化するために、Solr を構成してより多くの情報を基盤となるインデックスに配置できることです。複数の構成がサポートされており、フィールドごとに構成することもできます。他のハイライターのオフセットソースには、このような柔軟性はほとんどありません。詳細については、以下を参照してください。

このハイライターを選択しない理由もいくつかあります。パッセージスコアリングでは、クエリのブーストが考慮されません。一部のユーザーは、より多くの/より良いパッセージ分割の柔軟性を求めています。「代替」フォールバックオプションはより原始的です。

Original Highlighter は、「Standard Highlighter」または「Default Highlighter」とも呼ばれる、Lucene のオリジナルのハイライターです。これは、高度なカスタマイズオプションを備えた由緒あるオプションです。クエリの精度はほとんどのニーズには十分ですが、Unified Highlighter ほど優れていません。

Original Highlighter は通常、ハイライトするために保存されたテキストをオンザフライで分析します。利用可能な場合は、完全な項ベクトルを使用します。テキストが「保存」されていなくても、ドキュメント値 (docValues="true") にある場合、このハイライターはそれを使用できます。

このハイライターの欠点はパフォーマンスです。Unified Highlighter の 2 倍の遅さであることがよくあります。また、最もカスタマイズ可能であるにもかかわらず、BreakIterator ベースのフラグメント化機能はありません (他のハイライターはすべてあります)。これは、一部の言語にとって課題になる可能性があります。

FastVector Highlighter は、フィールドで完全な項ベクトルオプション (termVectors, termPositions, termOffsets) を必要とし、それを念頭に置いて最適化されています。いくつかの可変性があるものの、Original Highlighter とほぼ同等の構成が可能です。

このハイライターは、特に多色ハイライトをサポートしており、異なるクエリ語を異なるマークでフラグメント内に示すことができ、通常は一意の色を持つ HTML タグとして表現されます。

このハイライターのクエリ表現は、Original または Unified Highlighters よりも高度ではありません。たとえば、surround パーサーではうまく機能せず、ストップワードを含むクエリに関する複数のバグが報告されています。

デフォルトでは、Unified Highlighter は通常、適切なオフセットソース (上記参照) を選択します。ただし、あるオフセットソースから別のオフセットソースへの移行が完了していない場合など、曖昧な場合があります。

オフセットソースは、ANALYSIS、POSTINGS、POSTINGS_WITH_TERM_VECTORS、または TERM_VECTORS のいずれか1つに明示的に構成できます。

このパラメータは、パッセージ内の最初のマッチ (つまり、ハイライトされたテキスト) が配置される場所に影響します。

デフォルト値の0.33は、一致箇所を左3分の1に揃えることを意味します。0.0は一致箇所を左に揃え、1.0は右に揃えることを意味します。この設定は、さまざまな要因があるため、最善のヒントとして機能します。強調表示するテキストが多い場合は、この数値を小さくするとパフォーマンスが大幅に向上する可能性があります。

trueの場合、hl.fragsizeパラメータは、（ソフトな）最小フラグメントサイズとして扱われます。十分なテキストがあれば、フラグメントはこのサイズ以上になります。falseの場合、最適なターゲットとなります。ハイライターは、平均してこの長さのハイライトを生成します。falseの設定は、特にテキストが多く、hl.bs.type=SENTENCEの場合に遅くなります。

デフォルトでは、各スニペットは個別の値として返されます（他のハイライターと同様）。代わりに、このテキストを区切り文字として1つの文字列を返すようにこのパラメータを設定します。注: これは将来削除される可能性があります。

trueの場合、適切な強調表示されたスニペットを生成できない場合は、テキストの先頭部分をスニペットとして使用します。

BM25の用語頻度正規化パラメータ「k1」を指定します。たとえば、一致するクエリ用語の数のみに基づいてパッセージをランク付けするために、0に設定できます。

BM25の長さ正規化パラメータ「b」を指定します。たとえば、ランク付け時にパッセージの長さを完全に無視するために、"0"に設定できます。

BM25の文字単位の平均パッセージ長を指定します。

ドキュメントをパッセージに分割するためのbreakiterator言語を指定します。

ドキュメントをパッセージに分割するためのbreakiterator国を指定します。

ドキュメントをパッセージに分割するためのbreakiteratorバリアントを指定します。

ドキュメントをパッセージに分割するためのbreakiteratorタイプを指定します。SEPARATOR、SENTENCE、WORD*、CHARACTER、LINE、またはWHOLEが使用可能です。SEPARATORは、hl.bs.separatorでユーザーが指定した文字でテキストを分割する特別な値です。

テキストを分割する文字を示します。hl.bs.type=SEPARATORを定義した場合のみ使用してください。

これは、目的のハイライトパッセージ境界に特殊な区切り文字があるように、テキストが事前に操作されている場合に便利です。この文字は、パッセージの最後の文字としてテキストに表示されます。

UHに、SpanQuery変換を行う代わりにLuceneの「Weight Matches」APIを使用するように指示します。これは、クエリを反映する最も正確な強調表示モードです。さらに、フレーズは単語ごとにではなく、全体として強調表示されます。現在、この設定は、多くのフィールドが強調表示されている場合、統合ハイライターを大幅に遅くします。

hl.usePhraseHighlighterまたはhl.multiTermQueryのいずれかがfalseに設定されている場合、この設定は設定に関係なく事実上falseになります。

隣接するフラグメントを1つのフラグメントに折りたたむようにSolrに指示します。trueの値は、隣接するフラグメントが単一のフラグメントに折りたたまれることを示します。

停止する前に、多値フィールドで検査する最大エントリ数を指定します。一致が見つかる前に制限に達した場合、結果がゼロになる可能性があります。

maxMultiValuedToMatchで使用した場合、最初に制限に達した方が、いつ検索を停止するかを決定します。

停止する前に、多値フィールドで見つかる最大一致数を指定します。

hl.maxMultiValuedToExamineも定義されている場合、最初に制限に達した方が、いつ検索を停止するかを決定します。

Solrがスニペットを生成できない場合（つまり、用語が一致しない場合）に、バックアップのデフォルトの概要として使用するフィールドを指定します。

返すフィールドの最大文字数を指定します。0以下の値は、フィールドの長さが無制限であることを意味します。

このパラメータは、hl.alternateFieldパラメータと組み合わせてのみ使用されます。

trueに設定され、hl.alternateFieldNameがアクティブな場合、Solrは一致する箇所を強調表示して、代替フィールド全体を表示します。hl.maxAlternateFieldLength=Nを使用した場合、Solrは最適な一致フラグメントの周囲の最大N文字を返します。

falseに設定されている場合、または代替フィールドにも一致がない場合、代替フィールドは強調表示なしで表示されます。

強調表示された出力のフォーマッタを選択します。現在、唯一有効な値はsimpleで、強調表示された用語をカスタマイズ可能なプレテキストとポストテキストのスニペットで囲みます。

simpleフォーマッタを使用する場合、強調表示された用語の前（hl.simple.pre）と後（hl.simple.post）に表示されるテキストを指定します。デフォルトは<em>と</em>です。

強調表示されたテキストのテキストスニペットジェネレータを指定します。標準のフラグメンターはgapで、多値フィールドのギャップ付きの固定サイズフラグメントを作成します。

もう1つのオプションはregexで、指定された正規表現に似たフラグメントを作成しようとします。

regexフラグメンター（hl.fragmenter=regex）を使用する場合、このパラメータは、正規表現に対応するために、フラグメンターが理想的なフラグメントサイズ（hl.fragsizeで与えられます）から逸脱できる係数を定義します。

たとえば、hl.fragsize=100の場合、スロップが0.2の場合、長さが80〜120文字のフラグメントを生成する必要があります。regexフラグメンターを使用する場合は、少し小さいhl.fragsize値を提供することをお勧めします。

フラグメント化のための正規表現を指定します。これは、文を抽出するために使用できます。

regexフラグメンターを使用する場合、Solrにフィールドからこの文字数のみを分析するように指示します（その後、フラグメンターは固定サイズのフラグメントを生成します）。

複雑な正規表現を巨大なフィールドに適用するのは、計算コストが高いことに注意してください。

trueの場合、多値フィールドはインデックスに保存された順序ですべての値を返します。falseの場合、ハイライトリクエストに一致する値のみが返されます。

hl.usePhraseHighlighterがtrueで、インデックス付きフィールドにペイロードはあるが、用語ベクトルがない場合（一般的に非常にまれです）、インデックスのペイロードが、投稿とともにハイライターのメモリインデックスに読み込まれます。

これが起こる可能性があり、強調表示に不要であることがわかっている場合（つまり、クエリがペイロードでフィルタリングしない場合）、これをfalseに設定することで、少しメモリを節約できます。

スニペットフラグメント化アルゴリズム。weighted fragListBuilderは、IDFウェイトを使用してフラグメントを順序付けます。

その他のオプションは、フィールドの内容全体を1つのスニペットとして返すsingleまたはsimpleです。このパラメータを使用してfragListBuilderを選択したり、solrconfig.xmlで既存の実装を変更して「default=true」を追加することでデフォルトにすることができます。

フラグメントビルダーは、フラグメントのフォーマットを担当し、デフォルトでは<em>および</em>マークアップを使用します（hl.tag.preおよびhl.tag.postが定義されていない場合）。

事前に構成されたもう1つの選択肢はcoloredで、選択した場合、色の強調表示のためにHTMLをスニペットに挿入する方法の例です。必要に応じて、独自に実装することもできます。このパラメータを使用してフラグメントビルダーを選択したり、solrconfig.xmlで既存の実装を変更して「default=true」を追加することでデフォルトにすることができます。

最高スコアのフレーズを検索する際に分析する最大フレーズ数。

多値フィールドで1つの値を次の値と区切るために使用するテキスト。デフォルトは「 」（スペース）です。