フィルター

トークナイザーと同様に、フィルターは入力を消費し、トークンのストリームを生成します。フィルターもorg.apache.lucene.analysis.TokenStreamから派生していますが、トークナイザーとは異なり、フィルターの入力は別の TokenStream です。フィルターのジョブは通常、トークナイザーよりも簡単です。ほとんどの場合、フィルターはストリーム内の各トークンを順番に調べて、それを渡すか、置き換えるか、破棄するかを決定するためです。

フィルターは、複数のトークンを一度に考慮してより複雑な分析を行うこともできますが、これはあまり一般的ではありません。このようなフィルターの仮想的な使用例の 1 つは、2 つの単語としてトークン化される州名を正規化することです。たとえば、単一のトークン「california」は「CA」に置き換えられ、トークンペア「rhode」に続く「island」は単一のトークン「RI」になります。

フィルターは 1 つの TokenStream を消費して新しい TokenStream を生成するため、次々と無限に連鎖させることができます。チェーン内の各フィルターは、前のフィルターによって生成されたトークンを順番に処理します。したがって、フィルターを指定する順序は重要です。通常、最も一般的なフィルター処理が最初に行われ、後のフィルター処理ステージはより専門的になります。

このフィルターは、Basic Latin Unicode ブロック (最初の 127 個の ASCII 文字) にない、アルファベット、数字、および記号の Unicode 文字を、存在する場合は ASCII 同等物に変換します。このフィルターは、次の Unicode ブロックの文字を変換します

ファクトリークラス: solr.ASCIIFoldingFilterFactory

引数

例

入力: "á" (Unicode文字 00E1)

出力: "a" (ASCII文字 97)

異なるスペルや異なる言語であっても、類似した名前を識別できるようにする、Beider-Morse Phonetic Matching (BMPM)アルゴリズムを実装します。この仕組みの詳細については、Beider-Morse Phonetic Matchingのセクションを参照してください。

ファクトリークラス: solr.BeiderMorseFilterFactory

引数

例

このフィルターは、Classic Tokenizerの出力を受け取り、頭字語からピリオドを削除し、所有格から"'s"を削除します。

ファクトリークラス: solr.ClassicFilterFactory

引数: なし

例

入力: "I.B.M. cat’s can’t"

フィルターへのトークナイザー: "I.B.M", "cat’s", "can’t"

出力: "IBM", "cat", "can’t"

このフィルターは、index時分析で使用され、ストップワードなどの一般的なトークンを通常のトークンと組み合わせることでワード・シングルの作成を行います。これにより、よりユニークな用語を持つインデックスを作成できますが、「the cat」などの一般的な単語を含むフレーズクエリの作成に役立ちます。通常、結合されたトークンを使用しない場合よりもはるかに高速です。シーケンス内の両方の用語を含むドキュメントの用語位置のみを考慮する必要があるからです。正しく使用するには、query分析中にCommon Grams Query Filterとペアにする必要があります。

これらのフィルターはStop Filterと組み合わせることもできるため、"the cat"を検索すると"a cat"とは異なるドキュメントが一致し、"the"または"a"の病的な検索ではどのドキュメントにも一致しません。

ファクトリークラス: solr.CommonGramsFilterFactory

引数

例

入力: "the cat in the hat"

フィルター(複数)へのトークナイザー: "the", "cat", "in", "the", "hat"

(インデックス) 出力: "the"(1), "the_cat"(1), "cat"(2), "cat_in"(2), "in"(3), "in_the"(3), "the"(4), "the_hat"(4), "hat"(5)

(クエリ) 出力: "the_cat"(1), "cat_in"(2), "in_the"(3), "the_hat"(4)

このフィルターは、Common Gramsフィルターのquery時間分析の側面に使用されます。引数、構成例、および入出力のサンプルについては、そのフィルターを参照してください。

照合を使用すると、言語に対応した方法でテキストをソートできます。通常はソートに使用されますが、高度な検索にも使用できます。これについては、Unicode照合のセクションで詳しく説明しました。

異なるスペルであっても、類似した名前を識別できる、Daitch-Mokotoff Soundexアルゴリズムを実装します。この仕組みの詳細については、Phonetic Matchingのセクションを参照してください。

ファクトリークラス: solr.DaitchMokotoffSoundexFilterFactory

引数

例

このフィルターは、commons-codecのDoubleMetaphoneエンコーディングアルゴリズムを使用してトークンを作成します。詳細については、Phonetic Matchingを参照してください。

ファクトリークラス: solr.DoubleMetaphoneFilterFactory

引数

例

インジェクトのデフォルトの動作(true): 元のトークンを保持し、同じ位置に音声トークンを追加します。

入力: "four score and Kuczewski"

フィルターへのトークナイザー: "four"(1), "score"(2), "and"(3), "Kuczewski"(4)

出力: "four"(1), "FR"(1), "score"(2), "SKR"(2), "and"(3), "ANT"(3), "Kuczewski"(4), "KSSK"(4), "KXFS"(4)

音声トークンの位置増分は0です。これは、トークンが派生した元のトークン（直前）と同じ位置にあることを示します。「Kuczewski」には2つのエンコードがあり、同じ位置に追加されることに注意してください。

例

元のトークンを破棄(inject="false")。

入力: "four score and Kuczewski"

フィルターへのトークナイザー: "four"(1), "score"(2), "and"(3), "Kuczewski"(4)

出力: "FR"(1), "SKR"(2), "ANT"(3), "KSSK"(4), "KXFS"(4)

「Kuczewski」には2つのエンコードがあり、同じ位置に追加されることに注意してください。

このフィルターは、区切り文字で分割して、トークンに数値の浮動小数点ブースト値を追加します。

ファクトリークラス: solr.DelimitedBoostTokenFilterFactory

引数

例

入力: "leopard|0.5 panthera uncia|0.9"

フィルターへのトークナイザー: "leopard|0.5"(1), "panthera"(2), "uncia|0.9"(3)

出力: "leopard"(1)[0.5], "panthera"(2), "uncia"(3)[0.9]

角括弧内の数値の浮動小数点数は、浮動小数点トークンブースト属性です。

例

別の区切り文字を使用する(delimiter="/")。

入力: "leopard/0.5 panthera uncia/0.9"

フィルターへのトークナイザー: "leopard/0.5"(1), "panthera"(2), "uncia/0.9"(3)

出力: "leopard"(1)[0.5], "panthera"(2), "uncia"(3)[0.9]

N.B. 区切り文字が使用するトークナイザーと互換性があることを確認してください

このフィルターは、指定された範囲内のサイズのEdge N-Gramトークンを生成します。

ファクトリークラス: solr.EdgeNGramFilterFactory

引数

例

デフォルトの動作。

入力: "four score and twenty"

フィルターへのトークナイザー: "four", "score", "and", "twenty"

出力: "f", "s", "a", "t"

例

1から4の範囲。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "f", "fo", "fou", "four", "s", "sc", "sco", "scor"

例

4から6の範囲。

入力: "four score and twenty"

フィルターへのトークナイザー: "four", "score", "and", "twenty"

出力: "four", "scor", "score", "twen", "twent", "twenty"

例

元の用語を保持します。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "fo", "fou", "four", "sc", "sco", "score"

このフィルターは、英語の複数形の単語を単数形に語幹処理します。

ファクトリークラス: solr.EnglishMinimalStemFilterFactory

引数: なし

例

入力: "dogs cats"

フィルターへのトークナイザー: "dogs", "cats"

出力: "dog", "cat"

このフィルターは、単数所有格（末尾の's）を単語から削除します。例えば、「divers' snorkels」のs'のような複数所有格は、このフィルターでは削除されないことに注意してください。

ファクトリークラス: solr.EnglishPossessiveFilterFactory

引数: なし

例

入力: "Man’s dog bites dogs' man"

フィルターへのトークナイザー: "Man’s", "dog", "bites", "dogs'", "man"

出力: "Man", "dog", "bites", "dogs'", "man"

このフィルターは、ソートおよび重複排除された入力トークンのセットの連結である単一のトークンを出力します。これは、クラスタリング/リンクの使用事例に役立ちます。

ファクトリークラス: solr.FingerprintFilterFactory

引数

例

入力: "the quick brown fox jumped over the lazy dog"

フィルターへのトークナイザー: "the", "quick", "brown", "fox", "jumped", "over", "the", "lazy", "dog"

出力: "brown_dog_fox_jumped_lazy_over_quick_the"

このフィルターは、シノニムグラフフィルターやワード区切りグラフフィルターなど、少なくとも1つのグラフ対応フィルターを含むインデックス時のアナライザー仕様に含める必要があります。

ファクトリークラス: solr.FlattenGraphFilterFactory

引数: なし

シノニムグラフフィルターおよびワード区切りグラフフィルターについては、以下の例を参照してください。

Hunspell Stemフィルターは、複数の言語をサポートします。Hunspell Stemフィルターで使用する各言語の辞書(.dic)ファイルとルール(.aff)ファイルを提供する必要があります。これらの言語ファイルはこちらからダウンロードできます。

結果は、提供された辞書とルールファイルの品質によって大きく異なることに注意してください。例えば、一部の言語には、形態学的情報のない最小限の単語リストしかありません。一方、ステマーがないものの、広範な辞書ファイルがある言語の場合、Hunspellステマーが適切な選択肢となる場合があります。

ファクトリークラス: solr.HunspellStemFilterFactory

引数

例

入力: 「jump jumping jumped」

トークナイザーからフィルターへ: 「jump」、「jumping」、「jumped」

出力: 「jump」、「jump」、「jump」

このフィルターは、フィールドテストで改行やその他の空白が原因で2つのトークンとしてトークン化されたハイフン結合語を再構築します。トークンがハイフンで終わる場合、それは次のトークンと結合され、ハイフンは破棄されます。

このフィルターが正しく機能するには、上流のトークナイザーが末尾のハイフン文字を削除しないようにする必要があります。このフィルターは一般的にインデックス作成時にのみ役立ちます。

ファクトリークラス: solr.HyphenatedWordsFilterFactory

引数: なし

例

入力: 「A hyphen- ated word」

トークナイザーからフィルターへ: 「A」、「hyphen-」、「ated」、「word」

出力: 「A」、「hyphenated」、「word」

このフィルターは、Unicode TR #30: Character Foldingsで指定されたフォールディングに加えて、ICU正規化フィルター2で説明されているNFKC_Casefold正規化形式を適用するカスタムUnicode正規化形式です。このフィルターは、ASCIIフォールディングフィルター、小文字フィルター、およびICU正規化フィルター2の組み合わせ動作のより良い代替手段です。

このフィルターを使用するには、（プラグインのインストールのセクションで説明されているように）追加の.jarファイルをSolrのクラスパスに追加する必要があります。追加する必要があるjarの詳細については、solr/modules/analysis-extras/README.mdを参照してください。

ファクトリークラス: solr.ICUFoldingFilterFactory

引数

フィルターなしの例

スウェーデン語/フィンランド語の文字を除外するフィルターの例

この正規化形式の詳細については、Unicode TR #30: Character Foldingsを参照してください。

このフィルターは、Unicode標準附属書#15で説明されている5つのUnicode正規化形式のいずれかに従ってテキストを正規化します。

ファクトリークラス: solr.ICUNormalizer2FilterFactory

引数

NFKC_Casefoldの例

スウェーデン語/フィンランド語の文字を除外するフィルターの例

これらの正規化形式の詳細については、Unicode正規化形式を参照してください。

このフィルターを使用するには、（プラグインのインストールのセクションで説明されているように）追加の.jarファイルをSolrのクラスパスに追加する必要があります。追加する必要があるjarの詳細については、solr/modules/analysis-extras/README.mdを参照してください。

このフィルターは、ICU変換をテキストに適用します。このフィルターは、ICUシステム変換のみをサポートします。カスタムルールセットはサポートされていません。

ファクトリークラス: solr.ICUTransformFilterFactory

引数

例

ICU変換の詳細については、http://userguide.icu-project.org/transforms/generalを参照してください。

このフィルターを使用するには、（プラグインのインストールのセクションで説明されているように）追加の.jarファイルをSolrのクラスパスに追加する必要があります。追加する必要があるjarの詳細については、solr/modules/analysis-extras/README.mdを参照してください。

このフィルターは、指定された単語リストに記載されているトークンを除くすべてのトークンを破棄します。これは、ストップワードフィルターの逆です。このフィルターは、制約されたタームのセットの特殊なインデックスを作成するのに役立ちます。

ファクトリークラス: solr.KeepWordFilterFactory

引数

例

keepwords.txtには以下が含まれています

happy funny silly

入力: 「Happy, sad or funny」

トークナイザーからフィルターへ: 「Happy」、「sad」、「or」、「funny」

出力: 「funny」

例

同じkeepwords.txt、大文字と小文字を区別しない

入力: 「Happy, sad or funny」

トークナイザーからフィルターへ: 「Happy」、「sad」、「or」、「funny」

出力: 「Happy」、「funny」

例

キープワードをフィルタリングする前にLowerCaseFilterFactoryを使用します。ignoreCaseフラグはありません。

入力: 「Happy, sad or funny」

トークナイザーからフィルターへ: 「Happy」、「sad」、「or」、「funny」

フィルターからフィルターへ: 「happy」、「sad」、「or」、「funny」

出力: 「happy」、「funny」

KStemは、よりアグレッシブでないステマーを探している開発者向けのPorter Stem Filterの代替手段です。KStemはBob Krovetzによって記述され、Sergio Guzman-Lara（UMASS Amherst）によってLuceneに移植されました。このステマーは英語のテキストにのみ適しています。

ファクトリークラス: solr.KStemFilterFactory

引数: なし

例

入力: 「jump jumping jumped」

トークナイザーからフィルターへ: 「jump」、「jumping」、「jumped」

出力: 「jump」、「jump」、「jump」

このフィルターは、指定された最小/最大制限内の長さのトークンをパスします。他のすべてのトークンは破棄されます。

ファクトリークラス: solr.LengthFilterFactory

引数

例

入力: 「turn right at Albuquerque」

トークナイザーからフィルターへ: 「turn」、「right」、「at」、「Albuquerque」

出力: 「turn」、「right」

このフィルターは、受け入れられるトークンの数を制限します。これは通常、インデックス分析に役立ちます。

デフォルトでは、このフィルターは、制限に達すると、ラップされたTokenStream内のトークンをすべて無視します。これにより、incrementToken()がfalseを返す前にreset()が呼び出される可能性があります。ほとんどのTokenStream実装ではこれで許容範囲であり、ストリーム全体を消費するよりも高速です。正常に機能するためにトークンのストリーム全体を使い切る必要があるTokenStreamをラップする場合は、consumeAllTokens="true"オプションを使用してください。

ファクトリークラス: solr.LimitTokenCountFilterFactory

引数

例

入力 "1 2 3 4 5 6 7 8 9 10 11 12"

トークナイザーからフィルターへ "1", "2", "3", "4", "5", "6", "7", "8", "9", "10", "11", "12"

出力 "1", "2", "3", "4", "5", "6", "7", "8", "9", "10"

このフィルターは、構成された最大開始文字オフセットより前のトークンに制限します。これは、たとえば、ハイライトを制限するのに役立ちます。

デフォルトでは、このフィルターは、制限に達すると、ラップされたTokenStream内のトークンをすべて無視します。これにより、incrementToken()がfalseを返す前にreset()が呼び出される可能性があります。ほとんどのTokenStream実装ではこれで許容範囲であり、ストリーム全体を消費するよりも高速です。正常に機能するためにトークンのストリーム全体を使い切る必要があるTokenStreamをラップする場合は、consumeAllTokens="true"オプションを使用してください。

ファクトリークラス: solr.LimitTokenOffsetFilterFactory

引数

例

入力: 「0 2 4 6 8 A C E」

トークナイザーからフィルターへ: 「0」、「2」、「4」、「6」、「8」、「A」、「C」、「E」

出力: 「0」、「2」、「4」、「6」、「8」、「A」

このフィルターは、構成された最大トークン位置より前のトークンに制限します。

デフォルトでは、このフィルターは、制限に達すると、ラップされたTokenStream内のトークンをすべて無視します。これにより、incrementToken()がfalseを返す前にreset()が呼び出される可能性があります。ほとんどのTokenStream実装ではこれで許容範囲であり、ストリーム全体を消費するよりも高速です。正常に機能するためにトークンのストリーム全体を使い切る必要があるTokenStreamをラップする場合は、consumeAllTokens="true"オプションを使用してください。

ファクトリークラス: solr.LimitTokenPositionFilterFactory

引数

例

入力 "1 2 3 4 5"

トークナイザーからフィルターへ "1", "2", "3", "4", "5"

出力 "1", "2", "3"

トークン内の大文字を同等の小文字トークンに変換します。他のすべての文字は変更されません。

ファクトリークラス: solr.LowerCaseFilterFactory

引数: なし

例

入力: 「Down With CamelCase」

トークナイザーからフィルターへ: 「Down」、「With」、「CamelCase」

出力: 「down」、「with」、「camelcase」

これは、ストップワードフィルターファクトリーの特殊バージョンで、REST APIから管理されるストップワードのセットを使用します。

引数

例: この構成では、単語のセットは「english」という名前で、/solr/collection_name/schema/analysis/stopwords/englishを介して管理できます。

入出力例については、ストップフィルターを参照してください。

これは、同義語フィルターの特殊バージョンで、REST APIから管理される同義語のマッピングを使用します。

ファクトリークラス: solr.ManagedSynonymFilterFactory

引数と例については、下記の同義語グラフフィルターを参照してください。

これは、Synonym Graph Filter の特殊バージョンであり、REST API から管理される同義語のマッピングを使用します。

このフィルターは、単一または複数のトークンの同義語をマッピングし、完全に正しいグラフ出力を生成します。このフィルターは、複数トークンの同義語に対して不正確なグラフを生成する、Managed Synonym Filter の代替となります。

引数

例： この設定では、マッピングのセットは「english」と名付けられ、/solr/collection_name/schema/analysis/synonyms/english を介して管理できます。

入出力の例については、以下の Synonym Graph Filter を参照してください。

ストリーム内のすべての入力トークンから、再現可能なランダムな固定数のハッシュトークンを生成します。これを行うために、まずソースからのすべての入力トークンを消費します。このフィルターは通常、以下の例に示すように、Shingle Filter が先行します。

各入力トークンはハッシュされます。その後、一連の事前計算されたハッシュと組み合わせることによって、hashCount 回「再ハッシュ」されます。結果として得られる各ハッシュについて、ハッシュ空間は bucketCount 個のバケットに分割されます。各バケットに対して、最小の hashSetSize ハッシュのセット（通常は1つのセット）が生成されます。

このフィルターは、入力トークンの1種類の署名またはスケッチを生成し、ドキュメント間のジャッカード類似度を計算するために使用できます。

引数

生成されるハッシュの数は、上記のオプションによって異なります。withRotation のデフォルト設定では、生成されるハッシュの数は hashCount x bucketCount x hashSetSize ⇒ デフォルトで 512 です。

例

入力: "woof woof woof woof woof"

トークナイザーからフィルターへ: "woof woof woof woof woof"

出力: "℁팽徭聙↝ꇁ홱杯", "℁팽徭聙↝ꇁ홱杯", "℁팽徭聙↝ꇁ홱杯", …​. 合計 512 回

指定された範囲のサイズの N グラムトークンを生成します。トークンは位置順に並べられ、次にグラムサイズ順に並べられることに注意してください。

ファクトリークラス: solr.NGramFilterFactory

引数

例

デフォルトの動作。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "f", "o", "u", "r", "fo", "ou", "ur", "s", "c", "o", "r", "e", "sc", "co", "or", "re"

例

1から4の範囲。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "f", "fo", "fou", "four", "o", "ou", "our", "u", "ur", "r", "s", "sc", "sco", "scor", "c", "co", "cor", "core", "o", "or", "ore", "r", "re", "e"

例

3 から 5 の範囲。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "fou", "four", "our", "sco", "scor", "score", "cor", "core", "ore"

例

元の用語を保持します。

入力: "four score"

フィルターへのトークナイザー: "four", "score"

出力: "fo", "fou", "ou", "our", "ur", "four", "sc", "sco", "co", "cor", "or", "ore", "re", "score"

このフィルターは、指定されたタイプに一致するトークンに数値の浮動小数点ペイロード値を追加します。トークンタイプとペイロードの詳細については、org.apache.lucene.analysis.Token クラスの Javadoc を参照してください。

ファクトリークラス: solr.NumericPayloadTokenFilterFactory

引数

例

入力: "bing bang boom"

トークナイザーからフィルターへ: "bing", "bang", "boom"

出力: "bing"[0.75], "bang"[0.75], "boom"[0.75]

このフィルターは、各トークンに正規表現を適用し、一致するものについては、一致したパターンの代わりに指定された置換文字列を代入します。一致しないトークンは変更されずに渡されます。

ファクトリークラス: solr.PatternReplaceFilterFactory

引数

例

単純な文字列置換

入力: "cat concatenate catycat"

トークナイザーからフィルターへ: "cat", "concatenate", "catycat"

出力: "dog", "condogenate", "dogydog"

例

文字列置換、最初の出現箇所のみ

入力: "cat concatenate catycat"

トークナイザーからフィルターへ: "cat", "concatenate", "catycat"

出力: "dog", "condogenate", "dogycat"

例

置換でキャプチャグループ参照を使用する、より複雑なパターン。数字以外の文字で始まり、数字で終わるトークンには、数字の前にアンダースコアが挿入されます。それ以外の場合、トークンはそのまま渡されます。

入力: "cat foo1234 9987 blah1234foo"

トークナイザーからフィルターへ: "cat", "foo1234", "9987", "blah1234foo"

出力: "cat", "foo_1234", "9987", "blah1234foo"

このフィルターは、org.apache.commons.codec.language パッケージの音響符号化アルゴリズムの1つを使用してトークンを作成します。詳細については、音響マッチングのセクションを参照してください。

ファクトリークラス: solr.PhoneticFilterFactory

引数

例

DoubleMetaphone エンコードのデフォルトの動作。

入力: "four score and twenty"

トークナイザーからフィルターへ: "four"(1), "score"(2), "and"(3), "twenty"(4)

出力: "four"(1), "FR"(1), "score"(2), "SKR"(2), "and"(3), "ANT"(3), "twenty"(4), "TNT"(4)

音響トークンの位置増分は 0 であり、これは、それらが導出されたトークン（直前の）と同じ位置にあることを示します。

例

元のトークンを破棄します。

入力: "four score and twenty"

トークナイザーからフィルターへ: "four"(1), "score"(2), "and"(3), "twenty"(4)

出力: "FR"(1), "SKR"(2), "ANT"(3), "TWNT"(4)

例

デフォルトの Soundex エンコーダー。

入力: "four score and twenty"

トークナイザーからフィルターへ: "four"(1), "score"(2), "and"(3), "twenty"(4)

出力: "four"(1), "F600"(1), "score"(2), "S600"(2), "and"(3), "A530"(3), "twenty"(4), "T530"(4)

このフィルターは、英語の Porter ステミングアルゴリズムを適用します。結果は、language="English" 引数を指定して Snowball Porter Stemmer を使用する場合と似ています。ただし、このステマーは Java で直接コーディングされており、Snowball に基づいていません。保護された単語のリストを受け入れず、英語のテキストにのみ適しています。ただし、英語 Snowball ステマーよりも4倍高速であるとベンチマークされているため、パフォーマンスを向上させることができます。

ファクトリークラス: solr.PorterStemFilterFactory

引数: なし

例

入力: 「jump jumping jumped」

トークナイザーからフィルターへ: 「jump」、「jumping」、「jumped」

出力: 「jump」、「jump」、「jump」

このフィルターは、条件付きフィルタリングの一種を可能にします。保護されたセットに含まれていない用語にのみ、ラップされたフィルターを適用します。

ファクトリークラス: solr.ProtectedTermFilterFactory

引数

例

protectedTerms.txt 内の用語を除くすべての用語は、4文字に切り捨てられ、小文字に変換されます

例

この例には、一意の -id サフィックスを持つ複数の同じ名前のラップされたフィルターが含まれています。フィルター SPI 名と -id サフィックスの両方が大文字と小文字を区別しないことに注意してください。

protectedTerms.txt 内の用語を除くすべての用語に対して、同義語が追加され、用語が反転され、次に反転された用語に対して同義語が追加されます

このフィルターは、ストリーム内の重複トークンを削除します。トークンは、テキストと位置の値が同じ場合にのみ、重複と見なされます。

位置が同じである必要があるため、このフィルターは、その名前に基づいてユーザーが期待する動作をしない可能性があります。非常に特殊なフィルターであり、非常に特定の状況でのみ役立ちます。誤解を招く可能性があるにもかかわらず、簡潔にするためにそのように名付けられています。

ファクトリークラス: solr.RemoveDuplicatesTokenFilterFactory

引数: なし

例

RemoveDuplicatesTokenFilterFactory が役立つ1つの例は、ステマーと組み合わせて同義語ファイルが使用されている場合です。このような状況では、ステマーと同義語フィルターの両方が、まったく同じ位置を持つ完全に同一の用語をストリーム内に生成し、メリットなしにインデックスサイズを大きくする可能性があります。

synonyms.txt ファイルの次のエントリを考慮してください

次の構成で使用する場合

入力: "Watch TV"

トークナイザーから同義語フィルターへ: "Watch"(1) "TV"(2)

同義語フィルターからステマーフィルターへ: "Watch"(1) "Television"(2) "Televisions"(2) "TV"(2) "TVs"(2)

ステマーフィルターから重複削除フィルターへ: "Watch"(1) "Television"(2) "Television"(2) "TV"(2) "TV"(2)

出力: "Watch"(1) "Television"(2) "TV"(2)

このフィルターは、先頭ワイルドカードおよびプレフィックスクエリを高速化するためにトークンを反転します。ワイルドカードのないトークンは反転されません。

ファクトリークラス: solr.ReversedWildcardFilterFactory

引数

例

入力: "*foo *bar"

トークナイザーからフィルターへ: "*foo", "*bar"

出力: "oof*", "rab*"

このフィルターは、トークンストリームからトークンnグラムであるシングルの構築を行います。トークンの連続を単一のトークンに結合します。

ファクトリークラス: solr.ShingleFilterFactory

引数

例

デフォルトの動作。

入力: "To be, or what?"

トークナイザーからフィルターへ: "To"(1), "be"(2), "or"(3), "what"(4)

出力: "To"(1), "To be"(1), "be"(2), "be or"(2), "or"(3), "or what"(3), "what"(4)

例

シングルサイズが4で、元のトークンを含めない場合。

入力: "To be, or not to be."

トークナイザーからフィルターへ: "To"(1), "be"(2), "or"(3), "not"(4), "to"(5), "be"(6)

出力: "To be"(1), "To be or"(1), "To be or not"(1), "be or"(2), "be or not"(2), "be or not to"(2), "or not"(3), "or not to"(3), "or not to be"(3), "not to"(4), "not to be"(4), "to be"(5)

このフィルターファクトリーは、Snowballによって生成された言語固有のステマーをインスタンス化します。Snowballは、パターンベースの単語ステマーを生成するソフトウェアパッケージです。このタイプのステマーは、テーブルベースのステマーほど正確ではありませんが、高速で複雑さが軽減されます。テーブル駆動型ステマーの作成と保守には多大な労力がかかるため、通常は商用製品です。

Solrには、アルメニア語、バスク語、カタロニア語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ハンガリー語、イタリア語、ノルウェー語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、トルコ語のSnowballステマーが含まれています。Snowballの詳細については、http://snowball.tartarus.org/をご覧ください。

StopFilterFactory、CommonGramsFilterFactory、およびCommonGramsQueryFilterFactoryは、オプションでSnowball形式のストップワードを読み取ることができます（これらのFilterFactoryの構成でformat="snowball"を指定します）。

ファクトリークラス: solr.SnowballPorterFilterFactory

引数

例

デフォルトの動作

入力: "flip flipped flipping"

トークナイザーからフィルターへ: "flip", "flipped", "flipping"

出力: "flip", "flip", "flip"

例

フランス語のステマー、英語の単語

入力: "flip flipped flipping"

トークナイザーからフィルターへ: "flip", "flipped", "flipping"

出力: "flip", "flipped", "flipping"

例

スペイン語のステマー、スペイン語の単語

入力: "cante canta"

トークナイザーからフィルターへ: "cante", "canta"

出力: "cant", "cant"

このフィルターは、指定されたストップワードリストに含まれるトークンを破棄するか、分析を停止します。標準のストップワードリストは、Solr confディレクトリにstopwords.txtという名前で含まれており、これは典型的な英語テキストに適しています。

ファクトリークラス: solr.StopFilterFactory

引数

例

大文字と小文字を区別するマッチング、大文字で始まる単語は停止しません。トークンの位置はストップワードをスキップします。

入力: "To be or what?"

トークナイザーからフィルターへ: "To"(1), "be"(2), "or"(3), "what"(4)

出力: "To"(1), "what"(4)

例

入力: "To be or what?"

トークナイザーからフィルターへ: "To"(1), "be"(2), "or"(3), "what"(4)

出力: "what"(4)

ストップフィルターと同様に、このフィルターは、指定されたストップワードリストに含まれるトークンを破棄するか、分析を停止します。

Suggest Stopフィルターは、ストップフィルターとは異なり、最後のトークンがトークン区切り文字で続かない限り、削除しません。たとえば、クエリ"find the"は、スペース、句読点などで区切られていないため、'the'を保持し、後続のフィルターが変更または削除しないようにKEYWORDとしてマークします。

対照的に、「find the popsicle」のようなクエリは、スペースが続くため、‘the’をストップワードとして削除します。いずれかの分析サジェスターを使用する場合、通常はインデックスアナライザーで通常のStopFilterFactoryを使用し、クエリアナライザーでSuggestStopFilterを使用します。

ファクトリークラス: solr.SuggestStopFilterFactory

引数

例

入力: "The The"

トークナイザーからフィルターへ: "the"(1), "the"(2)

出力: "the"(2)

このフィルターは、同義語のマッピングを行います。各トークンは同義語のリストで検索され、一致が見つかった場合、同義語がトークンの代わりに発行されます。新しいトークンの位置の値は、すべて元のトークンと同じ位置になるように設定されます。

ファクトリークラス: solr.SynonymFilterFactory

引数と例については、以下のSynonym Graphフィルターを参照してください。

このフィルターは、単一または複数のトークンの同義語をマッピングし、完全に正しいグラフ出力を生成します。このフィルターは、複数トークンの同義語に対して誤ったグラフを生成するSynonymフィルターの代替です。

インデックス作成中にこのフィルターを使用する場合は、インデクサーがグラフを直接使用できないため、Synonymフィルターのように相互に重なり合ったトークンを圧縮するために、Flatten Graphフィルターを後に続く必要があります。同義語の置換が複数のトークンである場合に、完全に正しい位置クエリを取得するには、代わりにクエリ時にこのフィルターを使用して同義語を適用する必要があります。

ファクトリークラス: solr.SynonymGraphFilterFactory

引数

次の例では、mysynonyms.txtという名前の同義語ファイルを使用すると想定しています。

例

入力: "teh small couch"

トークナイザーからフィルターへ: "teh"(1), "small"(2), "couch"(3)

出力: "the"(1), "tiny"(2), "teeny"(2), "weeny"(2), "couch"(3), "sofa"(3), "divan"(3)

例

入力: "teh ginormous, humungous sofa"

トークナイザーからフィルターへ: "teh"(1), "ginormous"(2), "humungous"(3), "sofa"(4)

出力: "the"(1), "large"(2), "large"(3), "couch"(4), "sofa"(4), "divan"(4)

重み付き同義語

DelimitedBoostFilter を Synonym Graph Filter と組み合わせることで、クエリ時に重み付き同義語を実現できます。詳細については、以下を参照してください: https://sease.io/2020/03/introducing-weighted-synonyms-in-apache-lucene.html 次の例では、boostedSynonyms.txt という名前の同義語ファイルがあると仮定します。

例

入力: "lion"

トークナイザーからフィルターへ: "lion"(1)

出力: "panthera"(1), "leo"(2)[0.9], "simba"(1)[0.8], "kimba"(1)[0.75]

このフィルターは、トークンの数値文字オフセットをそのトークンのペイロード値として追加します。

ファクトリークラス: solr.TokenOffsetPayloadTokenFilterFactory

引数: なし

例

入力: "bing bang boom"

トークナイザーからフィルターへ: "bing", "bang", "boom"

出力: "bing"[0,4], "bang"[5,9], "boom"[10,14]

このフィルターは、トークンの先頭および/または末尾の空白をトリムします。ほとんどのトークナイザーは空白でトークンを分割するため、このフィルターは特別な状況で最もよく使用されます。

ファクトリークラス: solr.TrimFilterFactory

引数: なし

例

ここで使用される PatternTokenizerFactory の構成は、単純なコンマで入力を分割しますが、空白は削除しません。

入力: "one, two , three ,four "

トークナイザーからフィルターへ: "one", " two ", " three ", "four "

出力: "one", "two", "three", "four"

このフィルターは、トークンのタイプをエンコードされたバイトシーケンスとしてペイロードに追加します。

ファクトリークラス: solr.TypeAsPayloadTokenFilterFactory

引数: なし

例

入力: "Pay Bob’s I.O.U."

トークナイザーからフィルターへ: "Pay", "Bob’s", "I.O.U."

出力: "Pay"[<ALPHANUM>], "Bob’s"[<APOSTROPHE>], "I.O.U."[<ACRONYM>]

このフィルターは、トークンのタイプを、必要に応じて設定可能なプレフィックスを付加して、トークンと同じ位置にトークンとして追加します。

ファクトリークラス: solr.TypeAsSynonymFilterFactory

引数

例

以下の例では、各トークンのタイプが同じ位置にそのまま出力されます

以下の例では、タイプが <URL> のトークン "example.com" に対して、同じ位置に出力されるトークンは "_type_<URL>" になります

このフィルターは、トークンにタイプメタデータが関連付けられていると仮定して、指定されたトークンタイプのリストを許可または拒否します。たとえば、UAX29 URL Email Tokenizer は、他のタイプに加えて、"<URL>" および "<EMAIL>" というタイプ付きトークンを出力します。このフィルターを使用すると、必要に応じてテキストから電子メールアドレスのみをトークンとして抽出できます。

ファクトリークラス: solr.TypeTokenFilterFactory

引数

例

このフィルターは、単語区切り文字でトークンを分割します。

ファクトリークラス: solr.WordDelimiterFilterFactory

引数と例を含む完全な説明については、以下のワード区切りグラフフィルターを参照してください。

このフィルターは、単語区切り文字でトークンを分割します。

インデックス作成中にこのフィルターを使用する場合、インデクサーがグラフを直接消費できないため、ワード区切りフィルターのようにトークンを互いに重ね合わせるために、その後にフラットグラフフィルターを続ける必要があります。トークンが分割されるときに完全に正しい位置クエリを取得するには、代わりにクエリ時にこのフィルターを使用する必要があります。

注: このフィルターは正しいトークングラフを生成しますが、入力トークングラフを正しく消費することはできません。

区切り文字を決定するためのルールは、次のように決定されます

ファクトリークラス: solr.WordDelimiterGraphFilterFactory

引数

例

デフォルトの動作。ここでは、空白トークナイザーを使用して、英数字以外の文字を保持します。

入力: "hot-spot RoboBlaster/9000 100XL"

トークナイザーからフィルターへ: "hot-spot", "RoboBlaster/9000", "100XL"

出力: "hot", "spot", "Robo", "Blaster", "9000", "100", "XL"

例

大文字と小文字の変更で分割せず、数値部分を生成しないでください。数値部分のみを含むトークンは、最終的に破棄されることに注意してください。

入力: "hot-spot RoboBlaster/9000 100-42"

トークナイザーからフィルターへ: "hot-spot", "RoboBlaster/9000", "100-42"

出力: "hot", "spot", "RoboBlaster", "9000"

例

単語部分と数値部分を連結しますが、同じトークン内に発生する単語部分と数値部分は連結しません。

入力: "hot-spot 100+42 XL40"

トークナイザーからフィルターへ: "hot-spot"(1), "100+42"(2), "XL40"(3)

出力: "hot"(1), "spot"(2), "hotspot"(2), "100"(3), "42"(4), "10042"(4), "XL"(5), "40"(6)

例

すべて連結します。単語および/または数値部分が結合されます。

入力: "XL-4000/ES"

トークナイザーからフィルターへ: "XL-4000/ES"(1)

出力: "XL"(1), "4000"(2), "ES"(3), "XL4000ES"(3)

例

"AstroBlaster" および "XL-5000" (その他) を含む保護された単語リストを使用します。

入力: "FooBar AstroBlaster XL-5000 ==ES-34-"

トークナイザーからフィルターへ: "FooBar", "AstroBlaster", "XL-5000", "==ES-34-"

出力: "FooBar", "FooBar", "AstroBlaster", "XL-5000", "ES", "34"