lucene
분석

맞춤 분석기 생성하기

대부분의 분석 사용자 정의는 Tokenizer 및 TokenFilters가 정의 된 createComponents 클래스에 있습니다.

CharFilters는 initReader 메서드에 추가 할 수 있습니다.

Analyzer analyzer = new Analyzer() {
    @Override
    protected Reader initReader(String fieldName, Reader reader) {
        return new HTMLStripCharFilter(reader);
    }
       
    @Override
    protected TokenStreamComponents createComponents(String fieldName) {
        Tokenizer tokenizer = new StandardTokenizer();
        TokenStream stream = new StandardFilter(tokenizer);
        //Order matters!  If LowerCaseFilter and StopFilter were swapped here, StopFilter's
        //matching would be case sensitive, so "the" would be eliminated, but not "The"
        stream = new LowerCaseFilter(stream);
        stream = new StopFilter(stream, StopAnalyzer.ENGLISH_STOP_WORDS_SET);
        return new TokenStreamComponents(tokenizer, stream);
    }
};

분석 토큰을 ​​통해 수동 반복

TokenStream stream = myAnalyzer.tokenStream("myField", textToAnalyze);
stream.addAttribute(CharTermAttribute.class);
stream.reset();
while(stream.incrementToken()) {
    CharTermAttribute token = stream.getAttribute(CharTermAttribute.class);
    System.out.println(token.toString());
}

stream.close();

많은 속성 을 사용할 수 있습니다. 가장 일반적인 것은 분석 된 용어를 String으로 가져 오는 데 사용되는 CharTermAttribute 입니다.