[Elasticsearch - The Definitive Guide] Controlling Stemming

형태소 분석에서 stemming 관련 글 입니다.

언어학에 대한 지식은 검색 기술에서도 매우 중요 합니다.

하지만 저는 컴퓨터과학을 전공하였기에 모르는건 기록하고 학습을 해야... 그래서 기록합니다.

원문링크)

https://www.elastic.co/guide/en/elasticsearch/guide/current/controlling-stemming.html

원문 Snippet)

- Preventing Stemming 

당연히 아시겠지만, stopwords 와는 다릅니다.

PUT /my_index { "settings": { "analysis": { "filter": { "no_stem": { "type": "keyword_marker", "keywords": [ "skies" ] } }, "analyzer": { "my_english": { "tokenizer": "standard", "filter": [ "lowercase", "no_stem", "porter_stem" ] } } } } }

GET /my_index/_analyze?analyzer=my_english sky skies skiing skis

- Customizing Stemming

추출 term에 대한 맵핑 정보를 사용하는 방법이며, 조금은 다르지만 synonym과 비슷 합니다.

역시 색인 및 검색 시 사용이 가능합니다.

PUT /my_index { "settings": { "analysis": { "filter": { "custom_stem": { "type": "stemmer_override", "rules": [ "skies=>sky", "mice=>mouse", "feet=>foot" ] } }, "analyzer": { "my_english": { "tokenizer": "standard", "filter": [ "lowercase", "custom_stem", "porter_stem" ] } } } } } GET /my_index/_analyze?analyzer=my_english The mice came down from the skies and ran over my feet