[Elasticsearch] Merge Throttle 설정 튜닝
Elastic/Elasticsearch 2015. 12. 11. 15:56bulk indexing 을 하다 보면 색인 하는 과정에서 느려지는 현상을 경험 할 수 있습니다.
여러가지 원인이 있을 수 있지만 간단하게 설정을 통해서 성능 향상을 시킬수 있는 방법을 소개해 드립니다.
기본적인 정보는 이미 Elasticsearch Reference 에서 제공하고 있기 때문에 관련 내용을 찾아 보시면 이해 하시는데 도움이 됩니다.
참고문서)
Elasticsearch 역시 lucene 기반의 검색 엔진이기 때문에 과거부터 전해져 오는 segment merge 시 발생 하는 성능 저하 문제는 피해 갈 수가 없습니다.
이를 좀 더 효율적으로 사용하기 위해 아래 설정을 활용 하시면 됩니다.
Merge throttle 은 두 가지 방법을 제공해 주고 있습니다.
1. Node level throttle
이것은 merge 동작은 shard 단위로 발생을 하기 때문에 같은 node 에 있는 shard 들은 동일한 자원을 사용하게 됩니다.
즉, disk i/o 에 대한 경합을 할 수 밖에 없는 것인데요.
이런 이유로 node level 설정을 사용하게 됩니다.
indices.store.throttle.type: “merge” ## all, none
indices.store.throttle.max_bytes_per_sec: “20mb"
※ 여기서 수정이 필요한 부분은 색인 데이터의 크기를 감안해서 max_bytes_per_sec 을 적합한 크기로 설정해 주시면 됩니다.
2. Index level throttle
특정 index 에 대해서 관리를 하고 싶을 때 node level throttle 설정을 무시 하고 설정을 하도록 해주는 것입니다.
설정 방법은 index update settings 를 통해서 할 수 있습니다.
index.store.throttle.type: “node"
index.store.throttle.max_bytes_per_sec: “20mb"
※ 여기서 수정이 필요한 부분은 색인 데이터의 크기를 감안해서 max_bytes_per_sec 을 적합한 크기로 설정해 주시면 됩니다.
※ throttle type을 none 으로 할 경우 disable merge 설정이 됩니다.