elasticsearch-hadoop 기능 테스트.

[프로젝트]

https://github.com/elasticsearch/elasticsearch-hadoop

[소개]

http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/requirements.html

hadoop 이랑 연동 하기 위해서 위 프로젝트를 테스트 하였습니다.

정말 예전에 나왔던것 보다 많이 좋아졌내요.

간략하게 정리 하면 hdfs 에 저장되어 있는 데이터를 elasticsearch 로 migration 하는 거라고 보시면 됩니다.

당연한 이야기 입니다만, es 로 데이터가 들어 가기 때문에 당연히 검색도 되겠죠.

저 같은 경우는 mapreducer 와 hive 를 까지만 테스트 하였는데요.

기능 동작 잘되고 활용할 부분이 많을 듯 싶내요.

어떻게 활용할지는 아래 링크 참고 하시면 좋을 듯 합니다.

http://hortonworks.com/blog/fast-search-and-analytics-on-hadoop-with-elasticsearch-and-hdp/

Use Cases

Here are just some of the use case results from Elasticsearch:

• Perform real-time analysis of 200 million conversations across the social web each day helping major brands make business decisions based on social data
• Run marketing campaigns that quickly identify the right key influencers from a database of 400 million users
• Provide real-time search results from an index of over 10 billion documents
• Power intelligent search and better inform recommendations to millions of customers a month
• Increase the speed of searches by 1000 times
• Instant search for 100,000 source code repositories containing tens of billions lines of code

위 그림에서만 보면 호튼웍스가 꼭 끼어야 할 것 처럼 보이지만 뭐 없어도 됩니다.

그냥 hadoop + elasticsearch 로 활용 하시면 되니까.. 잘 만들어 쓰시면 좋겠내요.

실제 제가 참고한 코드는

[MapReducer]

http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/mapreduce.html

[Hive]

http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/hive.html

이렇습니다.

[SW Version]

hadoop 1.2.1

hive 0.12.0

elasticsearch-hadoop-1.3.0-SNAMSHOP