'Elastic' 카테고리의 글 목록 (13 Page)

[Logstash] --config.reload.automatic 사용 경험 공유

Elastic/Logstash 2018. 10. 4. 11:28

Logstash 사용 시 --config.reload.automatic 설정을 통해서 conf 파일에 대한 변경 사항을 데몬 재시작 없이 할 수 있습니다.

하지만 모든 변경 사항에 대해서 반영이 가능 하지 않기 때문에 사용 시 주의 하셔야 합니다.

크게 사용 방법은 두 가지로 나뉩니다.

1. --config.reload.automatic 을 통한 자동 갱신

2. Logstash 재시작을 통한 갱신

2번의 과정을 하고 싶지 않기 때문에 1번을 설정해서 사용을 하는데 문제는 이게 모든 plugins 에서 동작 하지는 않는 다는 것입니다.

만약 아래와 같은 에러를 접하셨다면, 해당 plugin 또는 pipeline 은 auto reload 설정이 동작 하지 않는 것들 이니 참고 하시기 바랍니다.

[에러내용]

[ERROR][logstash.agent ] Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>“Cannot reload pipeline, because the existing pipeline is not reloadable”, :backtrace=>nil}

쉽게는 기본적인 syntax 오류 같은건 바로 바로 반영 됩니다. :)

저작자표시 비영리 변경금지

:

[Elasticsearch] _analyze 예제 - 특수문자 제거

Elastic/Elasticsearch 2018. 10. 4. 08:02

색인 시점에 text 에 포함된 특수 문자를 제거 하기 위한 예시 입니다.

[실행]

curl -X POST \

http://localhost:9200/_analyze \

-H 'cache-control: no-cache' \

-H 'content-type: application/json' \

-d '{

"tokenizer": "arirang_tokenizer",

"filter":[

"lowercase",

"trim",

"arirang_filter"

],

"char_filter" : [{

"type": "pattern_replace",

"pattern": "\\p{Punct}|\\d",

"replacement": " "

}],

"text": "애플(&<>,./^!@+=;:%)파이"

}'

[결과]

{

"tokens": [

{

"token": "애플",

"start_offset": 0,

"end_offset": 2,

"type": "korean",

"position": 0

},

{

"token": "파이",

"start_offset": 18,

"end_offset": 20,

"type": "korean",

"position": 1

}

]

}

저작자표시 비영리 변경금지

:

[Logstash] AWS SQS + Logstash 구성

Elastic/Logstash 2018. 8. 28. 09:52

가끔 사용하다가도 처음 사용할 때 이해했던 내용과 다르게 기억 될 때가 있습니다.

그래서 또 복습 합니다.

구성은 아래와 같습니다.

File Log --> Logstash Agent --> SQS -->

Logstash Collector -->

File

Elasticsearch

Logstash Collector -->

File

Elasticsearch

각 서버의 file log 를 input file 로 읽고 output sqs 로 보냅니다.

그런 후 input sqs 를 읽고 multi output 으로 file 과 elasticsearch 로 저장을 하게 되는 구조 입니다.

여기서 AWS 의 SQS 에 대한 메시지 수명 주기에 대한 이해가 필요 합니다.

원문)

https://aws.amazon.com/ko/sqs/details/

Amazon SQS 메시지 수명 주기

Amazon SQS에 저장된 메시지에는 관리가 쉬우면서도 모든 메시지가 처리되도록 보장하는 수명 주기가 있습니다.

1. 메시지를 보내야 하는 시스템에서는 Amazon SQS 대기열을 선택하고 SendMessage를 사용하여 새 메시지를 전송합니다.

2. 메시지를 처리하는 다른 시스템은 처리할 메시지가 더 많이 필요해지므로 ReceiveMessage를 호출하고, 해당 메시지가 반환됩니다.

3. ReceiveMessage에 의해 메시지가 반환되면 해당 메시지는 제한 시간이 초과할 때까지는 다른 어떤 ReceiveMessage에 의해서도 반환되지 않습니다. 이는 다수의 소비자가 동일한 메시지를 동시에 처리하는 것을 방지합니다.

4. 메시지를 처리하는 시스템에서 메시지 작업을 성공적으로 완료하면, 해당 시스템에서는 다른 시스템에서 해당 메시지를 다시 처리하지 않도록 DeleteMessage를 호출하여 메시지를 대기열에서 제거합니다. 시스템에서 메시지 처리에 실패하는 경우, 제한 시간이 초과하는 즉시 다른 ReceiveMessage 호출을 통해 해당 메시지를 읽습니다.

5. 소스 대기열에 배달 못한 편지 대기열이 연결되어 있는 경우 지정한 최대 배달 시도 횟수에 도달한 이후에는 메시지가 배달 못한 편지 대기열로 이동됩니다.

결국 정리 하면, consumer 가 읽어 가면 다른 consumer 는 이미 읽어간 데이터를 읽어 가지 못합니다. 이유는 위 설명에서와 같이 삭제 되기 때문 입니다.

단일 큐를 사용하면서 큐에 쌓인 메시지의 소비는 다중 consumer 로 처리 하고 단일 저장소로 저장 할 경우 쉽게 구성 할 수 있다는 이야기 였습니다.

여기서 제가 착각한 포인트는 읽어간 메시지가 삭제 되지 않는다는 것이였구요.

이런 오해는 "메시지는 최대 14일 동안 대기열에 보관됩니다." 라는 걸 보고 착각한 것이였습니다.

저작자표시 비영리 변경금지

:

[Elasticsearch] id max length

Elastic/Elasticsearch 2018. 8. 1. 13:19

IndexRequest 클래스에 보면 id 에 대한 max length 제한이 들어 있습니다.

혹시 몰라 코드 올려 봅니다.

if (id != null && id.getBytes(StandardCharsets.UTF_8).length > 512) {
    validationException = addValidationError("id is too long, must be no longer than 512 bytes but was: " +
                    id.getBytes(StandardCharsets.UTF_8).length, validationException);
}

최대 512 bytes

저작자표시 비영리 변경금지

:

[Beats] 오랜만에 Filebeat 설치

Elastic/Beats 2018. 7. 25. 20:23

설치환경)

AWS EC2

Ubuntu

다운로드)

https://www.elastic.co/kr/downloads/beats/filebeat

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz

다운 받으시고 그냥 압축 해제 하시면 됩니다.

tree 는 그냥 제 맥북 기준으로 보여 드립니다.

filebeat-6.3.2-darwin-x86_64

├── LICENSE.txt

├── NOTICE.txt

├── README.md

├── fields.yml

├── filebeat

├── filebeat.reference.yml

├── filebeat.yml

├── kibana

│ ├── 5

│ │ ├── dashboard

│ │ │ ├── 0d3f2380-fa78-11e6-ae9b-81e5311e8cab.json

│ │ │ ├── 26309570-2419-11e7-a83b-d5f4cebac9ff.json

│ │ │ ├── 277876d0-fa2c-11e6-bbd3-29c986c96e5a.json

│ │ │ ├── 5517a150-f9ce-11e6-8115-a7c18106d86a.json

│ │ │ ├── 7fea2930-478e-11e7-b1f0-cb29bac6bf8b.json

│ │ │ ├── Filebeat-Apache2-Dashboard.json

│ │ │ ├── Filebeat-MySQL-Dashboard.json

│ │ │ ├── Filebeat-Nginx-Dashboard.json

│ │ │ ├── Filebeat-Traefik-Dashboard.json

│ │ │ ├── Filebeat-syslog-dashboard.json

│ │ │ ├── ML-Nginx-Access-Remote-IP-Count-Explorer.json

│ │ │ ├── ML-Nginx-Remote-IP-URL-Explorer.json

│ │ │ ├── ML-Traefik-Access-Remote-IP-Count-Explorer.json

│ │ │ ├── ML-Traefik-Remote-IP-URL-Explorer.json

│ │ │ ├── b9163ea0-2417-11e7-a83b-d5f4cebac9ff.json

│ │ │ ├── dfbb49f0-0a0f-11e7-8a62-2d05eaaac5cb.json

│ │ │ └── f693d260-2417-11e7-a83b-d5f4cebac9ff.json

│ │ ├── index-pattern

│ │ │ └── filebeat.json

│ │ ├── search

│ │ │ ├── 0ab87b80-478e-11e7-b1f0-cb29bac6bf8b.json

│ │ │ ├── 4ac0a370-0a11-11e7-8b04-eb22a5669f27.json

│ │ │ ├── 62439dc0-f9c9-11e6-a747-6121780e0414.json

│ │ │ ├── 710043e0-2417-11e7-a83b-d5f4cebac9ff.json

│ │ │ ├── 73613570-4791-11e7-be88-2ddb32f3df97.json

│ │ │ ├── 8030c1b0-fa77-11e6-ae9b-81e5311e8cab.json

│ │ │ ├── Apache2-access-logs.json

│ │ │ ├── Apache2-errors-log.json

│ │ │ ├── Filebeat-MySQL-Slow-log.json

│ │ │ ├── Filebeat-MySQL-error-log.json

│ │ │ ├── Filebeat-Nginx-module.json

│ │ │ ├── Filebeat-Traefik-module.json

│ │ │ ├── ML-Filebeat-Nginx-Access.json

│ │ │ ├── ML-Filebeat-Traefik-Access.json

│ │ │ ├── Syslog-system-logs.json

│ │ │ ├── b6f321e0-fa25-11e6-bbd3-29c986c96e5a.json

│ │ │ ├── c876e6a0-2418-11e7-a83b-d5f4cebac9ff.json

│ │ │ ├── eb0039f0-fa7f-11e6-a1df-a78bd7504d38.json

│ │ │ └── ffaf5a30-2413-11e7-a0d9-39604d45ca7f.json

│ │ └── visualization

│ │ ├── 0bc34b60-2419-11e7-a83b-d5f4cebac9ff.json

│ │ ├── 12667040-fa80-11e6-a1df-a78bd7504d38.json

│ │ ├── 2bb0fa70-0a11-11e7-9e84-43da493ad0c7.json

│ │ ├── 2cf77780-2418-11e7-a83b-d5f4cebac9ff.json

│ │ ├── 341ffe70-f9ce-11e6-8115-a7c18106d86a.json

│ │ ├── 346bb290-fa80-11e6-a1df-a78bd7504d38.json

│ │ ├── 3cec3eb0-f9d3-11e6-8a3e-2b904044ea1d.json

│ │ ├── 51164310-fa2b-11e6-bbd3-29c986c96e5a.json

│ │ ├── 5c7af030-fa2a-11e6-bbd3-29c986c96e5a.json

│ │ ├── 5dd15c00-fa78-11e6-ae9b-81e5311e8cab.json

│ │ ├── 5ebdbe50-0a0f-11e7-825f-6748cda7d858.json

│ │ ├── 6295bdd0-0a0e-11e7-825f-6748cda7d858.json

│ │ ├── 78b74f30-f9cd-11e6-8115-a7c18106d86a.json

│ │ ├── 78b9afe0-478f-11e7-b1f0-cb29bac6bf8b.json

│ │ ├── Apache2-access-unique-IPs-map.json

│ │ ├── Apache2-browsers.json

│ │ ├── Apache2-error-logs-over-time.json

│ │ ├── Apache2-operating-systems.json

│ │ ├── Apache2-response-codes-of-top-URLs.json

│ │ ├── Apache2-response-codes-over-time.json

│ │ ├── Errors-over-time.json

│ │ ├── ML-Nginx-Access-Map.json

│ │ ├── ML-Nginx-Access-Remote-IP-Timechart.json

│ │ ├── ML-Nginx-Access-Response-Code-Timechart.json

│ │ ├── ML-Nginx-Access-Top-Remote-IPs-Table.json

│ │ ├── ML-Nginx-Access-Top-URLs-Table.json

│ │ ├── ML-Nginx-Access-Unique-Count-URL-Timechart.json

│ │ ├── ML-Traefik-Access-Map.json

│ │ ├── ML-Traefik-Access-Remote-IP-Timechart.json

│ │ ├── ML-Traefik-Access-Response-Code-Timechart.json

│ │ ├── ML-Traefik-Access-Top-Remote-IPs-Table.json

│ │ ├── ML-Traefik-Access-Top-URLs-Table.json

│ │ ├── ML-Traefik-Access-Unique-Count-URL-Timechart.json

│ │ ├── MySQL-Error-logs-levels.json

│ │ ├── MySQL-Slow-logs-by-count.json

│ │ ├── MySQL-Slow-queries-over-time.json

│ │ ├── MySQL-error-logs.json

│ │ ├── MySQL-slowest-queries.json

│ │ ├── New-Visualization.json

│ │ ├── Nginx-Access-Browsers.json

│ │ ├── Nginx-Access-Map.json

│ │ ├── Nginx-Access-OSes.json

│ │ ├── Nginx-Access-Response-codes-by-top-URLs.json

│ │ ├── Sent-sizes.json

│ │ ├── Syslog-events-by-hostname.json

│ │ ├── Syslog-hostnames-and-processes.json

│ │ ├── Traefik-Access-Browsers.json

│ │ ├── Traefik-Access-Map.json

│ │ ├── Traefik-Access-OSes.json

│ │ ├── Traefik-Access-Response-codes-by-top-URLs.json

│ │ ├── a59b5e00-2417-11e7-a83b-d5f4cebac9ff.json

│ │ ├── c5411910-0a87-11e7-8b04-eb22a5669f27.json

│ │ ├── d16bb400-f9cc-11e6-8115-a7c18106d86a.json

│ │ ├── d1726930-0a7f-11e7-8b04-eb22a5669f27.json

│ │ ├── d2864600-478f-11e7-be88-2ddb32f3df97.json

│ │ ├── d56ee420-fa79-11e6-a1df-a78bd7504d38.json

│ │ ├── d8e5dc40-2417-11e7-a83b-d5f4cebac9ff.json

│ │ ├── dc589770-fa2b-11e6-bbd3-29c986c96e5a.json

│ │ ├── dcccaa80-4791-11e7-be88-2ddb32f3df97.json

│ │ ├── e121b140-fa78-11e6-a1df-a78bd7504d38.json

│ │ ├── f398d2f0-fa77-11e6-ae9b-81e5311e8cab.json

│ │ └── fb09d4b0-2418-11e7-a83b-d5f4cebac9ff.json

│ └── 6

│ ├── dashboard

│ │ ├── Filebeat-Kafka-overview.json

│ │ ├── Filebeat-Mongodb-overview.json

│ │ ├── Filebeat-Postgresql-overview.json

│ │ ├── Filebeat-Postgresql-slowlogs.json

│ │ ├── Filebeat-apache2.json

│ │ ├── Filebeat-auditd.json

│ │ ├── Filebeat-auth-sudo-commands.json

│ │ ├── Filebeat-icinga-debug-log.json

│ │ ├── Filebeat-icinga-main-log.json

│ │ ├── Filebeat-icinga-startup-errors.json

│ │ ├── Filebeat-iis.json

│ │ ├── Filebeat-logstash-log.json

│ │ ├── Filebeat-logstash-slowlog.json

│ │ ├── Filebeat-mysql.json

│ │ ├── Filebeat-new-users-and-groups.json

│ │ ├── Filebeat-nginx-logs.json

│ │ ├── Filebeat-nginx-overview.json

│ │ ├── Filebeat-redis.json

│ │ ├── Filebeat-ssh-login-attempts.json

│ │ ├── Filebeat-syslog.json

│ │ ├── Filebeat-traefik-overview.json

│ │ ├── ml-nginx-access-remote-ip-count-explorer.json

│ │ ├── ml-nginx-remote-ip-url-explorer.json

│ │ ├── ml-traefik-access-remote-ip-count-explorer.json

│ │ ├── ml-traefik-remote-ip-url-explorer.json

│ │ ├── osquery-compliance.json

│ │ └── osquery-rootkit.json

│ └── index-pattern

│ └── filebeat.json

├── module

│ ├── apache2

│ │ ├── access

│ │ │ ├── config

│ │ │ │ └── access.yml

│ │ │ ├── ingest

│ │ │ │ └── default.json

│ │ │ └── manifest.yml

│ │ ├── error

│ │ │ ├── config

│ │ │ │ └── error.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── auditd

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── icinga

│ │ ├── debug

│ │ │ ├── config

│ │ │ │ └── debug.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ ├── main

│ │ │ ├── config

│ │ │ │ └── main.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ ├── module.yml

│ │ └── startup

│ │ ├── config

│ │ │ └── startup.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ └── manifest.yml

│ ├── iis

│ │ ├── access

│ │ │ ├── config

│ │ │ │ └── iis-access.yml

│ │ │ ├── ingest

│ │ │ │ └── default.json

│ │ │ └── manifest.yml

│ │ └── error

│ │ ├── config

│ │ │ └── iis-error.yml

│ │ ├── ingest

│ │ │ └── default.json

│ │ └── manifest.yml

│ ├── kafka

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── logstash

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ ├── pipeline-json.json

│ │ │ │ └── pipeline-plain.json

│ │ │ └── manifest.yml

│ │ ├── module.yml

│ │ └── slowlog

│ │ ├── config

│ │ │ └── slowlog.yml

│ │ ├── ingest

│ │ │ ├── pipeline-json.json

│ │ │ └── pipeline-plain.json

│ │ └── manifest.yml

│ ├── mongodb

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── mysql

│ │ ├── error

│ │ │ ├── config

│ │ │ │ └── error.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ ├── module.yml

│ │ └── slowlog

│ │ ├── config

│ │ │ └── slowlog.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ └── manifest.yml

│ ├── nginx

│ │ ├── access

│ │ │ ├── config

│ │ │ │ └── nginx-access.yml

│ │ │ ├── ingest

│ │ │ │ └── default.json

│ │ │ ├── machine_learning

│ │ │ │ ├── datafeed_low_request_rate.json

│ │ │ │ ├── datafeed_remote_ip_request_rate.json

│ │ │ │ ├── datafeed_remote_ip_url_count.json

│ │ │ │ ├── datafeed_response_code.json

│ │ │ │ ├── datafeed_visitor_rate.json

│ │ │ │ ├── low_request_rate.json

│ │ │ │ ├── remote_ip_request_rate.json

│ │ │ │ ├── remote_ip_url_count.json

│ │ │ │ ├── response_code.json

│ │ │ │ └── visitor_rate.json

│ │ │ └── manifest.yml

│ │ ├── error

│ │ │ ├── config

│ │ │ │ └── nginx-error.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── osquery

│ │ ├── module.yml

│ │ └── result

│ │ ├── config

│ │ │ └── result.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ └── manifest.yml

│ ├── postgresql

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ └── module.yml

│ ├── redis

│ │ ├── log

│ │ │ ├── config

│ │ │ │ └── log.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ ├── module.yml

│ │ └── slowlog

│ │ ├── config

│ │ │ └── slowlog.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ └── manifest.yml

│ ├── system

│ │ ├── auth

│ │ │ ├── config

│ │ │ │ └── auth.yml

│ │ │ ├── ingest

│ │ │ │ └── pipeline.json

│ │ │ └── manifest.yml

│ │ ├── module.yml

│ │ └── syslog

│ │ ├── config

│ │ │ └── syslog.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ └── manifest.yml

│ └── traefik

│ ├── access

│ │ ├── config

│ │ │ └── traefik-access.yml

│ │ ├── ingest

│ │ │ └── pipeline.json

│ │ ├── machine_learning

│ │ │ ├── datafeed_low_request_rate.json

│ │ │ ├── datafeed_remote_ip_request_rate.json

│ │ │ ├── datafeed_remote_ip_url_count.json

│ │ │ ├── datafeed_response_code.json

│ │ │ ├── datafeed_visitor_rate.json

│ │ │ ├── low_request_rate.json

│ │ │ ├── remote_ip_request_rate.json

│ │ │ ├── remote_ip_url_count.json

│ │ │ ├── response_code.json

│ │ │ └── visitor_rate.json

│ │ ├── manifest.yml

│ │ └── tests

│ │ ├── test.log

│ │ └── test.log-expected.json

│ └── module.yml

└── modules.d

├── apache2.yml.disabled

├── auditd.yml.disabled

├── icinga.yml.disabled

├── iis.yml.disabled

├── kafka.yml.disabled

├── logstash.yml.disabled

├── mongodb.yml.disabled

├── mysql.yml.disabled

├── nginx.yml.disabled

├── osquery.yml.disabled

├── postgresql.yml.disabled

├── redis.yml.disabled

├── system.yml.disabled

└── traefik.yml.disabled

97 directories, 254 files

도움말)

Usage:

filebeat [flags]

filebeat [command]

Available Commands:

export Export current config or index template

help Help about any command

keystore Manage secrets keystore

modules Manage configured modules

run Run filebeat

setup Setup index template, dashboards and ML jobs

test Test config

version Show current version info

Flags:

-E, --E setting=value Configuration overwrite

-M, --M setting=value Module configuration overwrite

-N, --N Disable actual publishing for testing

-c, --c string Configuration file, relative to path.config (default "filebeat.yml")

--cpuprofile string Write cpu profile to file

-d, --d string Enable certain debug selectors

-e, --e Log to stderr and disable syslog/file output

-h, --help help for filebeat

--httpprof string Start pprof http server

--memprofile string Write memory profile to this file

--modules string List of enabled modules (comma separated)

--once Run filebeat only once until all harvesters reach EOF

--path.config string Configuration path

--path.data string Data path

--path.home string Home path

--path.logs string Logs path

--setup Load sample Kibana dashboards and setup Machine Learning

--strict.perms Strict permission checking on config files (default true)

-v, --v Log at INFO level

Use "filebeat [command] --help" for more information about a command.

filebeat.yml 예제)

filebeat:

prospectors:

-

paths:

- /mnt/apps/apache-tomcat/logs/catalina.out

encoding: utf-8

input_type: log

exclude_lines: ['DEBUG', 'INFO']

include_lines: ['(E|e)rror', 'ERROR', '(E|e)xception', 'EXCEPTION']

document_type: error-log

ignore_older: 5m

scan_frequency: 10s

multiline:

pattern: '^[[:space:]]+|^Caused by:'

negate: false

match: after

max_lines: 10

timeout: 5s

tail_files: true

backoff: 1s

max_backoff: 10s

backoff_factor: 2

registry_file: /mnt/config/filebeat/.filebeat-tomcat

output:

logstash:

hosts: ["localhost:5044"]

shipper:

logging:

to_syslog: false

to_files: true

level: warning

files:

path: /mnt/logs/filebeat

name: filebeat-tomcat.log

rotateeverybytes: 10485760 # = 10MB

logstash 예제)

input {

beats {

port => 5044

}

output {

stdout { codec => rubydebug }

http {

url => "https://slack.com/api/chat.postMessage"

content_type => "application/json"

http_method => "post"

format => "json"

mapping => [ "channel", "slack-bot", "text", "%{message}" ]

headers => ["Authorization", "Bearer xoxb-XXXXXXXXXXXXXXXXXXXXX"]

}

# elasticsearch {

# host => "localhost"

# port => "9200"

# protocol => "http"

# index => "%{[@metadata][index]}"

# document_type => "%{[@metadata][type]}"

# }

}

위 예제는 그냥 filebeat 이 log file 을 리스닝 하고 있다가 error 또는 exception 발생 시 바로 slack 으로 해당 에러는 보내주는 예제 입니다.

저작자표시 비영리 변경금지

:

[Elasticsearch] Dynamic template - _default_ deprecated.

Elastic/Elasticsearch 2018. 7. 25. 09:49

늘 그렇지만 다 기억 못합니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-templates.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/default-mapping.html

_default_ 가 deprecated 되었습니다.

이와 더불어 사용시 아래와 같은 에러가 발생을 경험 할 수 있는데요.

org.elasticsearch.index.mapper.MapperParsingException: Failed to parse mapping [_default_]: No field type matched on [integer], possible values are [object, string, long, double, boolean, date, binary]

"mappings": {
  "_default_": {
    "dynamic_templates": [
      {
...중략...

우선 _default_ 는 다른 type name 을 작성해 주시면 됩니다.

원문에서와 같이 _doc 이나 _log 나 default 와 같은...

그리고 저 위에 에러는 dynamic templates 사용 시 field type 정보를 보시면 이해가 되실 겁니다.

우리가 흔히 알고 있는 mapping field type 과 조금 다르기 때문에 잘 인지 하고 계시면 삽질은 피하실 수 있습니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-templates.html#match-mapping-type

match_mapping_type

The match_mapping_type matches on the datatype detected by dynamic field mapping, in other words, the datatype that Elasticsearch thinks the field should have. Only the following datatypes can be automatically detected: boolean, date, double, long, object, string. It also accepts * to match all datatypes.

더불어서 잘못 생성된 템플릿을 삭제해야 할 필요가 있습니다.

가끔 아래와 같은 에러가 발생 하는데 이럴 경우 템플릿을 삭제 후 다시 등록 하시면 됩니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html#delete

java.lang.IllegalArgumentException: Rejecting mapping update to [monitoring-20180725] as the final mapping would have more than 1 type: [log, doc]

DELETE /_template/template_1

저작자표시 비영리 변경금지

:

[Curator] 5.5 사용해 보기

Elastic/Curator 2018. 7. 13. 19:34

오랜만에 사용해 보려고 했더니 또 기억이나질 않아서 기록해 봅니다.

공식문서)

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/index.html

설치)

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/pip.html

설치 방법이 예전이랑 좀 달라진게 있더군요.

저는 아래 방법으로 설치 했습니다.

$ pip install --user elasticsearch-curator

실행)

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/command-line.html

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/singleton-cli.html

$ curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML

이 방식으로 이전 3.x 버전에서는 command 를 주고 사용했었으나 4.2 버전 이후 부터는 Singleton command line interface 를 사용해야 합니다.

- prefix 방식

$ curator_cli --host localhost --port 9200 show_indices --filter_list '{"filtertype":"pattern", "kind":"prefix", "value":"search-"}'

- regex 방식

$ curator_cli --host localhost --port 9200 show_indices --filter_list '{"filtertype":"pattern", "kind":"regex", "value":"^(search-).*$"}'

예제)

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/examples.html

더 많은 예제는 위 문서에서 찾아 보시면서 해보시면 될 것 같습니다.

저작자표시 비영리 변경금지

:

[Logstash] http output plugin - slack chat

Elastic/Logstash 2018. 7. 9. 12:19

예전에는 output slack_chat 이라고 플러그인을 만들어서 사용을 했었는데 logstash output http 가 있어서 그냥 이걸로 바로 사용하겠습니다.

공식문서에 잘못된 정보가 있기 때문에 그대로 보고 따라 하시면 시간을 낭비 하실 수 있습니다.

(6.3.0 에서 테스트 되었습니다.)

Reference)

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-http.html

input {

stdin {}

}

output {

stdout { codec => rubydebug }

http {

url => "https://slack.com/api/chat.postMessage"

content_type => "application/json"

http_method => "post"

format => "json"

mapping => [ "channel", "CXXXXXXXXX", "text", "%{message}" ]

headers => ["Authorization", "Bearer xoxb-xxxxxxxxxxx"]

}

문서 내 잘못된 정보)

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-http.html#plugins-outputs-http-mapping

mapping 이 hash 로 되어 있는데 실제 나와 있는 예제로는 동작 하지 않습니다.

잘못된 예)

   mapping => {"foo" => "%{host}"
              "bar" => "%{type}"}

바른 예)

mapping => [ "channel", "CXXXXXXXXX", "text", "%{message}" ]

저작자표시 비영리 변경금지

:

[Elasticsearch] Default field type 값.

Elastic/Elasticsearch 2018. 7. 5. 11:04

elasticsearch 문서 모델링 하면서 잘 알고 있다고 생각 하지만 늘 그렇듯 잘 잊어버립니다.

그래서 올려 봅니다. (어딘가에 글 올려 놓은게 있긴 할테지만.. )

우선, FieldMapper 클래스를 확인 합니다.

여기서 보면 MappedFieldType 클래스로 넘어 가게 됩니다.

그래서 default field type 은 아래와 같습니다.

public MappedFieldType() {
    setTokenized(true);
    setStored(false);
    setStoreTermVectors(false);
    setOmitNorms(false);
    setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS);
    setBoost(1.0f);
}

저작자표시 비영리 변경금지

:

[Kibana] start and stop 스크립트

Elastic/Kibana 2018. 7. 5. 09:52

Kibana 실행 스크립트.

$ bin/kibana 귀찮아서 그냥 es 에서 쓰던거 복붙.

[start.sh]

#!/bin/bash

DIR_NAME=`dirname "$0"`

DIR_HOME=`cd $DIR_NAME; cd ..; pwd`

$DIR_HOME/bin/kibana> /dev/null 2>&1 & KIBANA_PID=$!

echo $KIBANA_PID > $DIR_HOME/bin/kibana.pid

[stop.sh]

#!/bin/bash

DIR_NAME=`dirname "$0"`

DIR_HOME=`cd $DIR_NAME; cd ..; pwd`

KIBANA_PID=`cat $DIR_HOME/bin/kibana.pid`

kill -9 $KIBANA_PID

echo "Kibana Daemon($KIBANA_PID) is killed"

rm -f $DIR_HOME/bin/kibana.pid

저작자표시 비영리 변경금지

:

jjeong

'Elastic'에 해당되는 글 498건

[Logstash] --config.reload.automatic 사용 경험 공유

[Elasticsearch] _analyze 예제 - 특수문자 제거

[Logstash] AWS SQS + Logstash 구성

[Elasticsearch] id max length

[Beats] 오랜만에 Filebeat 설치

[Elasticsearch] Dynamic template - _default_ deprecated.

[Curator] 5.5 사용해 보기

[Logstash] http output plugin - slack chat

[Elasticsearch] Default field type 값.

[Kibana] start and stop 스크립트

티스토리툴바