https://github.com/HowookJeong/ecos-installer-web

배포 및 실행 가이드

Prerequisite)

• bastion machine 은 ubuntu 를 사용 합니다.
• bastion 및 ec2 instance 에 ssh tunnuling 을 위한 key pairs 생성을 합니다.
• 로컬 장비에서 실행 하기 위해 계정의 access/secret key 생성을 합니다.

Step 1) Local 실행 환경 구성

$ aws configure --profile ecos 

Put region : ap-northeast-2
Put output : json
Put access key : xxxxxxxxxxxxxx
Put secret key : xxxxxxxxxxxxxx
Put key pairs file to ~/.ssh/

Step 2) Terraform & Ansible 환경 설정

$ vi docker-compose.yml

 environment:
 ...중략...
   - serverPort=${SERVER_PORT}
   - configWorkingPath=/tmp/home/mzc/app
   - configTerraformAwsBastionIp=${BASTION_IP}
   - configTerraformAwsSecurityGroup=sg-xxxxxxxxxxxxxxxx
   - configTerraformAwsAz=ap-northeast-2a
   - configTerraformAwsAmi=ami-061b0ee20654981ab
   - configTerraformAwsSubnet=subnet-xxxxxxxxxxxxxxxx
   - configTerraformAwsKeyName=ec2key-gw
   - configTerraformAwsPemFile=ec2key-gw.pem
   - configTerraformAwsPathElasticsearch=/tmp/home/mzc/app/terraform/_CLUSTERNAME_
   - configTerraformAwsPathKibana=/tmp/home/mzc/app/terraform/_CLUSTERNAME_/kibana
   - configTerraformAwsBackendBucket=megatoi-terraform-state
   - configTerraformAwsBackendKeyElasticsearch=_CLUSTERNAME_/terraform.tfstate
   - configTerraformAwsBackendKeyKibana=_CLUSTERNAME_/kibana/terraform.tfstate
 volumes:
 ...중략...
   - /Users/계정/.aws:/root/.aws
   - /Users/계정/.ssh:/root/.ssh

Step 3) 배포 된 docker image load

$ sudo docker load -i ecos-installer-web-0.0.1.tar

Step 4) 컨테이너 실행/중지

$ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose up -d

$ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose down

Local 개발 환경

• $ cd .aws
• $ aws configure --profile ecos
• $ vi config

[profile ecos]

region = ap-northeast-2

output = json

• $ vi credentials

[ecos]

aws_access_key_id = xxxxxxxxxxxxxxxxx

aws_secret_access_key = xxxxxxxxxxxxxxxxxx

Project Docker Compose 설정

...중략...
    volumes:
      - /Users/mzc02-henryjeong/.aws:/root/.aws
      - /Users/mzc02-henryjeong/.ssh:/root/.ssh
      - /Users/mzc02-henryjeong/Temp/logs:/home/mzc/logs
      - /var/run/docker.sock:/var/run/docker.sock
      - /Users/mzc02-henryjeong/Works/app/terraform:/home/mzc/backup/terraform
...중략...

• aws 접속 및 ssh 터널링을 위해 관련 path 에 대한 mount 를 합니다.

Build Step

• $ ./gradlew clean build bootJar -Pprofile=dev -x test
• $ docker build --build-arg BASTION_IP=xxx.xxx.xxx.xxx --tag ecos-installer-web:0.0.1 .
• OR $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose build
• $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose up
• $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose down
• $ docker image ls
• $ docker rmi -f 7f52709a6615
• $ docker exec -it ecos-installer-web /bin/sh
• $ sudo docker save -o ecos-installer-web-0.0.1.tar ecos-installer-web:0.0.1
• $ sudo docker load -i ecos-installer-web-0.0.1.tar

Terraform path 와 Elasticsearch Cluster 명명 규칙

• Terraform File Path : /tmp/home/mzc/app/terraform/${CLUSTERNAME}/${TIMESTAMP}
• Backend Key : ${CLUSTERNAME}/${TIMESTAMP}/terraform.tfstate
• 신규 생성 시
  • Step 1) Terraform File Path : /tmp/home/mzc/app/terraform/elasticsearch
  • Step 1) Backend Key : elasticsearch/terraform.tfstate
• 추가 시
  • Step 1) Terraform File Path : /tmp/home/mzc/app/terraform/elasticsearch/1598860075233
  • Step 1) Backend Key : elasticsearch/1598860075233/terraform.tfstate
  • Step 2) Backend Key : elasticsearch/1598860075233/terraform.tfstate
  • 기존 클러스터에 Join 시키기 위해 master ip 정보를 구해야 함

생성 및 설정

• aws account access/secret key 생성
• aws configure 설정
• bastion 서버 생성
• vpc 내 정보 설정
  • security group
  • subnet
  • az
  • ec2 네트워크 및 보안에서 키 페어 생성 및 등록 (keyName, keyPem)
  • ami
• terraform 정보 설정
  • terraform working path 설정
  • terraform backend 설정
• aws cluster instance 설정
  • node topology 설정 (node 유형)
  • instance type 설정 (cpu, mem, network 성능)
  • instance size 설정 (node 규모)
  • disk volume size 설정 (elasticsearch storage)
• elasticsearch cluster 설정
  • cluster name 설정
  • 설치를 위한 elasticsearch version 지정
  • port 설정 (http, tcp)
  • path.data/logs 설정
• ansible 설정
  • working path 설정
  • bastion ip 설정

Service Flow

• TerraformService

  • terraform
    • createTerraformS3Backend
    • readTerraformTemplateForElasticsearch
    • writeTerraformTemplateForElasticsearch
    • runTerraformTemplateForElasticsearch
    • backupTerraformTemplateStateForElasticsearch (if it is not s3 backend)

• ElasticsearchService

  • docker
    • createDockerComposeConfiguration
  • ansible
    • createAnsibleInventories
    • createAnsibleRoles

runAnsiblePlaybook

Elastic Stack 은 서비스나 데이터를 다루는 모든 기업에서 사용을 하고 있는 매우 훌륭한 오픈소스 입니다.

기본적으로 

• Elasticsearch
• Kibana
• Logstash
• Beats

이 4가지 Stack 을 이야기 하고 있으며,

잘 활용 하실 경우 현존 하는 많은 상용 도구들을 모두 재낄 수 있습니다.

단, 기술 내재화와 역량을 확보 하겠다는 의지가 있을 경우에 한해서 입니다.

제가 지금까지 다니던 회사는 주로 서비스 회사 였기 때문에,

특정 도메인에 필요로 하는 기능 개발과 스타트업 특성에 따른 빠른 개발을 할 수 밖에 없었습니다.

올해 회사를 옮기면서 그 동안 만나 봤던 분들의 어려움을 해결 할 수 있는 방법은 없을까 하고 고민 하다,

Elastic Stack 에 대한 설치 자동화 프로그램을 만들어 보기로 했습니다.

그 결과로 우선 1차 버전을 이야기 해볼까 합니다.

Elasticsearch 는 누구나 쉽게 사용이 가능 합니다.

검색 (IR) 에 대한 지식이나 전문성이 없어도 Elasticsearch 를 도구적으로 설치 하고 사용 하는 데는 별 문제가 없습니다.

그래서 빠른 PoC 작업을 할 수도 있는 것 같습니다.

하지만 클러스터를 구성 하고 이를 운영 하면서 인프라 관점으로 접근 하다 보면 어려움이 생기게 됩니다.

• 사용하고자 하는 부서는 많고,
• 그렇다고 단일 클러스터로 구성해서 사용하라고 제공해 줄 수도 없고,
• 인프라 생성 요청도 해야 하고,
• 설정 및 설치도 해야 하고,
• 문제가 생기면 위 과정을 다시 반복 해야 하고,
• 클러스터 최적화는 또 어떻게 해야 하고,

등등....

요청자와 생성자의 편의를 제공 할 수 있으면 어떨까 싶었습니다.

제가 만들어 본 Application 은 아래 Stack 을 이용해서 개발이 되었습니다.

• Spring Framework
• Terraform
• Ansible
• Docker
• AWS (EC2, S3)
• Elasticsearch

AWS 기반으로 먼저 개발을 진행을 했고 추후 Azure 나 GCP 로도 확장을 할 예정입니다.

기본 동작 방식은 아래와 같습니다.

1.  Application Container

  - 인프라 구성을 위한 정보를 설정 하고 설치 파일을 생성 합니다.

    - Terraform 관련 파일을 생성 합니다. (setup.tf)

  - 생성 될 인스턴스에 설치 할 정보를 설정하고 설치 파일을 생성 합니다. 

    - Ansible 관련 파일을 생성 합니다. (playbook, inventories, roles)

  - 클러스터 구성을 위한 정보를 설정 하고 설치 파일을 생성 합니다.

    - Docker Compose 관련 파일을 생성 합니다. (docker-compose.yml)

2. Terraform Backend - S3

  - Terraform 을 이용해서 생성한 인스턴스의 정보는 s3 backend 에 저장이 됩니다.

3. Bastion

  - 설치 시 보안 관리를 위해 bastion 서버로 ssh tunneling 하여 설치 합니다.

화면 구성은 아래와 같습니다.

그림 1) Terraform 설정 정보와 Elasticsearch Cluster Node Topology 설정 및 실행 화면

그림 2) Ansible 을 이용한 Node 환경 구성 설정 및 실행 화면

그림 3) Elasticsearch Cluster 실행 화면

그림 4) 생성 된 Cluster 에 대한 목록 및 관리 화면

그림 5) 개별 클러스터의 Node 에 대한 관리 화면

만들어진 Application 은 도커 기반으로 개발이 되어 있기 때문에 어떤 환경에서든 실행이 가능 합니다.
가장 기초적인 부분에서 부터 출발한 것으로 

• 클러스터 구성 및 설치는 어떻게 해야 하는가?
• 클러스터 구성 시 최적화는 되어 있는가?
• 클러스터를 쉽게 생성 하고 삭제 할 수 있는가?
• 이미 생성된 클러스터에 노드 추가는 어떻게 해야 하는가?
• 개별 노드들에 대한 시작과 중지를 할 수 있는가?

등등...

보시는 바와 같이 클러스터의 생성에서 부터 시작과 중지에 대한 기초 부터 접근을 했습니다.

Elasticsearch 는 크게 3 가지 유형으로 사용을 하게 됩니다.

• 검색
• 저장(색인)
• 분석

위 3 가지 유형을 가지고 Business Domain 별 사용을 하게 되는 것입니다.

• e-Commerce 상품 검색
• SIEM
• Log 및 Data 분석 시스템

등등 ...

이걸 좀 더 고도화 한다고 하면 아래와 같은 서비스들을 쉽게 만들수도 있습니다.

• AWS Elasticsearch Service
• Elastic Cloud - Elasticsearch

회사에서 어떤 전략으로 접근 할 지 아직은 잘 모르겠습니다.

이미 IaC 기반으로 잘 제공 되고 있는 MSP (Elastic, AWS) 가 있는데, 우리가 이것 까지 해야 할까?

이 문제는 뒤로 하고,

Elasticsearch 를 사용하거나 사용하고자 하는 스타트업이 있다면,

누구라도 쉽게 최적화된 클러스터를 생성하고 인프라를 관리 할 수 있도록 제공하면 좋겠다는게 지금 저의 생각 입니다.

오픈소스로 공개를 해도 되고, 컨테이너 이미지를 docker registry 에 등록을 해도 되고 몇 가지 방법이 있겠지만,

정말 이런게 필요한지 부터 고민을 더 해봐야 할 것 같습니다.

아무도 필요로 하지 않는데 계속 투자를 해야 할지도 고민이라서요. ^^;

ECOS(Elastic Cloud Open Stack) Installer 의 기능을 간략하게 요약해 드리면,

1. Elasticsearch Cluster 구성을 위한 GUI 환경을 제공 합니다.
2. Terraform 기반의 리소스 생성을 제공 합니다.
3. Ansible 기반의 설치 및 운영 환경을 제공 합니다.
4. Docker 기반의 Cluster 환경 구성 및 관리 기능을 제공 합니다.
5. Elasticsearch 설정을 잘 몰라도 됩니다. (이왕이면 알면 좋습니다.)
6. Cluster 환경을 최적화 해서 구성해 줍니다.
7. Terraform, Ansible, Docker 등에 대해서 잘 몰라도 됩니다. (이왕이면 알면 좋습니다.)
8. 리소스를 쉽게 제공하고 회수 할 수 있습니다.
9. Cluster 내 Node 추가 기능을 제공 합니다.

ECOS Installer 는 우선

• MZC( Megazone Cloud) 고객사 중
• 기술 내재화를 고민 하고 계신 고객사

를 찾아서 설치 및 기술 이전을 해보려 합니다.

피드백을 받아 가면서 업그레이드를 해보도록 하겠습니다.

감사합니다.

아래와 같이 설치 하게 되면 0.11.x 버전이 설치가 됩니다.

Terraform 의 경우 syntax 가 버전에 따라 다른 부분이 있기 때문에 사용 하시는 버전에 맞추 설치 하시면 좋습니다.

RUN apk add terraform  

버전을 지정 해서 설치 하는 건 아래와 같이 하시면 됩니다.

RUN wget https://releases.hashicorp.com/terraform/0.13.0/terraform_0.13.0_linux_amd64.zip
RUN unzip terraform_0.13.0_linux_amd64.zip && rm terraform_0.13.0_linux_amd64.zip
RUN mv terraform /usr/bin/terraform

위에서 0.13.0 에 대한 부분은 변수로 빼서 사용을 하셔도 됩니다.

ENV terraform-version 0.13.0
...중략...
RUN wget https://releases.hashicorp.com/terraform/${terraform-version}/terraform_${terraform-version}_linux_amd64.zip

참고문서)

https://docs.docker.com/engine/reference/builder/

vm.max_map_count 설정은 host 서버에 해주시면 문제는 해결 됩니다.

다만, 이를 수동으로 하면 아무 의미 없겠죠.

자동으로 구성 하기 위해서 terraform + ansible 사용 하는 건데 수동으로 할 거면 ....

처음에는 init.sh 라는 스크립트 안에서 처리 하도록 했습니다.

- name: Run a script with arguments
  script: init.sh

init.sh 에는 아래 코드가 들어가 있습니다.

sudo sysctl -w vm.max_map_count=262144

이렇게 했으면 당연히 elasticsearch 를 실행 시켰을 때 문제가 없을 줄 알았는데, 적용이 안되었는지 오류가 발생했습니다.

그래서 ansible 에 명령어를 추가 해서 문제를 해결했습니다.

- name: set vm.max_map_count
  shell: sudo sysctl -w vm.max_map_count=262144

$ ansible-playbook 해 보면 아래와 같은 warning 메시지가 나오는데요.

Consider using 'become', 'become_method', and 'become_user' rather than running sudo

- name: become parameters
  become: yes
  become_method: sudo
  become_user: ubuntu 

이렇게 넣어서 사용하라는 이야기 입니다.

[수정]

- name: set vm.max_map_count
  become: yes
  become_method: sudo
  shell: sysctl -w vm.max_map_count=262144

ansible 을 이용해서 서버에 필요한 stack 들을 설치 해야 하는 경우 아래와 같은 에러가 발생 할 때가 있습니다.

[에러]

...중략...

E: Could not get lock /var/lib/dpkg/lock

...중략...

정리 하면 다른 프로세스가 이미 사용중이기 때문에 사용할 수 없다는 뭐 그런 이야기 입니다.

그렇다 보니 ansible 배포가 실패 하게 되는데요.

이를 해결 하기 위해서 wait_for 나 process check 나 retry 등 다양하게 해봤는데, 그나마 아래 코드가 제일 잘 동작해서 올려 봅니다.

[해결]

- name: Apt lock check
  apt: name=build-essential state=present
  register: apt_state
  until: apt_state is success
  delay: 30
  retries: 10

공식 문서는 아래 참고 하세요.

https://www.terraform.io/docs/backends/types/s3.html

terraform {
  backend "s3" {
    bucket = "버킷이름"
    key    = "폴더/파일"
    region = "ap-northeast-2"
  }
}

• s3 backend 를 사용하기 위해서 먼저 s3 bucket 을 생성 합니다.
• key 부분은 미리 생성해 놓지 않아도 terraform 실행을 하시면 생성이 됩니다.
• 만약 bucket 을 만들어 놓지 않고 실행을 하게 되면 아래와 같은 에러가 발생 합니다.

Error refreshing state: BucketRegionError: incorrect region, 
the bucket is not in 'ap-northeast-2' region at endpoint ''
	status code: 301, request id: , host id:

• bucket 을 생성 하고  $ terraform init 을 해도 같은 에러가 계속 발생 합니다.
• 이 경우 .terraform 폴더를 삭제 하고 다시 시도 하시면 정상적으로 동작 합니다.

Terraform 기본 명령어)

$ terraform init

$ terraform plan

$ terraform apply

$ terraform destroy

.aws 에 aws configure 를 통한 설정이 되어 있어야 합니다.

Terraform  을 이용해서 인프라 구성을 한 후에 생성된 정보를 얻어 와야 할 때가 있습니다.

특정 정보만 구하고 싶을 경우 output 설정을 이용해서 얻을 수 있는 방법과 state 를 이용해서 얻을 수 있는 방법이 있습니다.

[참고문서]

https://www.terraform.io/docs/commands/output.html

tf 설정 파일 내 output 설정을 합니다.

resource "aws_instance" "allinone" {
...중략...
  count = 3
}

output "private_ip" {
  value = "${aws_instance.allinone.*.private_ip}"
}

# 변수 정보를 정상적으로 호출 하지 못할 경우 실행
$ terraform refresh

$ terraform output 변수명
-->
$ terraform output private_ip
[
  "10.0.25.14",
]

아래와 같이 하면 모든 state 정보를 return 해 줍니다.

$ terraform state pull

아래 에러 메시지가 나오면 테라폼의 버전을 확인해 보라고 합니다.

뭐 에러 메시지에 이미 직관적으로 나와 있긴 하니까 쉽게 확인 가능 하실 듯 하내요.

$ terraform -v

에러 메시지)

Error refreshing state: state snapshot was created by Terraform v0.12.5, which is newer than current v0.12.0; upgrade to Terraform v0.12.5 or greater to work with this state