https://github.com/HowookJeong/ecos-installer-web

배포 및 실행 가이드

Prerequisite)

• bastion machine 은 ubuntu 를 사용 합니다.
• bastion 및 ec2 instance 에 ssh tunnuling 을 위한 key pairs 생성을 합니다.
• 로컬 장비에서 실행 하기 위해 계정의 access/secret key 생성을 합니다.

Step 1) Local 실행 환경 구성

$ aws configure --profile ecos 

Put region : ap-northeast-2
Put output : json
Put access key : xxxxxxxxxxxxxx
Put secret key : xxxxxxxxxxxxxx
Put key pairs file to ~/.ssh/

Step 2) Terraform & Ansible 환경 설정

$ vi docker-compose.yml

 environment:
 ...중략...
   - serverPort=${SERVER_PORT}
   - configWorkingPath=/tmp/home/mzc/app
   - configTerraformAwsBastionIp=${BASTION_IP}
   - configTerraformAwsSecurityGroup=sg-xxxxxxxxxxxxxxxx
   - configTerraformAwsAz=ap-northeast-2a
   - configTerraformAwsAmi=ami-061b0ee20654981ab
   - configTerraformAwsSubnet=subnet-xxxxxxxxxxxxxxxx
   - configTerraformAwsKeyName=ec2key-gw
   - configTerraformAwsPemFile=ec2key-gw.pem
   - configTerraformAwsPathElasticsearch=/tmp/home/mzc/app/terraform/_CLUSTERNAME_
   - configTerraformAwsPathKibana=/tmp/home/mzc/app/terraform/_CLUSTERNAME_/kibana
   - configTerraformAwsBackendBucket=megatoi-terraform-state
   - configTerraformAwsBackendKeyElasticsearch=_CLUSTERNAME_/terraform.tfstate
   - configTerraformAwsBackendKeyKibana=_CLUSTERNAME_/kibana/terraform.tfstate
 volumes:
 ...중략...
   - /Users/계정/.aws:/root/.aws
   - /Users/계정/.ssh:/root/.ssh

Step 3) 배포 된 docker image load

$ sudo docker load -i ecos-installer-web-0.0.1.tar

Step 4) 컨테이너 실행/중지

$ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose up -d

$ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose down

Local 개발 환경

• $ cd .aws
• $ aws configure --profile ecos
• $ vi config

[profile ecos]

region = ap-northeast-2

output = json

• $ vi credentials

[ecos]

aws_access_key_id = xxxxxxxxxxxxxxxxx

aws_secret_access_key = xxxxxxxxxxxxxxxxxx

Project Docker Compose 설정

...중략...
    volumes:
      - /Users/mzc02-henryjeong/.aws:/root/.aws
      - /Users/mzc02-henryjeong/.ssh:/root/.ssh
      - /Users/mzc02-henryjeong/Temp/logs:/home/mzc/logs
      - /var/run/docker.sock:/var/run/docker.sock
      - /Users/mzc02-henryjeong/Works/app/terraform:/home/mzc/backup/terraform
...중략...

• aws 접속 및 ssh 터널링을 위해 관련 path 에 대한 mount 를 합니다.

Build Step

• $ ./gradlew clean build bootJar -Pprofile=dev -x test
• $ docker build --build-arg BASTION_IP=xxx.xxx.xxx.xxx --tag ecos-installer-web:0.0.1 .
• OR $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose build
• $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose up
• $ ENV=dev TAG=0.0.1 REDIRECT_HTTPS=true SERVER_PORT=8081 docker-compose down
• $ docker image ls
• $ docker rmi -f 7f52709a6615
• $ docker exec -it ecos-installer-web /bin/sh
• $ sudo docker save -o ecos-installer-web-0.0.1.tar ecos-installer-web:0.0.1
• $ sudo docker load -i ecos-installer-web-0.0.1.tar

Terraform path 와 Elasticsearch Cluster 명명 규칙

• Terraform File Path : /tmp/home/mzc/app/terraform/${CLUSTERNAME}/${TIMESTAMP}
• Backend Key : ${CLUSTERNAME}/${TIMESTAMP}/terraform.tfstate
• 신규 생성 시
  • Step 1) Terraform File Path : /tmp/home/mzc/app/terraform/elasticsearch
  • Step 1) Backend Key : elasticsearch/terraform.tfstate
• 추가 시
  • Step 1) Terraform File Path : /tmp/home/mzc/app/terraform/elasticsearch/1598860075233
  • Step 1) Backend Key : elasticsearch/1598860075233/terraform.tfstate
  • Step 2) Backend Key : elasticsearch/1598860075233/terraform.tfstate
  • 기존 클러스터에 Join 시키기 위해 master ip 정보를 구해야 함

생성 및 설정

• aws account access/secret key 생성
• aws configure 설정
• bastion 서버 생성
• vpc 내 정보 설정
  • security group
  • subnet
  • az
  • ec2 네트워크 및 보안에서 키 페어 생성 및 등록 (keyName, keyPem)
  • ami
• terraform 정보 설정
  • terraform working path 설정
  • terraform backend 설정
• aws cluster instance 설정
  • node topology 설정 (node 유형)
  • instance type 설정 (cpu, mem, network 성능)
  • instance size 설정 (node 규모)
  • disk volume size 설정 (elasticsearch storage)
• elasticsearch cluster 설정
  • cluster name 설정
  • 설치를 위한 elasticsearch version 지정
  • port 설정 (http, tcp)
  • path.data/logs 설정
• ansible 설정
  • working path 설정
  • bastion ip 설정

Service Flow

• TerraformService

  • terraform
    • createTerraformS3Backend
    • readTerraformTemplateForElasticsearch
    • writeTerraformTemplateForElasticsearch
    • runTerraformTemplateForElasticsearch
    • backupTerraformTemplateStateForElasticsearch (if it is not s3 backend)

• ElasticsearchService

  • docker
    • createDockerComposeConfiguration
  • ansible
    • createAnsibleInventories
    • createAnsibleRoles

runAnsiblePlaybook

vm.max_map_count 설정은 host 서버에 해주시면 문제는 해결 됩니다.

다만, 이를 수동으로 하면 아무 의미 없겠죠.

자동으로 구성 하기 위해서 terraform + ansible 사용 하는 건데 수동으로 할 거면 ....

처음에는 init.sh 라는 스크립트 안에서 처리 하도록 했습니다.

- name: Run a script with arguments
  script: init.sh

init.sh 에는 아래 코드가 들어가 있습니다.

sudo sysctl -w vm.max_map_count=262144

이렇게 했으면 당연히 elasticsearch 를 실행 시켰을 때 문제가 없을 줄 알았는데, 적용이 안되었는지 오류가 발생했습니다.

그래서 ansible 에 명령어를 추가 해서 문제를 해결했습니다.

- name: set vm.max_map_count
  shell: sudo sysctl -w vm.max_map_count=262144

$ ansible-playbook 해 보면 아래와 같은 warning 메시지가 나오는데요.

Consider using 'become', 'become_method', and 'become_user' rather than running sudo

- name: become parameters
  become: yes
  become_method: sudo
  become_user: ubuntu 

이렇게 넣어서 사용하라는 이야기 입니다.

[수정]

- name: set vm.max_map_count
  become: yes
  become_method: sudo
  shell: sysctl -w vm.max_map_count=262144

ansible 을 이용해서 서버에 필요한 stack 들을 설치 해야 하는 경우 아래와 같은 에러가 발생 할 때가 있습니다.

[에러]

...중략...

E: Could not get lock /var/lib/dpkg/lock

...중략...

정리 하면 다른 프로세스가 이미 사용중이기 때문에 사용할 수 없다는 뭐 그런 이야기 입니다.

그렇다 보니 ansible 배포가 실패 하게 되는데요.

이를 해결 하기 위해서 wait_for 나 process check 나 retry 등 다양하게 해봤는데, 그나마 아래 코드가 제일 잘 동작해서 올려 봅니다.

[해결]

- name: Apt lock check
  apt: name=build-essential state=present
  register: apt_state
  until: apt_state is success
  delay: 30
  retries: 10