3개의 데이터 전용 노드, 1개의 마스터 전용 노드로 구성합니다.
Master Node가 설치된 서버에는 Kibana, Logstash 을 설치합니다.
데이터는 Master Node 를 통해서만 색인됩니다.
서버스펙
운영 서버에 필요한 CPU, RAM, 저장장치는 총4대
– OS : Centos 7
– CPU : 4core
– RAM : 4GB
– JAVA : Openjdk 8
Cluster 설치
es-master는 마스터
es-client1는 데이터, es-client2는 데이터, es-client3는 데이터
cluster.name: es-demo
node.name: node-1 (각각node-2, node-3으로 설정)
node.master: true (마스터 노드만 true로 설정, 데이터 노드는 false)
node.data: false (마스터 노드만 false로 설정, 데이터 노드는 true)
기동 장애 발생 시 대응..
rm -rf /var/lib/elasticsearch/nodes/0로 데이터 삭제 후, 재설정
실행 결과
es-client1, es-client2, es-client3에 각각 분산되어 데이터 수집
보나스 테스트(Metricbeat로 apache,system 모니터링)
[root@localhost modules.d]# metricbeat modules list
Enabled:
apache
system
vi apache.yml
# Module: apache
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.4/metricbeat-module-apache.html
– module: apache
#metricsets:
metricsets: [“status”]
# – status
period: 10s
hosts: [“http://127.0.0.1”]
server_status_path: “server-status”
#username: “user”
#password: “secret”
vi system.yml
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.4/metricbeat-module-system.html
– module: system
period: 10s
metricsets:
– cpu
– load
– memory
– network
– process
– process_summary
– core
– diskio
– socket
process.include_top_n:
by_cpu: 5 # include top 5 processes by CPU
by_memory: 5 # include top 5 processes by memory
– module: system
period: 1m
metricsets:
– filesystem
– fsstat
processors:
– drop_event.when.regexp:
system.filesystem.mount_point: ‘^/(sys|cgroup|proc|dev|etc|host|lib)($|/)’
– module: system
period: 15m
metricsets:
– uptime
실행 결과
es-client1, es-client2, es-client3에 각각 분산된 system, apache 데이터 결과