大数据查询 ELK 之 ES集群搭建

缘由

        前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务

集群搭建

目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点



其实配置ES集群是比较方便了,大家主要几个参数就可以了,主要注意以下几个参数就好了


#集群的名字
cluster.name: app-data
#节点的名字
node.name: node-1
#节点是否为master节点
node.master: true
#节点是否为数据节点
node.data: true
#发现节点,一般三个就够了,不需要配置所有的节点
discovery.zen.ping.unicast.hosts: ["192.160.10.1:9300","192.160.10.2:9300","192.160.10.3:9300"]

这些配置参数都是在 /etc/elasticsearch/elasticsearch.yml  配置文件中

效果展示

注意问题

  1. ES版本必须一致,不然会出现各种莫名其妙的问题,小版本都要一样

  2.  LOGSTASH 节点不一定要和ES节点一样多,这是一个生产者和消费者模型,只要生产的速度跟得上消费的速度就行了