Elastcisearch 运维 – 角色划分与选主流程

By | 21 2 月, 2021

Elasticsearch 的分布式架构

  • 不同的集群通过不同的名字来区分,默认名字“elasticsearch”
  • 通过配置文件修改,或者在命令行中 -E cluster.name=name 进行设定

节点

  • 节点是一个 Elasticsearch 的实例,本质上是一个 Java 进程。一台机器上可以运行多个,但生产环境一般只运行一个 Elasticsearch 实例
  • 每一个节点都有名字,通过配置文件配置,或者启动的时候 -E node.name=nodename 指定
  • 每一个节点在启动之后,会分配一个 UID,保存在 data 目录下

Coordinating Node

  • 处理请求的节点,叫 Coordinating Node。负责路由请求到正确的节点,例如创建索引的请求,需要路由到 Master 节点
  • 所有节点默认都是 Coordinating Node
  • 通过将其他类型设置成 False,使其成为 Dedicated Coordinating Node

Data Node

  • 可以保存数据的节点,叫做 Data Node。节点启动后,默认就是数据节点。可以设置 node.data:false 禁止
  • Data Node 的职责主要是保存分片数据(由 Master Node 决定如何把分片分发到数据节点上)
  • 通过增加数据节点可以解决数据水平扩展和解决数据单点的问题

Ingest Node

预处理节点用来在真正对文档进行索引之前做预处理。默认所有节点都是支持 ingest 功能的,可以通过 node.ingest:false 配置进行关闭。

Master Node

  • 负责处理创建,删除索引等请求,决定分片被分配到哪个节点,并负责索引的创建与删除
  • 负责维护并更新 Cluster State

最佳实践:

  • Master 节点非常重要,在部署上需要考虑解决单点的问题
  • 为一个集群设置多个 Master 节点,每个节点只承担 Master 的单一角色

Master Eligible Nodes & 选主流程

  • 一个集群,支持配置多个 Master Eligible 节点。这些节点可以在必要时(如 Master 节点出现故障,网络故障时)参与选主流程,成为 Master 节点
  • 每个节点启动后,默认就是一个 Master eligible 节点(可以设置 node.master:false 禁止)
  • 当集群内第一个 Master eligible 节点启动的时候,它会将自己选举成 Master 节点

集群状态

  • 集群状态信息(Cluster State),维护了一个集群中,必要的信息
    • 所有的节点信息
    • 所有的索引和其相关的 Mapping 与 Setting 信息
    • 分片的路由信息
  • 在每个节点上都保存了集群的状态信息
  • 但是,只有 Master 节点才能修改集群的状态信息,并负责同步给其他节点。因为任意节点都能修改信息会导致 Cluster State 信息的不一致

Master Eligible Nodes & 选主的过程

  • 互相 ping 对方,node id 低的会成为被选举的节点
  • 其他节点会加入集群,但是不承担 Master 节点的角色。一旦发现被选中的主节点丢失,就会选举出新的 Master 节点

如何避免脑裂问题

限定一个选举条件,设置 quorum(仲裁),只有在 Master eligible 节点数大于 quorum 时,才能进行选举。

计算方式:quorum = (master 节点总数 / 2) + 1

当 3 个 master eligible 时,设置 discovery.zen.minimum_master_nodes2,即可避免脑裂

如何启动多个节点

bin/elasticsearch -E node.name=node1 -E cluster.name=testcluster -E path.data=node1_data -E http.port=9200
bin/elasticsearch -E node.name=node2 -E cluster.name=testcluster -E path.data=node2_data -E http.port=9201

集群健康状态查询

GET /_cluster/health

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注