ES 集群升级或维护

1. 当把 elasticsearch 版本从 2.0.0 升级到 2.1.1 的时候，客户端完全不可用，接口变化了，因此在升级的时候，需要客户端也升级

2. 重启整个 elasticsearch 集群之前，需要把副本关闭掉，然后在集群其中成功之后，再开启副本功能

3. 重启单个 data 节点需要做以下操作，但是这个只针对冷索引

   • 暂停数据写入程序

   • 关闭集群shard allocation

   • 手动执行POST /_flush/synced

   • 重启节点

   • 重新开启集群shard allocation

   • 等待recovery完成，集群health status变成green

   • 重新开启数据写入程序

4. 删除磁盘上的数据的话，会引起 shard 数据变成默认值，因为只有在初始化的时候才会设置，所以删除后，手工进行初始化即可

   • 停止所有的 ES 节点

   • 停止客户端的数据写入

   • 启动所有的 ES 节点

   • 初始化 shard 数

   • 启动客户端的数据写入

     // 手动初始化 template    http://ip/_plugin/kopf/#!/indexTemplates    "template": "trace*",    "settings": {      "index": {        "number_of_shards": "3",        "number_of_replicas": "1"      }    },    "mappings": {      "test": {        "_source": {          "includes": [            "traceId"          ]        },        "properties": {          "traceId": {            "type": "string"          },          "binaryAnnotations": {            "search_analyzer": "linieAnalzyer",            "analyzer": "linieAnalzyer",            "index": "analyzed",            "type": "string"          },          "app": {            "index": "not_analyzed",            "type": "string"          },          "duration": {            "type": "long"          },          "suc": {            "type": "string"          },          "bizAnnotations": {            "index": "not_analyzed",            "type": "string"          },          "host": {            "index": "not_analyzed",            "type": "string"          },          "id": {            "type": "string"          },          "serviceId": {            "index": "not_analyzed",            "type": "string"          },          "spanName": {            "type": "string"          },          "timestamp": {            "type": "long"          }        }      }    },    "aliases": {       }

5. 停止 data 节点，shard 分配时间恢复，集群数据量大概是 1.26TB

   • 停止1个节点，恢复时间大概是20分钟

   • 停止2个节点，恢复时间大概是55分钟

   • 停止3个节点，恢复时间大概是100分钟

   • 停止5个节点，恢复时间大概是120分钟

ElasticSearch 使用经验

1. ES_HEAP_SIZE 使用不要超过物理内存的一半，最好不要超过 30.5 G

2. 设置 vm.swappiness = 1

3. 在 elasticsearch.yml 中设置 bootstrap.mlockall: true

4. 官方推荐垃圾回收算法针对 ES 应该设置 CMS

5. search 的 theadpool 推荐设置为 cores * 3，其他线程池推荐和 cores 数量相等

6. disk I/O 的线程是有 Lucene 处理的，而不是 ES

7. 设置 vm.max_map_count=262144 用于 mmapped files 的虚拟内存

8. 修改配置请使用 API，API，API，而不是修改配置，修改 API 有两种方式，一种临时的，一种持久的，临时的修改当节点下次重启的时候会失效，永久的当下次重启的时候会覆盖静态配置

   curl -XPUT ip:9200/_cluster/settings -d  '{      "transient": {          "logger.discover": "DEBUG"       }      "persistent": {          "discovery.zen.minimum_master_nodes": 2      }  }'

9. 设置 slowlog 的阀值有利于定位问题，可以设置 queries, fetches, indexing 的 slowlog

10. 如果你的集群是偏重于 indexing，而对 search 的性能要求不是毫秒级别的返回，可以做些设置做平衡。

• 执行命令禁止 allocation

  PUT /_cluster/settings  {      "transient": {          "cluster.routing.allocation.enable": "none"       }  }

• 使用 shutdown api 停止一个节点

  POST /_cluster/nodes/_local/_shutdown

• 执行升级或者维护

• 重启节点，确认加入了集群

• 启动 shard allocation

  PUT /_cluster/settings  {      "transient": {          "cluster.routing.allocation.enable": "all"       }  }

• 其他节点重复1到5步骤

监控

1. zabbix 监控 - https://github.com/ejimz/Elasticsearch-zabbix

2. 插件监控 - https://github.com/AIsaac08/bigdesk

3. 需要监控的 10 个数据 - http://radar.oreilly.com/2015/04/10-elasticsearch-metrics-to-watch.html

目前使用的是插件监控方式，主要是以下三个插件

• bigdesk

• kopf

• head

这些里面 kopf 目前最好用，bigdesk 从 es 1.x 版本后就不更新了，所以目前 2.x 版本的部分图表无法出来

来自： http://segmentfault.com/a/1190000004325032