| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
njshdf2p
9年前发布

Elasticsearch 2.20 使用环境说明

来自: http://my.oschina.net/secisland/blog/614165


环境变量

    Elasticsearch是Java开发的,所以JVM的环境变量JAVA_OPTS对Elasticsearch也是非常重要的。在JAVA_OPTS中对Elasticsearch最重要的参数是-Xmx最大可以使用内存的参数,一般情况下大内存更能发挥Elasticsearch作用,建议-Xmx设置为物理内存的一半,为了减少内存分配带来的性能损耗,最好一开始就设置初始内存和最大内存都为物理内存的一半。及Xms和Xmx这两个参数。

    由于JAVA_OPTS大多数时候对整个机器环境起作用,所以最好是保留默认的JAVA_OPTS,最好用ES_JAVA_OPTS环境变量设置来作为JAVA_OPTS参数。

    默认的配置文件在elasticsearch/bin/elasticsearch.in.sh中

if [ "x$ES_MIN_MEM" = "x" ]; then      ES_MIN_MEM=256m  fi  if [ "x$ES_MAX_MEM" = "x" ]; then      ES_MAX_MEM=1g  fi  if [ "x$ES_HEAP_SIZE" != "x" ]; then      ES_MIN_MEM=$ES_HEAP_SIZE      ES_MAX_MEM=$ES_HEAP_SIZE  fi    JAVA_OPTS="$JAVA_OPTS -Xms${ES_MIN_MEM}"  JAVA_OPTS="$JAVA_OPTS -Xmx${ES_MAX_MEM}"

    ES_HEAP_SIZE环境变量允许设置被分配到Elasticsearch java进程中堆内存大小。最小和最大值将分配相同的值到,可以通过设置 ES_MIN_MEM(默认为256M)和ES_MAX_MEM(默认为1G)对堆内存进行设置(不推荐)

系统配置

    文件描述符(File Descriptor)
 文件描述符,是一个简单的整数,用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0,第二个是1,依此类推。要增加打开的文件描述符的数量,建议设置为32K或64K。

 为了测试有多少个文件在进程中可以被打开,环境变量-Des.max-open-files设置为true。 Elasticsearch将在启动时打印打开文件描述符的数量。或者,您可以通过查看每个节点信息的API进行查看。执行:

GET localhost:9200/_nodes/stats/process?pretty

  文件存储:

    Elasticsearch采用混合mmap fs /nio fs为默认的方式存储索引。默认的操作系统mmap设置可能是太低,这可能会导致内存溢出异常。在Linux系统中,您可以用root账户通过以下命令来增加限制:

sysctl -w vm.max_map_count=262144

  如果要想使设置永久生效,可以设置/etc/sysctl.conf中的vm.max_map_count值。

  注意:如果使用安装包(.deb, .rpm)来进行安装,此值会自动进行设置。

文件系统的存储类型

  有不同的文件系统的有不同存储类型。这个参数一般会自动选择:Windows 64bit操作系统一般是mmapfs,在Windows 32位操作系统一般是simplefs,Elasticsearch默认为(niofs/mmapfs混合方式)。这个参数可以配置使所有的索引生效,配置文件为config/elasticsearch.yml。

配置项:index.store.type: niofs

  也可以在建索引的时候指定类型:

PUT localhost:9200/my_index{    "settings": {      "index.store.type": "niofs"    }  }

注意:这个设置有可能在未来被删除。

可选择的参数

Simple FS(简单文件系统)
   Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化时,最好使用niofs。
NIO FS(NIO文件系统)
   niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于JAVA在实现上有一个错误。
MMap FS(内存映射文件系统)
   mmapfs类型通过映射文件到内存中(MMAP)存储分片索引到文件系统上(映射到Lucene MMapDirectory)。内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前,请确保您有足够的虚拟地址空间。

default_fs

  默认类型是混合NiO FS和mmapfs,系统会自动选择操作系统匹配最好的文件系统。目前只有Lucene的term dictionary和doc values采用内存映射的方式来减少对操作系统的影响。所有其他的方式都使用Lucene niofsdirectory打开。

本文由赛克蓝德(secisland)原创,转载请标明作者和出处。

内存设置

  现代操作系统大多数使用尽可能多的内存来作为文件系统缓存,并通过交换分区(swap)来移走程序中暂时不用的内存。这可能会导致Elasticsearch进程内存被过多的切换。交换分区(swap)对性能和稳定性都有一定的影响,所以在Elasticsearch中应该尽量避免使用交换分区。

Elasticsearch设置中有三种方式可以选择:

1、禁用交换分区

这是一种最简单的方式:

在linux系统中,可以通过命令:sudo swapoff -a暂时禁止.如果要永久禁用,需要编辑/etc/fstab文件,注释掉包含swap的行。

在windows系统中可以通过控制面板->系统->高级系统设置->高级->性能设置->高级->虚拟内存中进行设置。

2、配置swappiness

要确保sysctl设置vm.swappiness参数为0,在通常情况下会降低交换的频率,同时在紧急情况下会启用交换。

注意:在内核3.5-rc1及以上版本中,如果设置vm.swappiness为零,OOM将会采用杀进程的方式来代替内存交换,需要设置vm.swappiness为1,会在紧急情况下会启用交换。

3、使用mlockall

在Unix或Linux系统中或者设置了virtuallock 的Windows,可以试图锁定进程地址空间到RAM中,防止任何Elasticsearch内存被交换出去。 可以在config/elasticsearch.yml进行设置:

bootstrap.mlockall: true

启动后Elasticsearch后,你可以通过api检查mlockall是否成功应用:

如果返回值中的mlockall为false,这就意味着mlockall设置失败。最有可能的原因是,在Linux/Unix系统中,运行Elasticsearch的用户没有权限设置。这可以通过root用户运行ulimit -l unlimited进行设置。另一个可能的原因是,mlockall不能在临时目录中(通常是/tmp)生效。这可以通过指定一个新的临时目录解决,在启动Elasticsearch时指定:

./bin/elasticsearch -Djna.tmpdir=/path/to/new/dir

注意:当系统没有可用内存时,在Elasticsearch尝试分配更多的内存时,mlockall可能导致JVM或shell会话的退出

赛克蓝德(secisland)后续会逐步对Elasticsearch的最新版本的各项功能进行分析,近请期待。

 本文由用户 njshdf2p 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1454741692464.html
ElasticSearch 搜索引擎