| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
ymc4
10年前发布

Zookeeper、Solr和Tomcat安装配置实践

三台服务器:

192.168.19.210(myid=210) master

192.168.19.211(myid=211) slave1

192.168.19.212(myid=212) slave2

ZooKeeper集群配置

安装ZooKeeper集群，在上面3分节点上分别安装，使用的版本是zookeeper-3.4.5。首先在master上安装配置： 

cd /tmp  wget -N http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz  tar -zxf zookeeper-3.4.5.tar.gz  mv ./zookeeper-3.4.5 /opt/zookeeper  mkdir /opt/zookeeper/data  mkdir /opt/zookeeper/logs    echo 'tickTime=2000' > /opt/zookeeper/conf/zoo.cfg  echo 'initLimit=10' >> /opt/zookeeper/conf/zoo.cfg  echo 'syncLimit=5' >> /opt/zookeeper/conf/zoo.cfg  echo 'dataDir=/opt/zookeeper/data' >> /opt/zookeeper/conf/zoo.cfg  echo 'dataLogDir=/opt/zookeeper/logs' >> /opt/zookeeper/conf/zoo.cfg  echo 'clientPort=2181' >> /opt/zookeeper/conf/zoo.cfg  echo 'server.210=master:2888:3888' >> /opt/zookeeper/conf/zoo.cfg  echo 'server.211=slave1:2888:3888' >> /opt/zookeeper/conf/zoo.cfg  echo 'server.212=slave2:2888:3888' >> /opt/zookeeper/conf/zoo.cfg  echo '210' > /opt/zookeeper/data/myid

然后将master上的zookeeper复制到其他两个节点上： 

scp -r /opt/zookeeper root@slave1:/opt/  scp -r /opt/zookeeper root@slave2:/opt/

修改slave1、slave2的myid文件： 

vi /opt/zookeeper/data/myid

其他设置： 

#开机启动  echo '/opt/zookeeper/bin/zkServer.sh start' >> /etc/rc.d/rc.local  #环境变量  echo 'export PATH=$PATH:/opt/zookeeper/bin' >> /etc/profile  source /etc/profile  #ZooKeeper服务命令  /opt/zookeeper/bin/zkServer.sh start  /opt/zookeeper/bin/zkServer.sh status  /opt/zookeeper/bin/zkServer.sh stop  /opt/zookeeper/bin/zkServer.sh restart

SolrCloud配置

首先在一个节点上对SOLR进行配置，我们选择master节点。 
cd /tmp  wget -N http://archive.apache.org/dist/lucene/solr/4.2.1/solr-4.2.1.tgz  tar -zxf solr-4.2.1.tgz  mkdir -p /opt/solr/webapps  cd /opt/solr/webapps  jar -xf /tmp/solr-4.2.1/example/webapps/solr.war  mkdir -p /opt/solr/home  vi /opt/solr/home/solr.xml    <?xml version="1.0" encoding="UTF-8" ?>  <solr persistent="true">    <cores defaultCoreName="Designer" adminPath="/admin/cores" host="${host:}" hostPort="${jetty.port:}" zkClientTimeout="${zkClientTimeout:15000}">    </cores>  </solr>  #master's lib  ln -s /opt/solr/webapps/WEB-INF/lib /opt/solr/lib  #master's conf  mkdir -p /opt/solr/conf

注意：这里并没有配置任何的core元素，等到整个配置安装完成之后，通过SOLR提供的REST接口，来实现Collection以及Shard的创建，从而来更新这些配置文件。

ZooKeeper管理监控配置文件: 

java -cp .:/opt/solr/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost master:2181,slave1:2181,slave1:2181 -confdir /opt/solr/conf/Designer -confname Designer -solrhome /opt/solr/home

检查一下ZooKeeper上的存储情况： 

cd /opt/zookeeper  bin/zkCli.sh -server master:2181  ls /  ls /configs

Tomcat配置与启动: 

mkdir -p /opt/tomcat/conf/Catalina/localhost  vi /opt/tomcat/conf/Catalina/localhost/solr.xml  <?xml version="1.0" encoding="UTF-8" ?>  <Context docBase="/opt/solr/webapps" reloadable="true">    <Environment name="solr/home" type="java.lang.String" value="/opt/solr/home" override="true" />  </Context>    #tomcat catelina.sh  vi /opt/tomcat/bin/catalina.sh  JAVA_OPTS="   -Xmx6G   -Xms6G   -Xss256K   -Xmn2300M   -XX:SurvivorRatio=5   -XX:+UseParNewGC   -XX:PermSize=128M   -XX:MaxPermSize=128M   -XX:MaxDirectMemorySize=768m   -XX:LargePageSizeInBytes=128m   -XX:+DisableExplicitGC   -XX:SoftRefLRUPolicyMSPerMB=0   -XX:+OptimizeStringConcat   -XX:+UseFastAccessorMethods   -XX:CompileThreshold=100   -XX:+AggressiveOpts   -XX:+TieredCompilation   -XX:+DoEscapeAnalysis   -XX:+UseBiasedLocking   -XX:+EliminateLocks   -XX:BiasedLockingStartupDelay=0   -XX:+UseConcMarkSweepGC   -XX:CMSInitiatingOccupancyFraction=70   -XX:+UseCMSCompactAtFullCollection   -XX:CMSFullGCsBeforeCompaction=2   -XX:+CMSParallelRemarkEnabled   -XX:+UseCMSInitiatingOccupancyOnly   -XX:+CMSClassUnloadingEnabled   -XX:+CMSPermGenPrecleaningEnabled   -Dsun.net.inetaddr.ttl=0   -Dnetworkaddress.cache.ttl=30   -Djava.awt.headless=true   -DAllowManagedFieldsInDefaultFetchGroup=true   -DAllowMediatedWriteInDefaultFetchGroup=true     -Djetty.port=8080   -DzkHost=master:2181,slave1:2181,slave2:2181   -DzkClientTimeout=15000  "

tomcat 常用命令： 

#启动  /opt/tomcat/bin/startup.sh  #查看日志  tail -f /opt    /tomcat/logs/catalina.out

查看一下ZooKeeper中的数据状态： 

cd /opt/zookeeper  bin/zkCli.sh -server master:2181  ls /  ls /live_nodes  ls /collections

这时候，SolrCloud集群中只有一个活跃的节点，而且默认生成了一个Designer实例，这个实例实际上虚拟的，因为通过web界面无法访问master:8080/solr，看不到任何有关SolrCloud的信息.

同步数据和配置信息，启动其他节点 

scp -r /opt/tomcat/ root@slave1:/opt/  scp -r /opt/tomcat/ root@slave2:/opt/  scp -r /opt/solr/ root@slave1:/opt/  scp -r /opt/solr/ root@slave2:/opt/

启动其他Solr服务器节点： 

/opt/tomcat/bin/startup.sh

查看ZooKeeper集群中数据状态： 

ls /live_nodes

这时已经存在3个活跃的节点了，但是SolrCloud集群并没有更多信息.

创建Collection、Shard和Replication

创建Collection及初始Shard

直接通过REST接口来创建Collection: 

[root@master]$ curl 'http://master:8080/solr/admin/collections?action=CREATE&name=Article&numShards=3&replicationFactor=1'

如果成功，会输出如下响应内容： 

<?xml version="1.0" encoding="UTF-8"?>  <response>      <lst name="responseHeader">          <int name="status">0</int>          <int name="QTime">4103</int>      </lst>      <lst name="success">          <lst>              <lst name="responseHeader">                  <int name="status">0</int>                  <int name="QTime">3367</int>              </lst>              <str name="core">Article_shard2_replica1</str>              <str name="saved">/opt/solr/home/solr.xml</str>          </lst>          <lst>              <lst name="responseHeader">                  <int name="status">0</int>                  <int name="QTime">3280</int>              </lst>              <str name="core">Article_shard1_replica1</str>              <str name="saved">/opt/solr/home/solr.xml</str>          </lst>          <lst>              <lst name="responseHeader">                  <int name="status">0</int>                  <int name="QTime">3690</int>              </lst>              <str name="core">Article_shard3_replica1</str>              <str name="saved">/opt/solr/home/solr.xml</str>          </lst>      </lst>  </response>

上面链接中的几个参数的含义，说明如下： 

name                待创建Collection的名称  numShards           分片的数量  replicationFactor   复制副本的数量

执行上述操作如果没有异常，已经创建了一个Collection，名称为Article，而且每个节点上存在一个分片。这时，也可以查看ZooKeeper中状态： 

ls /collections  ls /collections/Article

可以通过Web管理页面，访问master:8080/solr/#/~cloud，查看SolrCloud集群的分片信息. 我们从master节点可以看到，SOLR的配置文件内容，已经发生了变化，如下所示： 

cat /opt/solr/home/solr.xml  <?xml version="1.0" encoding="UTF-8" ?>  <solr persistent="true">      <cores defaultCoreName="Designer" host="${host:}" adminPath="/admin/cores" zkClientTimeout="${zkClientTimeout:15000}" hostPort="${jetty.port:}">              <core loadOnStartup="true" shard="shard3" instanceDir="Article_shard3_replica1/" transient="false" name="Article_shard3_replica1" collection="Article" />      </cores>  </solr>

创建Replication

下面对已经创建的初始分片进行复制。 shard1已经在slave1上，我们复制分片到master和slave2上，执行如下命令： 

curl 'http://master:8080/solr/admin/cores?action=CREATE&collection=Aritcle&name=Aritcle_shard1_replica_2&shard=shard1'  <?xml version="1.0" encoding="UTF-8"?>  <response>      <lst name="responseHeader">          <int name="status">0</int>          <int name="QTime">1485</int>      </lst>      <str name="core">Aritcle_shard1_replica_2</str>      <str name="saved">/opt/solr/home/solr.xml</str>  </response>    curl 'http://master:8080/solr/admin/cores?action=CREATE&collection=Aritcle&name=Aritcle_shard1_replica_3&shard=shard1'  <?xml version="1.0" encoding="UTF-8"?>  <response>      <lst name="responseHeader">          <int name="status">0</int>          <int name="QTime">2543</int>      </lst>      <str name="core">Aritcle_shard1_replica_3</str>      <str name="saved">/opt/solr/home/solr.xml</str>  </response>    curl 'http://master:8080/solr/admin/cores?action=CREATE&collection=Aritcle&name=Aritcle_shard1_replica_4&shard=shard1'  <?xml version="1.0" encoding="UTF-8"?>  <response>      <lst name="responseHeader">          <int name="status">0</int>          <int name="QTime">2405</int>      </lst>      <str name="core">Aritcle_shard1_replica_4</str>      <str name="saved">/opt/solr/home/solr.xml</str>  </response>

最后的结果是，slave1上的shard1，在master节点上有2个副本，名称为Articleshard1replica2和Articleshard1replica3，在slave2节点上有一个副本，名称为Articleshard1replica_4. 也可以通过查看master和slave2上的目录变化，如下所示： 

ll /opt/solr/conf/  总用量 24  drwxrwxr-x. 4 root root 4096 6月   1 09:58 Designer  drwxrwxr-x. 3 root root 4096 6月   1 15:41 Article_shard1_replica_2  drwxrwxr-x. 3 root root 4096 6月   1 15:42 Article_shard1_replica_3  drwxrwxr-x. 3 hadoop root 4096 6月   1 15:23 Article_shard3_replica1    ll /opt/solr/conf/  总用量 20  drwxrwxr-x. 4 root root 4096 6月   1 14:53 Designer  drwxrwxr-x. 3 root root 4096 6月   1 15:44 Article_shard1_replica_4  drwxrwxr-x. 3 root root 4096 6月   1 15:23 Article_shard2_replica1

其中，Articleshard3replica1和Articleshard2replica1都是创建Collection的时候自动生成的分片，也就是第一个副本。 通过Web界面，可以更加直观地看到shard1的情况.

我们再次从master节点可以看到，SOLR的配置文件内容，又发生了变化，如下所示： 

cat /opt/solr/home/solr.xml  <?xml version="1.0" encoding="UTF-8" ?>  <solr persistent="true">      <cores defaultCoreName="Designer" host="${host:}" adminPath="/admin/cores" zkClientTimeout="${zkClientTimeout:15000}" hostPort="${jetty.port:}">              <core loadOnStartup="true" shard="shard3" instanceDir="Article_shard3_replica1/" transient="false" name="Article_shard3_replica1" collection="Article" />              <core loadOnStartup="true" shard="shard1" instanceDir="Article_shard1_replica_2/" transient="false" name="Article_shard1_replica_2" collection="Article" />                <core loadOnStartup="true" shard="shard1" instanceDir="Article_shard1_replica_3/" transient="false" name="Article_shard1_replica_3" collection="Article" />      </cores>  </solr>

到此为止，我们已经基于3个物理节点，配置完成了SolrCloud集群。

参考资料

 本文由用户 ymc4 自行上传分享，仅供网友学习交流。所有权归原作者，若您的权利被侵害，请联系管理员。
 转载本站原创文章，请注明出处，并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台，欢迎各类分享！
 本文地址：https://www.open-open.com/lib/view/open1423663621420.html
Solr 搜索引擎 ZooKeeper