- 浏览: 592255 次
- 性别:
- 来自: 广州
文章分类
最新评论
-
h140465:
兄弟,测试代码呢
Gosn解决在集合中int自动转换为duble类型 -
itlieying:
请问以上配置并正常运行起来后,如何利用java api来创建连 ...
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper) -
cgl616165946:
290434409 写道请教下,/select??q=*:*& ...
solr StatsComponent(聚合统计) -
limeng650419:
limeng650419 写道然而并未卵并不管用
solr suggest检查建议 -
limeng650419:
然而并未卵
solr suggest检查建议
一.内嵌启动SolrCloud时端口默认分配
当 Solr 运行内嵌 zookeeper 服务时,默认使用 solr 端口+1000 作为客户端口,另外,solr 端口+1 作为 zookeeper 服务端口,solr 端口+2 作为主服务选举端口。所以第一个例子中,Solr 运行在 8983端口,内嵌 zookeeper 使用 9983 作为客户端端口,9984 和 9985 作为服务端口。
clientPort=9983 server.1=192.168.238.133:9984 :9985 这几个端口就是对应配置里面的这几个端口
内嵌启动的SolrCloud的例子点击:http://wiki.apache.org/solr/SolrCloud
二. 通过集群api 管理集群(Core Admin)
1).创建接口(第一种自动分配)
http://192.168.66.128:8081/solr/admin/collections?action=CREATE&name=collection1&numShards=3&replicationFactor=2&maxShardsPerNode=2&collection.configName=myconf http://192.168.66.128:8081/solr/admin/collections?action=CREATE&name=collection1&numShards=3&replicationFactor=2&maxShardsPerNode=2&collection.configName=myconf&createNodeSet=192.168.66.128:8083_solr,192.168.66.128:8081_solr,192.168.66.128:8082_solr
这样会出来一个collection,它有3个shard,每个shard有1个数据节点,1个备份节点,即该collection共有6个core
参数:
name:将被创建的集合的名字
numShards:集合创建时需要创建逻辑碎片的个数
replicationFactor:分片的副本数。replicationFactor(复制因子)为 3 意思是每个逻辑碎片将有 3 份副本。
maxShardsPerNode:默认值为1,每个Solr服务器节点上最大分片数(4.2新增的)
注意三个数值:numShards、replicationFactor、liveSolrNode(当前存活的solr节点),一个正常的solrCloud集群不容许同一个liveSolrNode上部署同一个shard的多个replic,因此当maxShardsPerNode=1时,numShards*replicationFactor>liveSolrNode时,报错。因此正确时因满足以下条件:numShards*replicationFactor<liveSolrNode*maxShardsPerNode
createNodeSet:如果不提供该参数,那么会在所有活跃节点上面创建core,如果提供该参数就会在指定的solr节点上创建core
例如我现在在5台tomcat上面创建3个片,1个副本,不提供该参数结果是这样的
提供该参数例如:createNodeSet=192.168.66.128:8083_solr,192.168.66.128:8081_solr,192.168.66.128:8082_solr
结果是这样的
collection.configName:用于新集合的配置文件的名称。如果不提供该参数将使用集合名称作为配置文件的名称。
创建接口2(手动分配)实例:通过下面多个链接进行创建(3个分片,每个节点上面一个备份)推荐使用,因为这种方式你想创建多少次就多少次
http://192.168.66.128:8081/solr/admin/cores?action=CREATE&name=shard1_replica1&instanceDir=shard1_replica1&dataDir=data&collection=collection1&shard=shard1&collection.configName=myconf http://192.168.66.128:8082/solr/admin/cores?action=CREATE&name=shard1_replica2&instanceDir=shard1_replica2&dataDir=data&collection=collection1&shard=shard1&collection.configName=myconf http://192.168.66.128:8082/solr/admin/cores?action=CREATE&name=shard2_replica1&instanceDir=shard2_replica1&dataDir=data&collection=collection1&shard=shard2&collection.configName=myconf http://192.168.66.128:8083/solr/admin/cores?action=CREATE&name=shard2_replica2&instanceDir=shard2_replica2&dataDir=data&collection=collection1&shard=shard2&collection.configName=myconf http://192.168.66.128:8083/solr/admin/cores?action=CREATE&name=shard3_replica1&instanceDir=shard3_replica1&dataDir=data&collection=collection1&shard=shard3&collection.configName=myconf http://192.168.66.128:8081/solr/admin/cores?action=CREATE&name=shard3_replica2&instanceDir=shard3_replica2&dataDir=data&collection=collection1&shard=shard3&collection.configName=myconf
参数含义:
name:新建core的名称
创建的core的命名规则:
coreName_shardName_replicaN
例如:创建pscp的集合,2个分片,每个分片上面有两个备份
则命名如下:
pscp_shard1_replica1
pscp_shard1_replica2
pscp_shard2_replica1
pscp_shard2_replica2
shard:指定一个分配id,这个core将挂在那个分片上(随便写,如果还没有这个id,第一次会帮你创建)
collection.configName:从zookeeper中指定一份配置文件
instanceDir和dataDir:从下图看出他的含义
命名规则:instanceDir与name的名称相同,dataDir:统一建议命名为data
总结一:在一个集群中添加一个副本的两种方式
http://192.168.66.128:8081/solr/admin/collections?action=ADDREPLICA&collection=collection1&shard=shard2&node=192.168.66.128:8085_solr 上面这句话的意思就是在collection1这个集合的shard2分片上添加一个副本,副本的地址在192.168.66.128:8085_solr台机子上面 http://192.168.66.128:8083/solr/admin/cores?action=CREATE&name=shard3_replica1&instanceDir=shard3_replica1&dataDir=data&collection=collection1&shard=shard3&collection.configName=myconf
2).删除接口
http://localhost:8983/solr/admin/collections?action=DELETE&name=mycollection
参数:
name:将被创建的集合别名的名字
collections:逗号分隔的一个或多个集合别名的列表
3).重新加载接口,这个时候,相应的core会重新加载配置文件
http://localhost:8983/solr/admin/collections?action=RELOAD&name=mycollection
参数:
name:将被重载的集合的名字
4).分割碎片接口
http://localhost:8983/solr/admin/collections?action=SPLITSHARD&collection=<collection_name>&shard=shardId
collection:集合的名字
shard:将被分割的碎片 ID
这个命令不能用于使用自定义哈希的集群,因为这样的集群没有一个明确的哈希范围。 它只用于具有plain 或 compositeid 路由的集群。该命令将分割给定的碎片索引对应的那个碎片成两个新碎片。通过将碎片范围划分成两个相等的分区和根据新碎片范围分割出它在父碎片(被分的碎片)中的文档。新碎片将被命名为 appending_0 和_1。例如:shard=shard1 被分割,新的碎片将被命名为 shard1_0 和 shard1_1。一旦新碎片被创建,它们就被激活同时父碎片(被分的碎片)被暂停因此将没有新的请求到父碎片(被分的碎片)。该特征达到了无缝分割和无故障时间的要求。原来的碎片数据不会被删除。使用新 API 命令重载碎片用户自己决定。该特性发布始于 Solr4.3,由于 4.3 发布版本发现了一些 bugs,所以要使用该特性推荐等待 4.3.1
三.通过命令行工具将文件上传到Zookeeper进行管理
之所以能分布式是因为引入ZooKeeper来统一保存配置文件,故而需要将SolrCloud的配置文件上传到ZooKeeper中,这里演示命令行进行上传
要使用命令行管理管理工具,必须要先有包,这些包就是solr.war里面/WEB-INF/lib下面的所有jar包
第一步:新建文件夹
在可以和Zookeeper集群通讯的任意一台机子上面,新建两个文件夹,例如如下是我的目录
/usr/solrCloud/conf/files /usr/solrCloud/conf/lib
files:用来保存配置文件 lib:用来存放jar包
第二步:上传需要使用的jar和配置文件
上传jar到lib目录,将solr发布包下面的jar(solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib\ 和 solr-4.8.0\example\lib\ext\ 下面包都要)全部上传到上面的lib目录
将solr的配置文件上传到上面的files目录下面
第三步:将文件上传Zookeeper进行统一管理
java -classpath .:/usr/solrCloud/conf/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.27.18:2181,192.168.27.18:2182,192.168.27.18:2183 -confdir /usr/solrCloud/conf/files -confname myconf
-cmd upconfig:上传配置文件
-confdir:配置文件的目录
-confname:指定对应的名称
查看文件是否已经上传到Zookeeper服务器:
sh zkCli.sh -server localhost:2181 ls /configs/myconf
第四步:将上传到ZooKeeper中配置文件与collection相关联
java -classpath .:/usr/solrCloud/conf/lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection collection1 -confname myconf -zkhost 192.168.27.18:2181,192.168.27.18:2182,192.168.27.18:2183
-cmd linkconfig:为指定collection"绑定"配置文件
-collection:上面指定的collection的名称
-confname:zookeeper上面的配置文件名称
上面这句代码的意思就是:创建的core(collection1)将使用myconf这个配置文件
例如:执行下面这个请求将创建一个core为collection1,那么他使用的配置文件为zookeeper中的myconf这个配置
http://localhost:8983/solr/admin/collections?action=CREATE&name=collection1&numShards=3&replicationFactor=1
话又说回来,如果zookeeper管理的集群上面仅有一份配置,那么创建的core都会用这份默认的配置。如果有多份,如果没有执行第四步,随便创建一个core将抛出异常,构建失败!
例如执行:
http://192.168.66.128:8081/solr/admin/collections?action=CREATE&name=sdf&numShards=3&replicationFactor=1
将抛出:因为上面有两份配置,但是并没有执行第四步,将配置与即将创建core(name=sdf)关联起来
<response> <lst name="responseHeader"> <int name="status">0</int> <int name="QTime">16563</int> </lst> <lst name="failure"> <str> org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException:Error CREATEing SolrCore 'sdf_shard2_replica1': Unable to create core: sdf_shard2_replica1 Caused by: Could not find configName for collection sdf found:[conf1, myconf] </str> <str> org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException:Error CREATEing SolrCore 'sdf_shard1_replica1': Unable to create core: sdf_shard1_replica1 Caused by: Could not find configName for collection sdf found:[conf1, myconf] </str> <str> org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException:Error CREATEing SolrCore 'sdf_shard3_replica1': Unable to create core: sdf_shard3_replica1 Caused by: Could not find configName for collection sdf found:[conf1, myconf] </str> </lst> </response>
当然了第四步也可以用下面替换,而且下面这个更灵活,推荐使用(有了这步,第四步完全可以省略)
http://192.168.66.128:8081/solr/admin/collections?action=CREATE&name=conf2&numShards=3&replicationFactor=1&collection.configName=myconf collection.configName=myconf:为创建的core指定一个在zookeeper中配置
文档写到这里,下面来看下怎么对上传到zookeeper中的文件进行修改和删除操作:
修改的常用做法就是:重新上传,重新上传会覆盖上面的文件,从而达到修改的目的
删除zookeeper中的文件或者目录的方式如下:
[zk: 192.168.66.128:2181(CONNECTED) 7] delete /configs/conf1/schema.xml [zk: 192.168.66.128:2181(CONNECTED) 10] ls /configs/conf1 [solrconfig.xml] [zk: 192.168.66.128:2181(CONNECTED) 11]
将配置上传到zookeeper,如果要让正在运行的solr同步加载这些文件,只需要需要让solr重新加载一下配置文件,在浏览器中输入
http://192.168.27.18:8081/solr/admin/collections?action=RELOAD&name=collection1
参考文献:
怎么通过api来管理整个集群的collection官网
https://cwiki.apache.org/confluence/display/solr/Collections+API
通过api来管理solr core 官网
http://wiki.apache.org/solr/CoreAdmin
SolrCloud在tomcat上面的部署 官网
http://wiki.apache.org/solr/SolrCloudTomcat
solr在tomcat上面部署 官网
http://wiki.apache.org/solr/SolrTomcat
值得参考的博客:
http://blog.csdn.net/xyls12345/article/details/27504965
http://myjeeva.com/solrcloud-cluster-single-collection-deployment.html#deploying-solrcloud
http://blog.csdn.net/woshiwanxin102213/article/details/18793271
http://blog.csdn.net/natureice/article/details/9109351
solrcloud名称解释
http://www.solr.cc/blog/?p=99
solr.xml解释
http://www.abyssss.com/?p=415
发表评论
-
Solr主从备份
2015-12-09 11:23 3061SOLR复制模式,是一种在分布式环境下用于同步主从服务器的 ... -
Solr Grouping / Field Collapsing(分组查询)
2014-12-23 11:17 13326Solr Grouping / Field Collaps ... -
solr StatsComponent(聚合统计)
2014-12-22 10:34 7535StatsComponent 转载请出自出处:http: ... -
Solr Facet 查询
2014-12-15 09:44 11555Solr Facet查询 转载请出自出处:http:// ... -
Solr Deep Paging(solr 深分页)
2014-10-27 16:21 7370转载请出自出处:http://eksliang.iteye ... -
solrCloud+tomcat+zookeeper集群安装(这才是高可用的)
2014-10-08 09:59 0第一步:集群zookeeper 参考我的上篇博客:htt ... -
solrcloud 部署方式比较
2014-09-16 19:17 2590solrcloud 的部署其实有两种方式可选,那么我们在实 ... -
SolrCloud原理介绍
2014-08-29 10:57 8160博客来源http://www.chepoo.com/solr ... -
solrCloud+tomcat+zookeeper集群配置
2014-08-21 18:00 8500转载请出自出处:http://eksliang.iteye ... -
solr 为单独的core导入jar
2014-12-15 11:29 1258为solr导入jar的一些总结 在网上大多的 ... -
solr4.8 高亮查询和配置
2014-08-05 16:51 5877转载请出自出处:http://eksliang.it ... -
solr suggest检查建议
2014-07-29 20:45 8603转载请出自出处:http://eksliang.iteye. ... -
solr4.8 DataImportHandler 从关系型数据库导入数据
2014-07-28 10:16 6352转载请出自出处:http:/ ... -
在tomcat上面安装solr4.8.0全过程
2014-07-25 17:27 5153转载请出自出处:http://eksliang.iteye. ...
相关推荐
mybatis中mapper文件resultMap中collection和association的使用,参考地址:https://blog.csdn.net/zhizhuodewo6/article/details/82863452
Collection大总结 面试宝典 值得珍藏 map list .....
系统管理指南:设备和文件系统 Solaris 可调参数参考手册 Solaris Volume Manager 管理指南 Solaris ZFS 管理指南 系统管理指南:Solaris 打印 我合并为一个文档,共5374页,并添加了书签。 请求各位下(载)客给2...
介绍了VB中集合,如何去何从建立集合对象的使用方法及实例操作
SolrCloud使用 SolrCloud的集合(SolrCores)管理API 添加集合 http://localhost:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=1&replicationFactor=4 ...
本文详细讲解了java中Collection与Collections,Array与Arrays的区别。
solr创建索引时,搭建solrcloud,然后添加collection,修改schemad.xml文件,建立索引。
Backbone.js框架中Model与Collection的使用实例.docx
分享一个php中的Collection集合类,需要的朋友们可以下载使用。
Backbone.js框架中Model与Collection的用法实例_.docx
mybatis 多层级collection嵌套
在JVM5.0中调配Garbage Collection 在JVM5.0中调配Garbage Collection 在JVM5.0中调配Garbage Collection
1、java解析读取excel文件中的数据,并写入数据库。 2、java读取数据库数据,并导出为excel文件。 3、README.md中有详细的操作步骤示例。 使用说明: 1. 先使用postman导入:other/excel相关.postman_collection....
Denise Milani Video Collection
一个php中的Collection集合类
集合框架包含collection和map的子类。其中collection包含list、set和queue。map包括hashmap、hashtable和treemap
Dictionary比Collection慢好多; 采用了高精度计时器进行比较,可以精确到微秒; 添加速度快1-2倍 读取快3倍 删除有时快5倍 具体数据量不一样,CPU和电脑不同,结果也不同。 Dictionary,加20万条,用时2371.5783毫秒...
zkhost本地主机:9983 -confname albabooks -confdir ./solr 加载样本数据: / path / to / solrcloud / bin / post -c albabooks /path/to/albabooks.csv(您可以在datagen存储库中找到它的压缩文件) 您还可以将...
Collection接口中的常用方法的简单介绍
Mesh Deformation Full Collection.unitypackage