SolrCloud 5.0 路由、Collection创建与数据迁移

    SolrCloud的设计是为了提供高可用、容错,在分布式环境中进行内容索引和查询请求。

        SolrCloud 5.0,对自带的SolrCloud的启动脚本进行了改进,启动SolrCloud变的异常简单,执行

doc.addField("_route_", "shard_X");  

        同时在schema.xml添加字段

[html] view plain copy
 
  1. <field name="_route_" type="string"/>  

        利用URL创建implicit路由方式collection:

        http://10.21.17.200:9580/solr-5.0.0-web/admin/collections?action=CREATE&name=testimplicit&router.name=implicit&shards=shard1,shard2,shard3

SolrRouter源码

        在Solr源码中,可以看到,Solr路由的基类为DocRouter抽象类,HashBasedRouter和ImplicitDouter继承自DocRouter,同时CompositeIdRouter又继承HashBasedRouter抽象类,通过一个工具Hash类实现Document的路由策略。


SolrCloud 5.0 路由、Collection创建与数据迁移
 

创建Collection

        Solr创建Collection的两种方式:

  • 通过前台界面Add Core创建collection

SolrCloud 5.0 路由、Collection创建与数据迁移
 
SolrCloud 5.0 路由、Collection创建与数据迁移
 



 

        由于在tomcat,setenv.sh,设置-DnumShards=7,所以该collection有7个shards。

        需要注意的是:使用compositeId路由创建collection,指定numShards后,不可扩展Shard,即使勉强增加Shard,新建索引也不会落在该Shard上。查看clusterstate.json,可看到新建shard的"range":null

  • URL创建collection

        通过URL创建collection需要满足条件:num of (shards + replications)< num of live nodes

        测试环境中3台solr机器,创建collection URL为:

        http://10.21.17.200:9580/solr-4.10.0/admin/collections?action=CREATE&name=collection1&router.name=compositeId&numShards=5&replicationFactor=1

        执行结果报错

        <str name="Operation createcollection caused exception:">

              org.apache.solr.common.SolrException:org.apache.solr.common.SolrException:Cannot create collection collection1. Value of maxShardsPerNode is 1, and thenumber of live nodes is 3. This allows a maximum of 3 to be created. Value ofnumShards is 5 and value of replicationFactor is 1. This requires 5 shards tobe created (higher than the allowed number)

        </str>

        报错原因不满足 5 + 1 < 3

数据迁移

        在某些场景中,需要对SolrCloud进行扩容或数据迁移。

        根据以上讨论的两种路由算法,implicit实现该需求比较简单,只要创建Shard即可,新建索引时,将索引建到新建Shard上,查询操作,指定collection名称,得到的仍是整个集群返回的结果。

        compositeId路由实现上述需求稍微麻烦一下,通过分裂(SPLITSHARD)操作实现。如下图,对Shard1进行分裂,分裂URL为:

        http://10.21.17.200:9580/solr-4.10.0-web/admin/collections?action=SPLITSHARD&collection=log4j201503&shard=shard1


SolrCloud 5.0 路由、Collection创建与数据迁移
 


SolrCloud 5.0 路由、Collection创建与数据迁移
 

        此时Shard1的数据会平均分布到shard1_0和shard1_1上,在利用DELETESHARD API删除Shard1,即可保证数据不冗余。

相关推荐