Cloudera到HDP SOLR(版本5.5.2)数据迁移|在solr云上还原后无法更新solr索引

问题描述 投票:1回答:1

SOLR版本-5.5.2

我的项目要求是将Solr云索引从cloudera群集传输到HDP群集。

  • 数据量巨大(生产中有10亿个建立索引的记录,因此无法选择重新建立索引。

我们已经尝试了solr还原和备份API,但是数据在云上不可见。请检查我们是否缺少下面的任何步骤==>

1)允许的快照(Cloudera群集):sudo -u hdfs hadoop dfsadmin -allowSnapshot / user / solr / CollectionName

2)创建的快照:sudo -u hdfs hadoop dfs -createSnapshot / user / solr / CollectionName /

3)在HDP集群上创建的Solr集合:具有相同的名称,相同数量的分片和副本。

4)使用“ distcp”传输快照:sudo -u solr hadoop distcp hdfs:// NameNodeCDH-IP:8020 / user / solr / CDHCollectionName / .snapshot / s20180601-131020.000 hdfs:// NameNodeHDP-IP:8020 / user / solr

5)在集合级别还原快照:sudo -u solr hadoop fs -cp /user/solr/s20180601-131020.000/* / user / solr / HDPCollectionName /将快照从/ user / solr恢复到每个分片和副本的收集目录。

OUTCOME:HDFS目录已还原,但数据在SOLR UI上不可见。显示0条记录。使用-检查HDFS目录-sudo hadoop fs -du -s -h / user / solr / HDPCollectionName /

HDP SOLR Data directory size -

SOLR CLOUD DATA SIZE - ZERO 0

hdfs cloudera restore hortonworks-data-platform solrcloud
1个回答
1
投票

最近我遇到了类似的问题。问题是由于还原状态处于进行中状态,因此请执行以下步骤。1.卷曲'http://SolrHostName:8983/solr/CollectionName_shardNo_ReplicaNO/replication?command=restore&name=snapshotName&location=SolrCollectionDirectory'2.卷曲'http://SolrHostName:8983/solr/CollectionName_shardNo_ReplicaNO/replication?command=restorestatus'

一旦成功找到restorestatus,则数据将在SOLR UI上可见。

© www.soinside.com 2019 - 2024. All rights reserved.