Hadoop备份和恢复工具及指南

问题描述 投票:0回答:5

我是hadoop新手,需要了解有关备份和恢复的详细信息。我修改了oracle备份和恢复,对hadoop有帮助吗?我应该从哪里开始

hadoop
5个回答
6
投票

有几个备份和恢复选项。正如 s.singh 指出的那样,数据复制不是灾难恢复。

HDFS 支持快照。这可用于防止用户错误、恢复文件等。话虽如此,这并不是 Hadoop 集群完全故障时的灾难恢复。 (http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html

最好的选择是保留异地备份。这可以是另一个 Hadoop 集群、S3 等,并且可以使用 distcp 执行。 (http://hadoop.apache.org/docs/stable1/distcp2.html),(https://wiki.apache.org/hadoop/AmazonS3

这是 Cloudera 讨论灾难恢复的幻灯片 (http://www.slideshare.net/cloudera/hadoop-backup-and-disaster-recovery)


2
投票

Hadoop 设计用于在具有 1000 个节点的大型集群上工作。数据丢失可能会更少。您可以增加复制因子以将数据复制到集群中的许多节点中。

参考数据复制

对于Namenode日志备份,您可以使用辅助namenodeHadoop高可用性

辅助名称节点

辅助名称节点将为 namnode 日志进行备份。如果 namenode 失败,那么您可以从辅助 namenode 恢复 namenode 日志(保存数据块信息)。

高可用性

高可用性是一项新功能,可在集群中运行多个名称节点。一个名称节点将处于活动状态,另一个名称节点将处于备用状态。日志保存在两个namenode中。如果一个名称节点发生故障,则另一个名称节点将变为活动状态并处理该操作。

但大多数情况下我们还需要考虑备份和灾难恢复。请参阅@brandon.bell 的回答。


0
投票

您可以使用 DataTorrent 上的 HDFS 同步应用程序进行灾难恢复用例,将大量数据从一个 HDFS 集群备份到另一个 HDFS 集群。

https://www.datatorrent.com/apphub/hdfs-sync/

它使用 Apache Apex 作为处理引擎。


0
投票

从官方文档网站开始:HdfsUserGuide

看看下面的 SE 帖子:

Hadoop 2.0数据写入操作确认

Hadoop:HDFS 文件写入和读取

Hadoop 2.0 名称节点、辅助节点和检查点节点实现高可用性

Hadoop Namenode 故障转移过程如何工作?

有关 Recovery_Mode 的文档页面:

通常,您将配置多个元数据存储位置。然后,如果一个存储位置损坏,您可以从其他存储位置之一读取元数据。

但是,如果唯一可用的存储位置已损坏,您该怎么办?在这种情况下,有一种特殊的 NameNode 启动模式,称为恢复模式,可以让您恢复大部分数据

您可以像这样在恢复模式下启动NameNode:namenode -recover


0
投票

Hadoop备份和恢复可能与Oracle有一些相似之处,但由于Hadoop集群的分布式和容错特性,它也有自己独特的方面。

HDFS 快照,正如 Brandon 之前提到的,对于创建数据的时间点副本非常有用。此外,Hadoop 支持增量备份,可以减少执行备份时的数据传输开销和存储要求。这对于拥有大量数据的基础设施(例如 HPC)非常重要。

我同意数据复制不是一个完整的灾难恢复解决方案,但它是 Hadoop 中数据持久性的一个重要方面。默认情况下,HDFS 在多个节点之间复制数据块以实现容错。可以调整复制因子以平衡数据持久性和存储空间。

还需要详细说明异地备份对于真正灾难恢复的重要性。我建议选择跨集群复制(将数据同步到不同地理位置的单独 Hadoop 集群)以及使用 Amazon S3、Azure Blob Storage 或 Google Cloud Storage 等云存储服务来存储备份。即使在发生灾难性集群故障或数据中心中断的情况下,这也可以确保数据可用性。使用

distcp
等工具在集群和平台之间复制数据。

© www.soinside.com 2019 - 2024. All rights reserved.