【笔记】HCIE Storage v3.0 BCmanager eBackup&eReplication

eBackup

一款备份软件，备份虚拟机、磁盘
备份对象：可以对接vmware虚拟机和FusionCompute虚拟机
备份存储：支持NAS、S3、SAN存储
备份策略：支持为虚拟机、单个/多个磁盘创建保护策略
原理是基于快照（虚拟机/磁盘）和CBT技术

产品架构


备份服务器：制定备份计划、执行备份计划，web界面管理，备份任务的执行
备份代理：接受备份服务器下发的备份、恢复等指令，与生产系统和存储交互，执行任务。
内部通信：监控代理情况，为了实现故障切换，以及负载均衡

备份恢复原理

永远增量备份

同一个备份对象的所有备份数据会按照时间先后顺序形成备份链，该备份链上的所有备份副本均根据同一备份策略备份同一个备份对象产生，且存储在同一个存储库上。
CBT，change block trace，类似远程复制的DCL

简略版：不变的数据从上一备份中引用，只增量备份改变的数据块
详细版：

  • 第一次备份为全量备份，生成备份副本1；后续备份均为增量备份，生成备份副本2、3。
  • 第二次增量备份时，磁盘上数据块B、C发现变化，则备份副本2中生成新的备份数据块B1、C1；数据块A、D未发生变化，则备份副本2中引用备份副本1中的备份数据块A、D。
  • 第三次增量备份时，磁盘上数据块D发生变化，则备份副本3中生成新的备份数据块D1；数据块A、B1以及C1未发生变化，则备份副本3中引用备份副本2中的备份数据块A、B1以及C1；在第三次增量备份时，磁盘上新写入数据块E、F，则备份副本3中生成新的备份数据块E、F。
  • 当某一备份副本被删除后，该备份副本中被引用的备份数据块不会被删除，其余备份数据块将被删除。如：删除备份副本2时，备份副本1在使用数据块D，数据块D不会被删除；数据块A、B1、C1被备份副本3引用，不会被删除。

无合成增量恢复

恢复数据时增量恢复有差别的故障点。
每一个备份副本均是一个虚拟的全备副本。

如上图，某一时刻磁盘数据块C1、F损坏，采用备份副本3恢复磁盘数据。

  • 恢复数据时采用增量恢复，对当前磁盘损坏时刻的数据与某一备份副本的数据做比较，两者无差别则无需恢复，只需恢复有差别的故障点。图中采用备份副本3恢复磁盘数据时，只需恢复数据块C1、F。
  • 用备份副本恢复磁盘数据时，恢复前无需做备份数据块的合成。如采用备份副本3恢复磁盘数据时，无需将备份副本2中的备份数据块C1合入备份副本3。


支持恢复到原卷和新卷，该技术只针对原卷恢复的情况，对于新卷则是所有数据全部写入。

文件级恢复

虚拟机在存储上都是磁盘的形式，如何理解文件级恢复？
虚拟机在CNA节点上的磁盘文件中，包含有.img的镜像文件，其实ebackup的备份本质就是备份这个磁盘镜像文件， 然后挂载虚拟机中，管理员手动的拷贝文件
文件级恢复就是创建一个镜像文件，然后挂载虚拟机中，管理员手动的拷贝文件。

方案

版本选择

eBackup版本选择只和FusionCompute版本强相关，与解决方案DCS、FusionCube、FusionAccess、FusionManager等的版本不强相关。
Support上可以搜索：FusionCompute版本配套，可以看到8.x以上FusionCompute的强配套版本，即安装时需要部署的版本。

FusionCompute eBackup
6.X(V100R006) V200R001C00SPC253+V200R001C00SPC256补丁
8.0.0,8.0.1 安装8.0.6，升级到8.2.0.SPC500
8.1.0 安装8.1.0，升级到8.2.0.SPC500
8.2.0 8.2.0.SPC500
8.3.0 8.3.0 + 8.3.0.CP1补丁
8.5.0 8.3.1.CP1
8.6.RC1 8.5.0

部署场景

eBackup有LAN-FREE与LAN-BASE两种组网方式。
LAN-FREE数据流：生产存储业务面-> eBackup生产存储平面->eBackup备份存储平面->备份存储
LAN-BASE数据流：生产存储业务面->CNA存储面->CNA管理面->eBackup生产管理平面->eBackup备份存储平面->备份存储

  1. LAN-FREE

采用LAN-Free备份，备份和恢复不占用以太网资源，从而释放网络带宽。LAN-Free备份部署场景适用于备份数据量较大，对备份窗口要求比较严格的场景。
FusionCompute虚拟化，生产存储为华为分布式块存储时，仅支持LAN-Free方式的备份和恢复。
LAN-FREE

  1. LAN-BASE

采用LAN-Base备份，备份恢复数据的传输是以以太网为基础的。备份过程中，备份代理把备份数据通过以太网传输到备份存储实现备份。
FusionCompute虚拟化，生产存储为虚拟化存储（包括SAN存储、NAS存储和本地硬盘）时，仅支持LAN-Base方式的备份和恢复。
LAN-BASE

方案 组网方式 条件
FusionCompute+ 生产存储为FusionStorage LAN-FREE
FusionCompute6.X + 生产存储为虚拟化存储 LAN-FREE 1、eBackup生产存储平面与生产存储业务面网络打通
2、FusionCompute是XEN内核版本即FusionCompute6.3及以后都不支持LAN-FREE
3、[目标盘后置零盘、LAN-FREE恢复开关打开]
4、生产存储是SAN虚拟化
LAN-BASE
FusionCompute8.X +生产存储为虚拟化存储 LAN-BASE
FusionCompute8.X + evol盘+ eBackup 8.3.0、8.3.1、8.5.0 LAN-FREE
VMWare + eBackup 8.3.0、8.3.1、8.5.0 SAN Transport(LAN-FREE) 1、物理机部署
2、eBackup生产存储平面与生产存储业务面网络打通
NBD和NBDSSL(LAN-BASE)

网络规划

强烈建议管理平面、内部通信平面、生产存储平面和备份存储平面四个网络平面配置在四个不同的网段，实现相互隔离。
备份管理：web地址登录，配置eBackup
生产管理：与被备份的平台通
内部通信：备份服务器和备份代理通
生产存储：lan-free要和这个生产存储的业务口通
备份存储：备份介质业务口通

  1. 管理面与内部通信平面，一般可以合一部署，因为内部通信平面流量很小
  2. 针对LAN-FREE组网，推荐是使用三个网络平面，管理面与内部通信平面、生产存储平面、备份存储平面
  3. 针对LAN-BASE组网，推荐是使用三个网络平面，管理面与内部通信平面、生产存储平面、备份存储平面，若局点网络无法满足，可以管理面、内部通信平面、生产存储平面合一，备份存储平面单独

兼容性与部署形态

  1. 兼容性从support网站搜“BCManager eBackup 兼容性”，根据ebackup的版本查询对生产环境、备份存储、安装环境和维护终端的兼容性列表。eg：

  1. 部署形态
    部署形态 说明
    物理机部署 所有场景均可以物理机部署，以下情况必须物理机部署：
    1、生产存储是FC SAN并使用LAN-FREE（V2R1C00版本）
    2、备份存储是FC SAN（V2R1C00版本）
    3、FusionCompute8.1.0（不包括8.1.0）以下，生产存储为FusionStorage
    4、VMWare场景使用SAN Transport
    虚拟机部署 非必须物理机部署情况，其他情况均可虚拟机

特别注意：

  • FC SAN在8.x版本是不能作为备份存储
  • 本地盘不能作为备份存储

容量规划

计算方法：
备份存储容量= （全备容量+ 增备容量+ 管理数据库备份空间）120%
全备容量= （保留的周期性全备份数+ 1）源端容量
增备容量=源端容量* 每天的数据变化量* 保留的增备副本天数
管理数据库备份空间，按照200GB计算
源端容量：非磁盘使用容量，具体大小无法确切评估，磁盘使用容量< 源端容量< 磁盘总容量
若有高级版本license，备份开启压缩，总体容量可以除1.5
举例：
假设源端容量是20TB，7天一次全备，其余6天增量备份，备份副本保留7天，每日数据变化量2%
全备容量=（1+1）* 20 = 40TB
增备份容量=20 * 0.02 * 6 = 2.4TB
备份存储容量=（40 + 2.4+0.2）*1.2=51.12TB

许可

基础版：8.x后已无基础版license，不导入license基础版功能均可用。V2R1C00版本有基础版license，但是不导入license也可以使用基础版功能
高级版：相对基础版：重删、压缩、HA、文件级恢复（V2R1C00、8.3.0、8.3.1、8.5.0）、S3存储单元、远程复制（8.3.0、8.3.1、8.5.0 ），VMWare备份（8.3.0、8.3.1、8.5.0 ）
License试用期与宽限期，不导入license会有3个月试用期（所有功能），到期后不导入license，高级版功能失效（常见试用期备份开了压缩，试用期结束备份任务失败）。导入license后，license过期后会进入宽限期，宽限期为2个月。
ESN：根据MAC地址生成，用于申请license，HA场景使用主备节点的所有mac生成ESN申请license，或者使用主备节点的UUID生成ESN
检测规则：license中任意一个ESN与当前主节点的任意一个ESN能匹配则通过

约束限制

约束限制参考用户指南。
特别注意：

  1. 不支持备份VRM、eBackup虚拟机
  2. 不支持跨内核恢复，xen与KVM
  3. 不同架构备份副本不能交叉恢复，arm与X86
  4. 推荐是按照每200台虚拟化一个备份代理进行规划，代理节点个数在12个以内

实验

2种方式安装：OS+软件包、模板

  • 虚拟机安装：使用模板进行安装
  • 物理机安装：先安装操作系统，在安装软件包

配置eBackup服务器，配置管理数据备份
生产存储是分布式存储时，需要把eBackup节点加入FusionStorage

分布式存储版本 FusionCompute版本 eBackup版本 参考用户指南
V100R006C30 6.x V2R1C00 OceanStorBCManagerV200R001C00 eBackup 用户指南
8.0.1 8.0.6
8.1.0 8.1.0
8.0.1 8.0.1 8.0.6 OceanStorBCManager8.0.6 eBackup 用户指南(虚拟化)
8.1.0 8.1.0
8.0.X 8.1.0 8.1.0 OceanStorBCManager8.1.0 eBackup 用户指南(虚拟化)
8.2.0 8.2.0.SPC500 OceanStorBCManager8.2.0 eBackup 用户指南(虚拟化)
8.3.0 8.3.0 OceanStorBCManager8.3.0 eBackup 用户指南(虚拟化)

实验1 仅ebackup服务器安装

实验环境：

eBackup FusionCompute
备份/生产管理平面 172.111.0.31/16 172.1.0.111/16
内部通信 -
生产存储 -
备份存储 172.112.0.31/16

查看OS现有网卡：

导入eBackup的安装包，到相应目录下执行安装：

配置内部通信网络平面，需要注意，即使只有一台备份服务器，备份服务器也会有备份代理的功能，也需要配置内部通信平面：

生产管理：

生产存储：

备份存储：

规划内部通信平面的浮动IP地址，网段与内部通信平面网段一致。规划管理平面的浮动IP地址，网段与管理平面网段一致，用于配置HA功能。


根据提示的地址登录web界面（要记住噢，只显示这一次）：

（可选）当使用的机器和eBackup不在同一个网段内时，华为做了限制，是无法直接访问到web的，需要到备份服务器的OS里加入防火墙规则
cd /opt/huawei-data-protection/ebackup/bin
sh iptablesHelper.sh accept HCPManagementPlane 浏览器所在维护终端的IP地址（网段） eBackup的备份管理平面IP地址（网段）

web登录的用户名/密码： admin/PXU9@ctuNov17!（密码要记住，考试没有提示）
备份存储内部逻辑架构：

  • 存储单元：备份数据基础存储单元。
  • 存储池：由一个存储单元组成，单个存储池提供一个抽象层，实现物理隔离。一个存储池发生故障，不会影响其它存储池的备份。
  • 存储库：在一个存储池上划分的一块空间。存储库提供逻辑上的隔离，一个保护集备份后生成的备份副本保存在一个存储库内。存储库为备份提供存储，为恢复提供数据源。

实验2 如何通过虚拟机ID找到对应的磁盘文件路径？

ebackup上已备份的虚拟机磁盘ID
ebackup的命令行查看已备份的磁盘文件
到CNA的命令行上，我们开始找备份虚拟机的磁盘文件。首先df -hT
ebackup的命令行查看已备份的磁盘文件
挂载了三块磁盘
去图形化界面上，查看CNA的磁盘，如下三块，可以使用容量与命令行的那三块对应（由于存储厂商和操作系统厂商对磁盘的1000/1024进制不同，数字有些许出入）
结合上图CLI，这是图形化界面的
回到CNA的命令行，进到datastore里看看里面都是些什么东西，如下图，目录里面包含了.cfg和.img镜像文件（如果做了ebackup备份的还会有.cbt文件，见图vol_27847fbb-a3b3-4552-91b7-8d35ba195da3）；virsh list
结合上图CLI，这是图形化界面的

根据上述在ebackup上看到的磁盘ID，找到并使用virsh edit [name]查看对应虚拟机的配置文件信息：

与上上图中的cbt文件名对应上了
总结：首先图形化界面上获取虚拟机名称或者虚拟机的ID，转到CNA的CLI界面上，virsh list查看该节点的虚拟机列表，确认虚拟机存在该节点上；virsh edit [vm name]查看该虚拟机的配置文件信息，在”devices”–>”disk”找到对应的磁盘镜像文件路径；退出来执行df -hT
与上上图中的cbt文件名对应上了

实验3 ebackup备份由Pacific提供存储空间的虚拟机

  1. ebackup部署和对接备份存储空间
  2. FC平台对接Pacific，发放一台虚拟机
  3. ebackup对接Pacific
  4. ebackup备份

ebackup部署和对接备份存储空间

网卡 eBackup IP
内部通信/生产管理平面 172.111.0.81/16
生产存储/备份存储平面 172.112.0.81/16
浮动地址 172.111.0.82/16


使用enp4s3网卡连接NFS备份存储，也就是172.112.0.81需要与172.0.0.85互通。看眼ebackup路由表：

没有相关路由，需要手动增加静态路由（ping时使用-I选项指定网卡）：

开始安装eBackup服务器：


根据上图所示，登录https://172.111.0.81:8088，默认用户名密码见版本手册，此版本为admin/PXU9@ctuNov17!。
首先对接存储资源。转到【备份存储】–【存储单元】–【创建存储单元】，输入需要对接的NFS存储的备份资源路径：
eBackup对接NFS备份存储

创建存储池，勾选刚刚创建的存储单元：

创建存储库：

FC平台对接Pacific

参考：https://support.huawei.com/hedex/hdx.do?docid=EDOC1100247120&id=ZH-CN_TOPIC_0000001243113073

  1. 为主机添加存储接口，与pacific的前端网络互通，配置路由
  2. 创建VBS节点前需开启SFTP服务，登录pacific平台，安装VBS
  3. CNA为华为分布式块存储agent服务预留资源
  4. 证书替换
主机添加存储接口

当前已配置了“storage”的网卡IP为172.112.5.11，由于与存储的前端网络不在同一个网段，需要给网卡配置一条静态路由和网关：

对应的，存储侧也要添加回来的路由：


CNA开启SFTP服务

使用gandalf用户登录CNA命令行

1
2
3
4
5
6
7
8
#切换至root用户
su - root

#防止系统超时退出
TMOUT=0

#开启SFTP服务
sh /opt/galax/gms/common/util/configSshSftp.sh open
CNA管理域服务资源预留

参考：https://support.huawei.com/hedex/hdx.do?docid=EDOC1100247120&id=ZH-CN_TOPIC_0000001198673406
默认预留参数
根据pacific手册和CNA的物理资源
增加资源

向计算节点CNA安装VBS

登录Oceanstor Pacific的DeviceManager：

输入需要安装VBS的节点IP（CNA的管理地址）：



FC对接pacific存储

配置证书。FC添加Pacific时使用的是证书认证，需要进行API证书对接。

因为fc和Pacific是通过证书认证来对接，证书不一致会导致对接不上。检查FC侧和存储侧的证书是否一致。
在FSM虚拟机上执行：

1
2
3
4
md5sum /opt/omm/oms/workspace/webapps/dsware/WEB-INF/manager-ssl.properties
md5sum /opt/omm/oms/workspace/webapps/dsware/WEB-INF/dsware-api.properties
md5sum /opt/omm/oms/workspace/webapps/dsware/WEB-INF/client_self.keystore
md5sum /opt/omm/oms/workspace/webapps/dsware/WEB-INF/client_trust.keystore

在VRM虚拟机上执行如下命令：

1
2
3
4
md5sum /opt/dsware/dsware_api/cert/manager-ssl.properties
md5sum /opt/dsware/dsware_api/cert/dsware-api.properties
md5sum /opt/dsware/dsware_api/cert/client_self.keystore
md5sum /opt/dsware/dsware_api/cert/client_trust.keystore



在FSM虚拟机上把证书压缩打包导入到VRM中：

1
2
3
4
5
6
7
8
9
10
11
[rootGA01 WEB-INF]# tar -zcvf cert.gz dsware-api.properties client_self.keystore client_trust.keystore manager-ssl.properties 
dsware-api.properties
client_self.keystore
client_trust.keystore
manager-ssl.properties
[rootGA01 WEB-INF]# mv cert.gz /home/fsadmin/
mv: overwrite '/home/fsadmin/cert.gz'?y
[root@A01 WEB-INF]# cd /home/fsadmin/
[root@A01 fsadmin]# ls
cert.gz
[root@A01 fsadmin]# chown fsadmin cert.gz

sftp时候只能通过fsadmin用户下载，传输到VRM里面：



所以添加存储资源使用的是存储的管理地址，保证两地址的互通：

eReplication

BCManager eReplication，一款容灾业务管理软件套件
BCManager eReplication基于B/S架构，通过浏览器进行容灾管理，包括BCManager eReplication Agent、BCManager eReplication Server两个子系统

安装server端

eReplication Server安装在容灾管理服务器上，提供容灾业务流程控制、容灾策略调度、容灾资源、容灾业务配置数据管理。
安装包直接运行install即可，地址与业务和存储的管理地址互通

安装agent端

eReplication Agent安装在业务主机上，提供主机应用的发现、应用数据一致性的保证和应用的恢复。此外，eReplication Agent还负责将对应的应用系统信息传递给eReplication Server，从而让操作人员更加方便的管理和配置数据保护与容灾任务。
以Linux为例，将压缩包上传至业务主机，创建rdadmin用户并将压缩包解压至该用户的家目录下（rdadmin用于agent和server认证用）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@oraclemaster ~]# useradd -goinstall -G dba,oper rdadmin
[root@oraclemaster ~]# passwd rdadmin
[root@oraclemaster ~]# mkdir /home/rdadmin/Agent
[root@oraclemaster ~]# tar -zxvf 0ceanstor\ BCManaqer\ V200R001C20SPC200_Agent-RedHat6-x86_64.tar.qz -C /home/rdadmin/Agent
[root@oraclemaster ~]# cd /home/rdadmin/Agent/bin
[root@oraclemaster bin]# ./agent_install.sh
Please input your name:
>> rdadmin
Enter new password:
Enter the new password again:
Please choose Ip Address binded by nginx.Please select the serial number is greater than 0 Numbers!
  1. 172.18.201.101
  2. 10.18.201.101
>>1
Please input rdagent listening port number 1024-65535, default port 8091:
>>
You choose rdagent default port number[8091].
Please input nginx listening port number 1024-65535, default port 59526:
>>
You choose nginx default port number[59526].
OceanStor BCManager Agent was installed successfully.

##安装完毕后show一下是否成功
[root@oraclemaster bin]# /home/rdadmin/Agent/bin/agentcli show

server添加主备站点、存储和主机


主备容灾测试

为什么容灾测试？一是测试容灾环境是否有问题，二是保障业务数据一致

测试使用的是快照挂载测试，不会影响生产业务

计划性迁移：模拟故障，做实战演练，需要手动停止生产端业务
重保护：主备切换，启动从lun写保护，如果演练结束之后，需要将业务切换到生产站点，也不用担心数据丢失的问题
故障恢复：真实的A站点故障后，B站点接管业务的时候选择