【笔记】HCIE Storage v3.0 备份方案设计

什么是备份？备份组网？备份介质？

什么是备份

组成

  1. 备份管理系统：含备份管理软件和备份管理服务器；自动发起备份作业，执行备份，读取备份客户端的数据并把数据写入到备份介质中。
  2. 备份介质：存放备份数据的设备；常见的备份介质：磁带库、磁盘阵列、光盘塔等
  3. 备份网络：备份数据由备份客户端到备份服务器的网络；一般是TCP/IP或者光纤网络
  4. 备份客户端：需要备份的业务主机一般需安装备份软件客户端代理程序（agent）

介质服务器和备份管理服务器可以合并部署。

常见备份类型

  1. 完全备份：完全备份所有的数据，易管理、占用空间大、恢复速度快。比如oracle的rman，每次备份都会备份所有数据

完全备份

  1. 累积增量备份：每周进行一次完全备份，其余每天备份和完全备份差异的部分。比如周天备份a，周一备份b-a，周二备份c-a……

累积增量备份

  1. 差异增量备份：每周进行一次完全备份，其余每天备份是与上一次备份的差异部分

差异增量备份

举例区分。比如每周天进行全量备份，第一个周天备份时数据量为50G，此后每天有1G的增量数据，那么对应这三种备份，各自需要多少的备份空间？

  • 完全备份：50+51+52+53+……+57=428G
  • 累积增量：50+（1+2+3+4+5+6）+57=128G
  • 差异增量：50+1×6+57=113G

备份策略

  1. 数据保留周期
    1. 按份：比如保留30份，那么第31份备份完毕后删除第1份
    2. 按时间：比如保留一个月
    3. 不设置
  2. 备份周期，多久备份一次？备份频率？
  3. 备份目的地，备份到哪里？本地、SAN、NAS、对象存储、公有云…
  4. 备份什么数据？表空间、文件、目录、磁盘

备份的组网

备份服务器 （CommServer）：制定备份策略，执行备份到哪个介质服务器上，备份到哪个介质中，发起备份任务
介质服务器 （media agent）：执行备份的，client备份的数据有media agent读取回来写到备份介质中

  1. host-base

    优点：便宜
    缺点：无法备份多个节点，备份会消耗主机资源

  2. LAN-base

    优点：相较于host-base，可以同时备份多个节点，网络接口简单，成本低，且不用改变现有网络组网
    缺点：备份时占用业务带宽，也会消耗业务主机的计算资源

  3. LAN-free

    优点：单独组网，备份时不占用业务带宽，备份的速度提升
    缺点：成本较lan-base高一些，备份时会消耗主机资源

  4. server-free

    优点：备份时不需要占用业务网络，备份时也不会消耗主机资源
    缺点：条件受限，存储型号、备份软件、应用、成本等。

    1. 通过快照的方法实现

    业务服务器的数据放置在业务存储上，当需要备份时，在业务服务器上打快照，将快照映射给代理节点，代理节点再将数据备份给相关存储，全程走的是SAN网络，不会涉及业务网络。
    如果要备份oracle呢？Oracle本质是RDBMS+DB（4大文件）+实例。
    在备份代理节点读到4大文件，是不是就可以还原成原来的oracle数据库呢？将4大文件挂载给代理节点，代理节点启动数据库时会启动实例，加载4大文件，通过RMAN备份数据。因此，在代理节点只需要提前部署上RDBMS软件即可，然后将4大文件挂载给代理节点。

    1. 通过NDMP

    CIFS、NFS来实现
    将业务存储的文件夹共享给备份存储，备份存储直接备份里面的文件

重删与压缩

压缩和重删非常消耗算力。
https://support.huawei.com/hedex/hdx.do?docid=EDOC1000182281&id=smartdedupe_compression_block_0004
不管是压缩还是重删，都仅针对新写入的数据进行处理；如果创建LUN时未选择开启重删或压缩功能，创建LUN后不支持再开启重删或压缩功能。

重删

  1. 分类
    1. 源端重删：应用服务器做重复数据删除，传到备份服务器的数据减少；优点是需要购买的带宽变少，备份服务器数据下盘快；缺点是源端服务器压力大
    2. 目标端重删：如果不接受源端压力，只能做目标端；优点是源端压力小；缺点是带宽买的多，目标端性能要求高
    3. 全局重删：多节点可以利用每个节点的算力完成重删
    4. 并行重删
    5. 在线重删：数据先到达内存，执行重删后再数据下盘（可以用于存储空间紧张或者数据量不大的情况下）
    6. 后处理重删：数据先下盘，等服务器空闲后再重删

压缩

存储系统支持如下两种压缩策略：

  • Fast：Fast策略是系统默认使用的压缩算法。该算法压缩速度快，但与Deep策略相比压缩后空间节省效率低一些。
  • Deep：Deep策略可以获得空间节省效率的明显提升，但压缩和解压需要花费更长的时间。

备份介质

  1. 磁盘阵列
  2. 磁带库

  1. 光盘塔（蓝光），读写性能优于磁带库，可以做读写分离，常用在媒体行业的备份。

    缺点是光盘有机械装置可以自动换盘，机械装置的故障率会比较高

  2. 虚拟带库，物理介质用的是磁盘，也可以组成阵列，然后虚拟成磁带，常用于兼容原来的备份环境中的磁带场景。

  1. 备份一体机，服务器的存储空间+备份软件、服务器+分布式存储+备份软件

华为备份解决方案

备份规划设计

前期调研

  1. 备份带宽（现有组网带宽）：备份的窗口+备份数据量（数据增量）
  2. 备份对象：兼容性、重删所剩的数据量
  3. 操作系统：文件级备份和OS版本有关、agent是否可以安装
  4. 数据量的计算：重删、备份策略、数据保留周期

方案选型

扩展灵活性 兼容性 成本 复制功能 特点 备份集的使用
一体化备份 稍差，备份代理和备份软件一起购买的，备份空间可以单独挂硬盘框 备份软件是固定的 低 X系列本身带有复制功能 x系列本身的重删性能会好 直接用
集中备份 好，备份代理和存储空间都可以按需扩展 灵活，备份软件可以随意购买 高 备份软件来复制 x系列本身重删性能会好，备份软件来重删就会差点 有些软件可以有些软件不行

备份容量的计算

  1. 前端容量：用户需要备份的数据量
    后端容量：数据初始量+备份策略（备份的频率+保留周期）+数据复制+重删
    比如，每周天全备，除周天外每天增量备份，数据保留28天，原始数据量，50GB，每天增量是2GB
周天 周一 周二 周三 周四 周五 周六
第一周 50 2 2 2 2 2 2
第二周 64 2 2 2 2 2 2
第三周 78 2 2 2 2 2 2
第四周 92 2 2 2 2 2 2
第五周 106

备份容量至少是：50×5+（0+14+28+42+56）+6×2×4=438G

上面是简单的计算方式。官方给的后端容量计算方式是需要增加冗余部分的：
后端容量=（全备容量总和+增备容量总和）×（1+冗余比）/重删压缩比
=（全备次数×初始容量+增备次数×增备数据量）×（1+冗余比）/重删压缩比
冗余比推荐10%~20%

  1. 新存储如何计算可使用容量？
    （华为官网有计算工具的，贴链接）
    比如，新存储12块NL-SAS，每块10T，做热备和RAID6（8D+2P），容量计算过程：
    1. 硬盘插到存储时，注意进制转换。硬盘厂商标定1TB=1000GB，操作系统是1TB=1024GB
      单盘容量=10×1000×1000×1000/1024/1024/1024= 9.095TB
    2. 创建硬盘域时，12块盘扣掉一块热备盘，可用容量=9.095×（12-1）=100.045TB
    3. 创建存储池时，做RAID，8D+2P利用率是80%，100.045×0.8=80.036TB

（列举的例子只算了大概，其实还包括其他容量损耗，单盘的元数据、系统信息等，参考https://support.huawei.com/enterprise/zh/doc/EDOC1100098152/bcf36f2a）

  1. 高级备份
    高级备份后端容量=备份基础卷容量+副本容量+副本挂载容量=生产卷容量+（副本保留个数+1）×快照副本周期的数据变化量+30%×生产卷容量
    数据库的高级备份，生产数据卷1TB，日志卷1.5TB。 数据文件每天备份，数据变化量20GB/每天，每2小时做一次日志备份，日志每天数据变化量30GB/2小时。所有备份数据保留7天。每周做一次挂载测试。计算后端容量需求？
    生产卷=1TB+20GB×8+30%×1TB=1024GB+160GB+0.3×1024GB=1491.2GB
    日志卷=1.5TB+12×30GB×8+30%×1.5TB=1536GB+2880GB+460.8GB=4876.8GB

  2. 持续备份
    持续备份后端容量=备份基础卷容量+副本容量+副本挂载容量=生产卷容量×2+（副本保留个数+1）×快照副本周期的数据变化量+30%×生产卷容量
    文件系统的持续备份，生产数据卷1TB。 文件系统每天备份，数据变化量20GB每天。所有备份数据保留7天。每周做一次挂载测试。计算后端容量需求？
    生产卷=1TB×2+20GB×8+30%×1TB=2515.2GB

上述高级备份和持续备份是针对华为备份一体机DPA的，原理如下，便于理解计算。
高级备份：基于应用调用备份接口捕获生产数据

  1. 华为数据保护一体机高级备份功能从生产系统获取原生格式数据时，针对不同的环境有不同的接口，主要分为以下三类：
    1. 虚拟机：如VMware采用VMware Data Protection 的API。
    2. 应用：采用应用的接口，如Oracle应用采用RMAN作为接口。
    3. 文件系统：采用文件系统快照功能作为接口。
  2. 副本数据使用
    1. 即时挂载 Mount
      1. 即时挂载本质上将指定副本数据历史点时间快照的快照通过iSCSI数据访问协议提供给主机访问，该过程中不涉及到原始据的移动，亦不会改变指定副本数据历史时间点快照，因此，一份副本数据（基于时间点的快照）可以通过生成多份虚拟数据，同时挂载给多个不同的主机使用，以满足快速恢复、开发/测试、查询分析等不同的业务需求。注：高级特性可以支持数据的即时挂载，可以快速拉起业务。也是用来区分标准备份还是高级备份关键特性。
    2. 自服务式副本访问
      1. 通过华为数据保护一体机提供的统一管理界面，用户可以独立自主的选择指定时间点的备份数据集，快速配置副本数据访问，实现企业内部副本数据的再利用。
      2. 配合基于角色的访问权限控制，轻松设置基于角色的数据访问权限和用户。
    3. 数据脱敏
      1. 一体机提供了丰富的RESTful API，覆盖所有通过数据保护一体机管理控制台能执行的数据管理操作。
      2. 通过副本数据管理接口，结合企业内部的脚本或第三方数据脱敏工具，对副本数据进行处理，以屏蔽敏感数据。客户不仅可以加速以数据主导的流程，加强信息治理，同时保护数据免遭泄露和盗取。


持续备份
备份流程

  1. 创建持续备份对应的基础卷和日志卷；
  2. 全量读取生产卷数据，写入到基础卷；
  3. 旁路监听CDP Driver持续捕获IO增量数据；
  4. Client将增量IO数据发送的server，并先后写入到日志卷和基础卷；
  5. 根据保留策略，对基础卷进行创建快照，快照过期时，清理日志卷上快照时间点之前的日志。

备份带宽的计算

  1. 有1040 GB文件，备份窗口为6小时，重删压缩率约50%，GE网络，计算所需带宽，确定备份组网方式。

    1. 不带重删：1040/6/60/60=0.048GB/s

      由于网络带宽利用率是70%~80%，带宽=0.048/0.8=0.06GB/s=61.44MB/s=491.52Mbps

    2. 带重删：1040×50%/6/60/60=0.024GB/s
      所以实际带宽还需要算上0.024/0.8=0.03GB/s=245.76Mb/s

    综上，千兆网是可以满足的

  2. 有1040 GB文件，备份窗口为1小时，重删压缩率约50%

    1040×0.5/1/60/60=0.144GB/s
    0.144/0.8=0.18GB/s=1.44Gb/s
    这时候需要2根千兆做绑定才够用

  3. 有1040 GB文件，备份窗口为1，重删压缩率约50%，使用目标端重删，带宽多少能满足

    1040/1/60/60=0.288GB/s
    0.288/0.7=0.36GB/s=2.88Gb/s
    3根千兆网线做绑定，所以还不如用一根万兆

  4. A站点有50GB的生产数据量，需要在12小时内复制到B站点，AB站点间带宽为20Mbps，计算带宽是否满足需求。

    50×1024/12/60/60×8/0.7=13.54Mb/s<20Mb/s，结论是可以满足

    如果带有重删，那么复制的数据量就会更少，假设重删率是30%
    13.54Mb/s×0.7=9.48148Mb/s