易坊好文馆

  1. 首页 > 玩科技 >

结构化|NAS数据迁移到对象存储太麻烦？90分钟纳管1000万文件了解一下

客户 企业 业务 数据 文件 时间 存储 设备 对象 海量 结构化 杉岩

对象存储成为海量数字底座首选
移动互联网和物联网等技术把我们带入海量数据时代 ， 数据终端呈现指数级增长 ， 数据的类型和数量越来越多 。 在企业内部 ， 新增数据中超过80%都是非结构化数据 。
IT初期规划中 ， 由于数据规模较小 ， 企业往往采用NAS存储非结构化数据 。 但当文件超过千万级 ， NAS会出现性能瓶颈 ， 严重影响业务效率；而且数据量攀升带来的频繁扩容、升级 ， 也增加了不小的维护工作量 。
对象存储无疑是应对海量非结构化数据增长的最佳选项 ， 从实际部署情况看 ， 越来越多的企业开始将非结构化数据切换到对象存储平台 。
技术演进带来异构管理困境
IT建设是一个渐进的过程 ， 技术在不断发展 ， IT基础设施也在不断更新 。 最早的时候 ， 企业的业务信息量比较小 ， 只用一个文件服务器就可以解决问题 。 随着业务发展 ， 数据逐渐增多 ， 磁盘阵列、软件定义存储开始成为数据基础设施的中流砥柱 。
技术演进造成了存储设备的参差不齐 ， 品牌纷呈 。 异构环境带来了设备不兼容、数据迁移不便等管理难题 。 据统计 ， 管理员平均40%的工作时间用于维护存储的管理功能 ， 平均25-50%的存储管理时间用于诊断和解决问题 。
在大型数据中心里面 ， 这种情况尤其突出 。 在交付广发证券档案中心对象存储项目时 ， 客户原有NAS存储了近6000万文件 ， 总容量近40TB ， 客户利用业务空窗期通过传统方式进行历史数据搬迁 ， 耗时长达2个月 ， 运维工作也需要持续的人力投入 。 如果对象存储能够快速纳管能力 ， 业务上线时间将会大幅缩短 ， 运维人力将得到释放 ， 客户效益也将进一步提升 。
当NAS向对象存储演进成为必由之路 ， 如何避免陷入设备和数据的维护管理 ， 将是所有对象存储厂商必然克服的难题 。
杉岩MOS帮您免迁移纳管NAS

结构化|NAS数据迁移到对象存储太麻烦？90分钟纳管1000万文件了解一下
文章图片

图1.免迁移纳管NAS ， IT架构平滑演进
在MOS海量对象存储纳管NAS设备的过程中 ， MOS会读取NAS中每个文件的元数据信息 ， 并将其转换为对象存储中的对象属性信息 ， 同时将源文件与桶空间进行映射 。 纳管完成之后 ， 前端业务可通过S3接口直接访问NAS中的历史数据 ， 后续新写入的数据则直接存入对象存储中 。 免去了数据迁移与校验的繁琐过程 ， 业务上线的时间大大缩短 。
在实际测试中 ， 3个节点的对象存储集群 ， 对1000万个文件进行纳管只需要90分钟 ， 并且无需考虑文件大小 。 相比之下 ， 使用传统方式迁移1000万个16KB大小的文件 ， 需要12个小时左右的时间 ， 若文件增大 ， 迁移时间将更长 。 另外 ， 在节点数更多的情况下 ， 纳管时间会更短 。
考虑到不同客户对NAS设备的替代需求存在差异 ， 杉岩提供了不同粒度的纳管选项 。 客户可选择对整个NAS目录进行纳管 ， 也可以只纳管其中的某个子目录 ， 从而实现增量纳管的功能 。
此外 ， 如果客户想要淘汰NAS存储 ， 也可通过配置生命周期管理策略 ， 系统自动将NAS中的历史数据逐步迁移到对象存储中 ， 无需人为干预 。 整个迁移过程完全透明 ， 用户无感知 。
成功实践
中国人保财险
随着互联网与传统行业融合 ， 中国人保财险的互联网业务及用户规模不断扩大 ， 保险影像平台的数据量激增 ， 原有NAS存储面临海量小文件性能差、设备扩容复杂、数据安全隐患等诸多挑战 。
该项目基于5节点、总容量300TB的MOS对象存储集群 ， 构建影像数据存储平台 ， 通过纳管原有NAS中近600万文件 ， 实现资源整合；同时将海量小文件性能提升至毫秒级 ， 业务显著提效；在线弹性扩容 ， 满足业务发展需要；通过http协议访问 ， 用户可直接从存储拉取数据 ， 实现影像数据实时调阅 。
珠海华润银行
珠海华润银行是珠海市首家资产过千亿的独立法人企业 ， 业务涵盖公司金融、个人金融和金融市场等多个领域 ， 现有珠海、深汕两个数据中心 。 业务持续增长使得交易单号、音视频等非结构化数据激增 ， 日增量在200-400GB ， 原有NAS扩容费时费力 ， 而且NAS不支持双中心双写 ， 导致异地访问带宽压力大 ， 影响客户体验 。
该项目在珠海和深汕数据中心部署6节点对象存储集群 ， 总容量近400TB ， 替换原有EMC高端NAS存储 ， 上层对接数据管理平台ODS（Operational Data Storage） ， 支撑更大的数据规模和更高的访问性能 。 通过NAS纳管实现资源整合 ， 综合成本削减超30% ， IT预算分配更加合理；高并发优势和双中心数据就近读写能力 ， 让业务提效超过50% ， 数据可靠性提升2倍以上 。
国内最大的电子认证服务机构
作为国家级权威金融安全认证机构， 累计服务超过2400家金融机构 ， 其电子签名相关业务每月新增4000万个文件 ， NAS性能瓶颈以及频繁的冷数据归档让客户最终决定基于对象存储构建海量智能数字底座 。
该项目采用8节点、总容量800 TB的杉岩MOS对象存储集群纳管原有NAS ， 业务割接时间缩短到小时级 ， 轻松支撑数十亿文件的存储需求；将低配服务器和原有NAS作为冷数据池 ， 实现设备利旧 ， 通过生命周期管理策略实现数据自动分层归档 ， 综合成本降低超过40% 。
【结构化|NAS数据迁移到对象存储太麻烦？90分钟纳管1000万文件了解一下】大数据时代 ， 一个企业数据占有量越多、数据整合越有效 ， 企业的经营发展就越有优势 。 杉岩数据的NAS纳管方案 ， 极大降低了设备更替给业务连续性带来的影响 ， 缩短了业务割接时间 ， 同时利用自动化策略减轻管理运维压力 ， 为企业IT架构的平滑演进保驾护航 。

    推荐阅读


    上一篇：视频|傲雪创始人范睿：后手机时代、我们将如何改变未来

    下一篇：研究|湖南大学在人造细胞生理效应研究方面取得新进展