近年来 , “数字化”三字的热度骤然登顶 , 我们才发现如今的中国已然成为数据构成的信息社会 。 数据成为这个时代最重要 , 也是数量最为庞大的社会资产 。 MarketsandMarkets发布的全球数据存储市场规模预测显示 , 2024年全球数据存储市场规模将破千亿美元大关 。 新时代下的存储被赋予了新的含义与模式 , 分布式存储逐渐成为其中的最优解 。
分布式存储:大数据时代下的必然发展
我们常常提及数字化转型 , 实际上从互联网诞生的那一刻起 , 数字化社会的雏形就已经出现 。 纸质车票的退出 , 现金的减少 , 线上商务的爆发 , 这些依托互联网成长起来的“大树”深入我们生活的细枝末节 , 无一不在昭示着信息社会已经成型的事实 。 如今的“数字化”并非在提示我们新的发展方式 , 而是社会正在制定新的规则 。 每一个人都无法否认 , 在这样的社会环境下 , 数据与信息已经成为当代最有价值的 , 同时也是数量最大的基础物料 。
正如前沿所提 , 一个事物的数量级越大 , 其存储也就最受关注 。 数据时代 , 最珍贵的也必然是各种数字信息 。
存储是一件与人类共存的行为 。 传统的数据存储方式发展到今天已经具备一定技术成熟性 , 性能良好且实用性上佳 , 但这仅仅是建立在目前的数据量级上 。 在面对数字化时代的海量数据时 , 传统存储方式的性能开始捉襟见肘 。 为了满足数据时代带来的各种问题 , 国家开始加快“新基建”的建设 。 2020年4月20号 , 国家发改委公布了新基建范围 , 区块链、人工智能和云计算一起入选了新技术基础设施 。 而作为区块链目前最有可能的着陆区之一 , 分布式存储技术以其“基础技术”的地位和即将落地的现状而备受关注 。
简单说 , 分布式存储就是一种数据存储技术 , 通过网络使用每台机器上的磁盘空间 , 并将这些分散的存储资源构成一个虚拟的存储设备 , 数据分散地存储在网络中的各个角落 。 这种存储结构更具可靠性、拓展性和优秀的性能表现 。 人们广泛相信 , 在如今的数据量下 , 通过更换硬件做垂直扩展的方式对于提高单机性能已经很不划算 , 并且单机在处理能力上也有着天然的瓶颈 , 即使花钱升级计算能力也无法继续无限制拓展 。 在此基础之上 , 单机存储计算存在的不稳定性也让整个存储行为有着难以估摸的风险 。 基于这些原因 , 分布式存储的发展才会日渐走上正轨 , 成为诸多行业重点关注的全新技术 。
目前 , 分布式存储最为典型的代表就是IPFS协议 。 IPFS是一个对等的分布式文件系统 , 它尝试为所有计算设备连接同一个文件系统 。 换句话说 , IPFS提供了一个高吞吐量、按内容寻址的块存储模型 , 以及与内容相关超链接 。 如果将本地文件添加到IPFS文件系统 , 可使其面向全世界可用 。 HTTP技术下寻找网络文件需要找到该文件存储电脑的IP地址 , 但IPFS只需要每个文件上独一无二的哈希值 , 可以认为IPFS就是加密版的HTTP技术 。
IPFS为我们解决的是数据存储问题 , 经常同它一起出现的Filecoin则为我们解决了挖矿的激励机制问题 。
文章图片
IPFS & Filecoin:引领一场颠覆性的互联网变革
中心化数据存储市场的崛起带来了巨大的商业利益 , 同时也面临着各类安全威胁 , 不仅容易造成单点故障 , 用户还将面临服务提供商中断服务或者以违反规定为由 , 移除/屏蔽存储的文件 , 而且随着文件存储数量的增加 , 存储成本也随之提高 , 加之各类信息泄露事件和其背后的灰色产业的猖狂 , 让解决存储服务短板问题的需求显得尤为急迫 。
在这样的行业发展背景下 , 基于内容寻址、分布式的、点对点的新型超媒体传输协议IPFS以及分布式存储网络Filecoin开始得到市场越来越多的关注 。
本质上说 , IPFS是一项互联网技术 , 本身与区块链关系不大 。 IPFS协议从2015年1月发布至今五年有余 , 技术也越来越成熟 , 作为下一代互联网底层通信协议 , IPFS已经成功应用在数据存储、文件传输、网络视频、社交、去中心化交易等各个领域 , 这些APP、应用、平台 , 正在重构整个互联网 。 但IPFS能在市场中引起巨大的反响 , 不单是因为它广阔的应用前景和市场规模 , 更是因为Filecoin的出现 。
Filecoin是建立在IPFS基础之上的激励层 , 采用了区块链的Token系统 , 可将云存储变成一个算法市场 , 避免了传统挖矿巨额的资源能源浪费 。 在这个系统之中 , 任何人都可以成为矿工 , 向该市场提供可用的数据存储 , 并获得执行的FIL 。 数据不再必须存在于代表单个故障点的大型集中式数据中心中 。 但Filecoin的抵押机制与BTC、ETH等挖矿项目大不相同 , 并不像BTC那样通过挖矿贡献的有效工作来决定货币分配 , 而是通过投入存储空间(硬盘)和带宽资源 , 即(存储)空间时间证明 。
2017年8月 , Filecoin完成了2.57亿美金的融资 , 创下了当时全球区块链早期项目的融资记录 , 获得了包括红杉资本、Y Combinator、文克莱沃斯兄弟、联合广场风投等顶级投资机构的青睐 。
相对于HTTP网络协议 , IPFS在存储上更安全、速度更快、费用更低的优势 , 既提高了系统的可靠性、可用性和访问效率 , 又便于扩展 , 降低了硬件引入的不稳定性 。 在相关业内人士眼中 , IPFS是可以颠覆传统互联网的存在 。 而Filecoin则为IPFS带来了新的应用能力 , 将云存储变为一个算法市场 , 为所有人提供了一个参与存储市场红利的机会 , 引领行业进入Web 3.0时代 。
文章图片
开源矿池:高运维能力提升矿工收益
在Filecoin官方团队的最初设想中 , 如果每个人都可以贡献自己的闲置资源 , 包括CPU、GPU、内存、硬盘等 , 那全民存力挖矿是完全可以实现的 。 但在发展过程中 , 现实与理想往往有着难以预料的差异 。
大多数人对于挖矿的主要认识来自于比特币(BTC)挖矿和以太坊(ETH)挖矿 , 比特币、以太坊挖矿属于PoW挖矿 , PoW挖矿相对说来比较简单 。 用户可以自行购买矿机 , 也可以加入矿池 , 只需简单配置 , 几乎不用维护 。 但是由于挖矿机制不同 , 挖矿准备、维护专业度、设备、网络等多种因素都会影响到Filecoin挖矿的收益 。
在Filecoin挖矿的过程中 , 矿工需要为客户提供7*24不间断存储服务 , 技术门槛较高 , 运维难度大 , 投入成本较高 , 使得Filecoin挖矿远不如比特币挖矿那么简单 。 个人挖矿不容易 , 但不代表Filecoin挖矿就完全拒绝了普通用户的入局 。 高门槛下 , 市场上很快出现了以开源矿池为代表的专注IPFS的生态服务者 , 用平台级的解决方案为投资者提供便捷高效的挖矿服务 。
比起单独挖矿 , 矿池服务商提供的硬件设备和服务更加规范化 。 专注于IPFS赛道的开源矿池一直致力于通过最优性价比的硬件配置 , 和资深区块链算法研究团队自研的优质挖矿软件 , 为客户提供“以集群化的方式部署IDC机房 , 并搭载开源超级矿池”的平台级解决方案 。
开源矿池使用了T3+级别IDC机房、2T互联网入口以及密闭冷通道温控 , 7X24小时实时监控 CPU温度、内存、硬盘等设备运行状态 , 异常状态主动报警 , 同时采用有双路市电接入+柴油发电机+UPS供电系统和双路供网模式 , 全面保障Filecoin网络的需求 , 集中化的管理也大大降低了投资者的入场门槛 。
【Web|开源矿池专注于IPFS分布式存储,助推Web 3.0全面升级】目前为止 , Filecoin大多采用专业集群挖矿的方式:购买矿机-测试安装-接入矿机-运维管理 。 这些步骤中最重要的莫过于运维管理 , 如果不能很好管理 , 不仅不能获得理想收益 , 还可能会带来损失 , 而这也正是开源矿池最大的优势 。
据了解 , 开源矿池中多位合伙人都是分布式存储领域出身 , 在分布式存储领域的上下游企业都积攒了丰富经验 。 方云豪作为合伙人之一 , 就曾谈过对运维的看法:“算力的领先不是永恒的 , 行业里的头部公司只要肯投入 , 那一定能迅速赶上我们 。
文章图片
但是运维不一样 , 时间对于每个人都是平行的 , 我们在挖矿的运维上有更多的经验 , 我们曾服务众多互联网一线公司 , 如阿里、字节跳动、爱奇艺、迅雷等 , 运维超过10万台机器 , 这是其他项目追赶不上的优势 。 ”通过强有力的运维模式 , 开源矿池已经施行了成熟的矿机、矿池管理模式 , 在数字资产的安全性保护上和矿机的稳定性、持续性拓展上都具备丰富经验 。
解决了挖矿核心问题的开源矿池 , 必定可以取得IPFS & Filecoin未来的标的 。
存储是一个恒久的话题 , 也是人类社会在发展过程中不断革新的重要内容 。 良好的存储模式会让信息的进入、搜索、读取更加高效准确 , 在广袤的数据海洋里 , 人的力量甚微 , 而优质的存储模式却是我们探索陌生世界的重要基础条件之一 。 未来分布式存储能够塑造一个什么样的数据时代 , 值得我们每个人拭目以待 。
推荐阅读
- 技术|使用云原生应用和开源技术的创新攻略
- 设计|腾讯宣布企业级设计体系 TDesign 对外开源
- 项目|开源鸿蒙OpenHarmony 3.0实现全设备能力初步覆盖
- 协议|再发正式版本,经典开源压缩软件 7-Zip 21.07 发布:仅 1.5MB
- Open|意大利法院认定开源软件许可证的可执行性
- Vue|TDesign 重磅开源,腾讯设计云产品集体亮相
- 用户|全新微软 Win11 WSA 开源工具上线 GitHub:支持双击 APK 安装
- Open|白宫邀请软件业者座谈以改善开源软件领域的安全状况
- 社区|阿里云等企业主导的龙蜥社区发起“龙腾计划”;OpenInfra基金会推出LOKI标准;GitLab 14.6发布 | 开源日报
- Web|马斯克嘲讽元宇宙:谁会整天戴着头显设备?