全媒体背景下高可用技术支撑体系和技术安全体系建设的实践与思考
摘 要：在持续推进媒体深度融合发展过程中 ， 探索构建全媒体传播体系技术方法 ， 重点在全媒体传播技术体系的高可用性方面进行深入探索 。 通过采用各项互联网化技术构建全媒体传播高可用技术支撑体系和技术安全体系 ， 形成全媒体传播高可用技术体系 。
关键词：全媒体传播；高可用；分而治之；技术支撑体系；技术安全体系
DOI：10.19483/j.cnki.11-4653/n.2021.07.003
本文著录格式：贺海玉 . 全媒体背景下高可用技术支撑体系和技术安全体系建设的实践与思考 [J]. 中国传媒科技 ， 2021（07）：18-20.
作者简介：贺海玉（1977-） ， 男 ， 河南卫辉 ， 高级工程师 ， 大众报业集团（大众日报社） 。
作者单位：大众报业集团（大众日报社）
我国互联网用户数已跃居全球第一并呈现出全民皆网的特点 。 网民的网络并发访问量越来越高 ， 传统的媒体生产技术体系已难以支撑这样的大规模访问压力 。 在这样的背景下 ， 全媒体传播体系中技术体系的可用性要求就越来越高 。 在深入实践全媒体传播体系建设过程中 ， 如何构建一套高可用的技术体系就显得越来越重要 。
大众报业集团持续推进媒体深度融合发展 ， 建设全媒体传播体系 。 通过技术驱动 ， 逐渐实现报、网、端、微全媒体生产发布平台的技术打通、数据贯通 ， 逐步实现共建共享共用 ， 消灭信息孤岛 ， 打造全媒体一体化传播平台 ， 逐步实现传统媒体生产技术体系向全媒体传播技术体系的转变 。 [1] 在转变过程中 ， 重点在全媒体传播技术体系的高可用性方面进行了深入探索 。 通过采用各项互联网化技术构建全媒体传播高可用技术支撑体系和技术安全体系 ， 形成全媒体传播高可用技术体系 。
NO.1
全媒体传播高可用技术体系的实践原则
为适应高可用、高并发、易扩展的实际需求 ， 全媒体传播高可用技术支撑体系在实践过程中采用了“分而治之”“灵活扩展”的思路 ， 以满足大规模、多样化的应用需求 。
1.1 稳定可靠
以用户为中心 ， 在各种情况下 ， 能快速响应用户的请求 ， 有较大的并发处理能力、较高的吞吐量和稳定的性能 ， 保证系统的不间断服务 ， 实现高可用 。
1.2 安全可靠
采用多种安全防范机制从物理安全、系统安全、网络安全、应用安全、虚拟化安全、数据安全等安全维度实现纵深防护 ， 确保平台的安全性 。
1.3 灵活扩展
采用弹性伸缩框架使平台自身组件支持灵活的扩展功能 ， 可根据不断增长的业务需求 ， 动态增加软、硬件应用实例 ， 实现应用实例动态伸缩以及在横向和纵向上的扩展 。
1.4 快速响应
方便、快速的应对新业务发展和高并发的流量访问 ， 随需应变 ， 快速响应 。
NO.2
全媒体传播高可用技术支撑体系
大众报业集团全媒体传播高可用技术支撑体系的建设采用了分布式集群架构 ， 逻辑上划分为五层结构：前端内容分发层、负载均衡层、Web 应用层、中间服务层、数据管理存储层 。 在这五层中分别运用虚拟化技术、分布式计算、负载均衡、应用服务器集群、消息队列、全文索引、分布式缓存、分布式文件系统、数据库主从等技术 ， 实现了平台的高可用、高并发、易扩展 。
文章图片
前 端 内 容 分 发 层 ，主 要 用 于 实 现 本 地 内 容 自 动向 网 络 节 点 分 发 ，提 高 用 户 访 问 体 验 。 CDN（Content Distribution Network ， 内容分发网络）技术 ， 能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合因素将用户的请求重新导向网络访问效率最优的服务节点上 。 这样就可以使用户更高效地访问所需的网络内容 ， 解决了因网络带宽小、用户访问量大、网点分布不均等原因造成的用户访问慢的问题 ， 提升用户访问的响应速度 。 [2] 因此 ， 在前端内容分发层通过使用 CDN 内容分发网络技术 ， 将访问压力分解到CDN 中的不同网络节点上 ， 减轻了大量用户对后端网络服务的访问压力 。 通过在前端环节对访问流量的“分而治之” ， 使该环节实现了高可用 。
负载均衡层 ， 主要是从负载均衡服务器环节承担负载流量均衡分发任务 ， 在遇到高并发的访问量时 ， 按照调度算法均衡将流量分发到不同的服务器上实现流量分发 ， 分解高并发访问的压力 。 [3] 这一逻辑层主要是通过Nginx + Keepalived 相结合的部署方式来确保负载均衡的高可用和扩展性 。 Nginx 是一款开源的、轻量级、高性能、稳定性高、并发性好的七层负载均衡服务器软件 。 通过在 Nginx 上配置监听规则 ， 在有高并发访问量时可以将流量分发到不同的后台服务器上分担处理 。 还可根据业务发展的需要 ， 通过修改 Nginx 负载均衡模块配置 ， 随时添加或移除服务器 ， 来扩展或释放应用系统的服务能力 ， 灵活适用于各种应用服务的需求 。 为提高 Nginx 服务的可用性 ， 以主备的方式部署的 Nginx ， 再通过 Keepalived 心跳检测技术实时监测 Nginx 服务器的健康状态 ， 当 Nginx主备服务器中有某台服务器发生故障后 ， Keepalived 将自动屏蔽故障的服务器 ， 将请求分发给正常运行的 Nginx 服务器 ， 消除单点故障 ， 保证应用系统仍能正常工作 。 因此 ， 在负载均衡层采用负载均衡技术可以进一步缓解高并发访问的压力 ， 提高应用处理性能 ， 增加吞吐量 ， 加强网络处理能力 ， 提供了故障自动转移的有效方法 ， 实现了服务高可用、伸缩性和扩展性 。 通过在网络请求响应环节对访问流量的“分而治之” ， 使该环节具备了高可用性 。
Web 应用层 ， 主要是对浏览器访问请求作出响应 ， 为用户提供可靠的 Web 服务 。 当前端浏览器访问请求超过 Web 应用服务器的处理能力时 ， 可通过采用集群技术和动态页面静态化等技术提高 Web 服务器的服务能力和响应速度 。 一般集群技术通常是由两台或多台服务器构成的一种松耦合的计算节点集合 ， 为用户提供网络服务或应用程序的单一客户视图 ， 这些服务器之间可以相互通信 ， 协同起来向用户提供强大的计算资源和数据服务 。 因此 ， 在实际应用环境中是将多台应用服务器构成一个集群 ， 经由负载均衡技术将前端请求分发到不同的服务器上 ， 以应对大量前端请求同时访问时产生的高并发负载压力 。 同时在 Web 应用层通过采用动态资源和静态资源分离的措施优化服务器资源分配 ， 当接收到静态文件请求时 ， 直接返回该文件而无需将该请求提交至后端应用服务器 ， 当对访问量特别大而更新又不很频繁的动态页面 ， 可以将其静态化 ， 即生成一个静态页面进行缓存 ， 避免后端服务器频繁执行重复查询 。 因此 ， 在 Web 应用层应用集群和动静分离技术 ， 提高了 Web 应用层的处理能力和响应能力 ， 缓解了对后端服务器的访问压力 ， 提高了系统可用性 。 通过在 Web 服务层对 Web 访问流量“分而治之” ， 使该层实现了高可用性 。
中间服务层 ， 主要起着承上启下的作用 ， 是连接Web 应用层和数据存储管理层之间数据通信的纽带 ， 它加快了 Web 应用层响应速度 ， 消除了并发访问高峰 ， 缓解了前端高并发访问流量对数据存储层的访问压力 。 中间服务层主要是通过使用分布式缓存、消息队列 ， 全文检索等技术实现了高可用 ， 其中分布式缓存技术能够提供快速读取数据、动态地扩展缓存节点、自动故障切换以及数据的自动均衡分区 ， 根据内容资源访问频率优化存储策略 ， 进而提高了访问效率 ， 是实现分布式高可用的重要技术之一 。 因此 ， 在 Web 应用层和数据存储管理层之间引入分布式缓存层 ， 通过采用 Redis 服务 ， 将经常访问的热点数据进行缓存 ， 当有业务请求发起时 ， 每次都先从缓存层中查询 ， 阻挡大量的请求直接落到系统的底层数据库上 ， 从而大大减少对数据库的查询 ， 减小对数据库的压力 ， 极好地解决了大流量情况下数据库服务器和Web服务器之间的瓶颈 ， 实现了更短的响应时间 ， 提升了数据读取速度和数据承载能力 。 同时在内容发布后台设计人工数据更新机制 ， 满足内容秒级的增删改需求 。 消息队列是一种异步的服务间通信方式 ， 可对业务模块进行解耦 ， 并通过异步调用方式提高访问速度 ， 再对有高并发的访问请求进行排队处理 ， 这样将前端的请求峰值进行削峰处理 ， 减轻了对后端的访问压力 ， 使后端可根据自己的处理速度进行处理 ， 因此消息队列也是保证分布式高可用的重要手段 。 全文检索则是采用 Elasticsearch ， 它是一个开源的高扩展的分布式全文检索引擎 ， 可以近乎实时地存储、检索并处理 PB 级别的数据 ， 并且支持集群扩展 ， 是一种流行的企业级搜索引擎 。 在处理大规模数据集时 ， 全文检索系统通常采用集群技术架构 ， 通过节点数量的扩展 ， 进而提高全文检索的能力 ， 以满足更大的数据检索需求 ， 同时为了提高系统的并发检索能力 ， 可通过扩展节点内的副本数量 ， 以满足大量并发检索的需求 ， 实现容错和高可用性 。 因此 ， 通过在中间服务层对实时数据流采用“分而治之” ， 使该层具备了高可用性 。
数据存储管理层是整个支撑体系的基石 ， 为整个体系提供结构化数据、非结构化数据的数据管理和存储功能 。 在底层数据存储上采用数据库管理系统与缓存数据库相结合的方式实现 ， 将读写频繁的热点业务数据存入中间服务层的 Redis 缓存数据库 ， 提高数据访问效率 ， 缓解后端数据库访问压力 ， 提高数据库可用性 。 [4] 对结构化数据采用 Mysql 数据库管理系统进行存储 。 为防止数据库服务发生宕机或意外中断等故障 ， 在进行数据库部署时 ， 常采用一主一从或一主多从的架构部署 ， 当主数据库服务器发生故障时 ， 能尽快地切换到从服务器对外提供数据访问 ， 尽可能地减少停机时间 ， 保证业务不会因为数据库的故障而中断 ， 并通过数据库的主从同步机制保证数据的一致性 。 提高数据访问可用性的另一个重要手段就是对数据库的读写进行分离 ， 让主数据库处理写入操作 ， 而从数据库处理读取操作 ， 从而把数据读写分离 ， 大大地降低后端数据库的压力 。 当数据库中的数据表越来越多 ， 表中的数据量越来越大时 ， 则采用分库分表的方法减小对数据库管理系统的处理压力 。 在对海量非结构化数据进行存储时 ， 则采用分布式文件系统进行数据的管理存储 。 分布式文件系统把大量数据分散到不同的节点上进行冗余存储 ， 从而大大减小了数据丢失的风险 ， 它的这一冗余性特点 ， 保证了部分节点出现故障时不影响整体的正常运行 ， 并由其他节点将损坏的数据恢复出来 ， 避免了单点故障 。 分布式文件系统还通过网络将分散的计算机连接在一起 ， 通过不断横向扩展服务器来增加计算和存储能力 ， 形成更大容量、更易于拓展伸缩的存储系统 。 因此 ， 在数据存储管理层对数据存储采用“分而治之” ， 使该层具备了高可用性 。
NO.3
全媒体传播高可用技术安全体系
全媒体传播高可用技术安全体系是按照国家标准化管理委员会发布的《信息安全技术网络安全等级保护基本要求》 ， 通过采用系统化的安全防护手段和容灾备份系统 ， 建立多维安全防护机制 ， 形成高可用技术安全体系 。
文章图片
3.1 网域防护
根据不同业务系统的重要程度 ， 在平台内部划分不同的网络领域 ， 包含 DMZ 域、等保域、办公域等 ， 将安全需求相近的业务集中部署到相同的网络域 ， 实现了网络隔离 ， 同时从物理安全、系统安全、网络安全、应用安全、虚拟化安全、数据安全等多维度进行纵深防护 ， 构建网域防护体系 。 [5]
3.2 边界防护
在各网络域之间根据网络安全需求 ， 采用 Web 应用防火墙和入侵检测系统等安全设备进行安全隔离 ， 防止 SQL注入、XSS 跨站、路径穿越、核心文件非授权访问、后门隔离保护、命令注入、非法 HTTP 协议请求、Web 服务器漏洞攻击等各种非法入侵行为 ， 确保各网络域之间的数据传输符合相应的安全访问控制策略 ， 保障各网络域安全 。
3.3 运维审计
通过部署堡垒机隔离了终端设备对主机和网络设备的直接访问 ， 拦阻非法访问和恶意攻击 ， 对不合法命令进行命令阻断 ， 过滤掉所有对目标设备的非法访问行为 ， 并对内部人员误操作和非法操作进行审计监控 ， 以便事后责任追踪 。
3.4 数据库审计
3.5 容灾备份系统
根据三级等保规范和实际业务需要 ， 将重要核心系统数据、业务数据在本地和异地进行备份 。 通过建立异地灾备系统 ， 具有数据异地备份、服务自动切换和系统快速恢复功能 ， 保证系统服务的不间断性和稳定性 。
NO.4
结语
【网络|全媒体背景下高可用技术支撑体系和技术安全体系建设】通过运用虚拟化、负载均衡、Web 集群、消息队列、缓存和数据库等分布式互联网技术建立起的高可用、高并发、易扩展的分布式全媒体传播高可用技术支撑体系 ， 通过运用网域防护、边界防护、日志审计、数据库审计、堡垒机、容灾备份等网络多种安全手段 ， 构建起多维度全媒体传播高可用技术安全体系 。 通过在全媒体传播体系中建设高可用技术支撑体系和高可用技术安全体系共同构建起全媒体传播高可用技术体系 ， 有效的解决高并发流量下的流量转发、集群伸缩、资源调度、安全防护、应急处置等问题 。
参考文献
[1] 汤代禄 .“齐鲁智慧媒体云”支撑媒体深度融合发展 [J].中国传媒科技 ， 2021（3）：14-17 ， 39.
[2] 张燕华 . CDN 网络分发算法的研究 [J]. 浙江传媒学院学报 ， 2006（3）：39-41.
[3] 耿晓利 ， 张芒 ， 尹永宏 . 高并发高可用的分布式电商平台架构研究 [J]. 计算机技术与发展 ， 2021（31）：111-115.
[4] 刘增才 ， 张福铮 ， 刘明珠 ， 盛治国 . 基于高可用微服务架构的数字党建平台研究及应用 [J]. 信息技术与信息化 .2019（11）：184-188.
[5] 基于私有云架构的广播电台融合媒体平台设计 [J]. 电声技术 ， 2017（4/5）：81-86.
推荐阅读
- 年轻人|呼叫全城玩家，魔都首发「表情包地铁」启程，2022蓝不倒！
- 网络|天津联通全力助推天津市入选全国首批千兆城市
- 地面|全程回顾神舟十三号航天员乘组圆满完成第二次出舱任务
- 平板|消息称 vivo 平板明年上半年推出：骁龙 870，四边等宽全面屏设计
- 安全|Redline Stealer恶意软件：窃取浏览器中存储的用户凭证
- 解决方案|三菱重工AirFlex：全屋恒温，暖意守护安全工作
- |南安市交通运输局强化渣土 运输安全专项整治
- 测试|图森未来完成全球首次无人驾驶重卡在公开道路的全无人化测试
- ASUS|华硕预热ROG Flow Z13：称其是“全球最强悍的游戏平板”
- 网络化|工信部：2025年建成500个以上智能制造示范工厂