选型|数据架构选型必读:2021上半年数据库产品技术解析( 九 )
1、Runtime field运行时字段
- 在7.11.x之前版本 , 应用中若需要动态组合一些字段 , 如查询或者聚合 , 或者其他、默认采用的Script-Painless脚本 , 虽然功能上能满足 , 但性能是一个损失 , 同时若字段需要复用 , 则需要同时执行多个脚本;
- runtime field运行时字段 , 算是ES一个小小的新创新 , 带来了一些新的玩法 , 大大简化之前版本直接使用脚本的的场景 , 也能支持多个场景复用字段 , 达到灵活与性能兼具;
- runtime field运行时字段 , 目前官方提供2种使用形式 , 一种提前在mappings中定义 , 一种是在DSL中动态创建 。 建议可以尽快使用 , 尽可能将旧版本直接使用script的场景切换到最新的运行时字段方式来;
- runtime field , 运行时字段 , 虽然带来了诸多便利与好处 , 但也需要注意不可滥用 , 毕竟运行时计算依然依赖了script 。
- 7.12.x版本 , Elasticsearch推出了冻结层特性 , 相比7.10.x增加了一个新的数据层概念 , 要知道ES为了解决海量数据的存储成本 , 推出了非常大胆创新的Searchable Snapshots能力 , 相比其它数据产品 , ES备份的数据快照不用还原就可以搜索使用 , 虽然性能相比正常的索引稍微弱一些 , 但也大大的节约了时间与存储成本 。 冻结层就属于这个概念 , 目的就是把备份快照数据划分到冻结层 , 提供了索引从创建到所有可能使用阶段的生命周期管理;
- 结合ILM (index lifecycle management) , 让索引的自动化运维能力大大提升;
- 配套Searchable snapshots索引快照搜索能力 , 单集群可轻松应对海量数据存储与查询 , 用极少资源挂载数百TB或PB数据量成为可能 , 还在对于成本考虑的公司或技术人员可以换换思维了 。
3、JDK16.x运行环境
- 从7.12.x开始 , Elasticsearch升级了内置默认的JDK版本 , 当前版本是jdk16.x ,至于为什么升级到最新版本 , 官方并没有给出最佳解释 , 升级JDK当然可以获得一些性能提升或者其它方面便利;
- JDK16.x版本 , 查阅官方增加了一些新的特性 , 其中最引入注意的是Vector API , 近几年支持SIMD指令集数据分析产品大火 , 介于JDK版本特性问题 , 基于Java语言编写的大数据产品想要在数据分析能力得到性能的极致提升 , 非常难于实现 , 不如硬件CPU直接 。 JDK16.x开始支持SIMD指令 , 如果ES在未来某个版本开始直接支持SIMD , 那么单机数据分析性能也可以直追Clickhouse , 再结合Elastic Stack生态 , 个人很看好;
- 目前很多Java家族数据产品 , 想要做到SIMD , 不借助JDK的话 , 只能通过JNI方式 , 混合使用C++的能力 。 这很别扭 , 也很无奈 ,很期待Elasticsearch早日支持JDK Vector API 。
推荐阅读
- 中国新闻网|最新数据:中国有效发明专利359.7万件 有效注册商标3724万件
- 架构|一“融”解千愁,SASE因何成为未来网络安全的新范式?
- 油泵|消除征信“数据孤岛” 打通创新“任督二脉”
- 非法|国新办举行2021年知识产权相关工作统计数据发布会
- 医疗|医疗AI:向数据要核心驱动力
- 第一财经|一加并入OPPO半年后 完成中国区组织架构调整
- 免疫|柳叶刀预印本平台披露吸入用新冠疫苗异源加强数据:免疫原性更高
- 硬件|PCI-SIG正式发布PCIe 6.0规范:每通道64GT/s数据传输速率
- 阿里云|揭秘“云上奥运”:冬奥云数据中心300余天“免费”自然冷却
- 实时|智慧集市 大数据防控疫情