拿来就能用！如何用 AI 算法提高安全运维效率？ | 技术头条( 八 )_作者|黄龙责编|伍杏玲在整个安全工作中

技术发展随着互联网、物联网、大数据和云计算的快速发展，整个IT行业的技术栈都在快速发展，这里我们来简单看一下安全工程师对日志进行安全分析的技术发展史。早期的业务量不多，技术栈简单，业务复杂度不高，通常日志的量级还不算太大，往往通过简单的命令（awk/sort/cat/find等）或者简单的shell/Python/perl脚本，再加上工程师人肉分析来进行处理。比如入侵排查和响应，分析结果和效率往往特别依赖于安全工程师的日志分析能力、经验和Linux操作的熟练度以及脚本的编写使用。随着互联网的发展，业务量快速增加和技术栈的高速发展，日志越来越多，需要进行日志分析的平台也快速提升， HDFS和ELK（Elasticsearch + Logstash ， Kibana）就应运而生。 HDFS作为离线分析，安全工程师可以通过简单的Hive SQL完成一些分析和统计工作；ELK一般作为集中日志分析系统，在搜集、展示和查询方面非常灵活，更加简单易用。所以这个时候的日志分析和问题排查，基本上只依赖于安全工程师的日志分析能力和安全经验，而一些hive sql或者es查询语法，学习成本是非常低的。随着日志量越来越大，一方面日志量越来越大，日志分析的效率需要提高；另一方面很多安全分析的需求也不简单的是一些特征关键字和统计能完成的，可能有些需要依赖于前面的行为等，这时候安全工程师就需要新的工具来进行支撑。