大数据分析的关键技术
发布时间:2021-05-04 10:14:41 所属栏目:动态 来源:互联网
导读:数据采集与解析技术 利用日志采集器实时以非格式化或半格式化采集原始数据,根据配置的解析规则和字段补全规则,完成数据的解析与数据补全。最终将解析的数据存入大数据存储中,以便后续进行实时或长周期的展示和统计分析。 大数据存储与处理技术 大数据平台
数据采集与解析技术利用日志采集器实时以非格式化或半格式化采集原始数据,根据配置的解析规则和字段补全规则,完成数据的解析与数据补全。最终将解析的数据存入大数据存储中,以便后续进行实时或长周期的展示和统计分析。 大数据存储与处理技术大数据平台计算处理能力达到日存储数据超过1T,支持千亿条数据的秒级处理,PB级数据管理与应用,保证高吞吐量与高数据压缩率,为安全智能分析提供实时或者长期的关联分析数据基础。 关联分析通过关联分析引擎对采集的实时数据流进行深度关联分析,包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法,综合分析进行安全威胁检测、预警。 机器学习通过机器学习和算法对大量的历史信息和安全信息的关联,以无监督学习(异常检测)为主,并有人工辅助的半监督学习(专家、管理人员反馈),对威胁行为进行一个长周期的分析,找出安全威胁与攻击的异常行为和隐藏的威胁行为。 (编辑:威海站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐
热点阅读