《基于大数据的网络安全与情报分析.pdf》由会员分享，可在线阅读，更多相关《基于大数据的网络安全与情报分析.pdf（12页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第49卷第3期2017年5月工程科学与技术ADVNCED ENGINEERING SCIENCESV0149No3May2017科学前沿 DOI：1015961jjsuese201600352基于大数据的网络安全与情报分析陈兴蜀1，曾雪梅”，王文贤1，邵国林2(1四川大学网络空间安全研究院，四川成都610065；2四川大学计算机学院，四川成都610065)摘要：随着IT技术和通信技术的发展，网络环境日趋复杂，云计算和虚拟化等技术的应用，使得主机边界、网络边界也变得动态和模糊。同时，网络攻击频繁，隐蔽性、持续性、趋利性等高级网络威胁增多。而传统网络安全与情报分析技术受数据来源单一、处理能力有限、
2、部署依赖于物理环境等因素的限制，导致对威胁情报的获取、分析、利用能力不足，且对网络安全态势的感知与预测能力有限，不能有效解决当前和未来所面临的网络安全挑战。作者以大数据技术给网络安全与情报分析研究带来的挑战与机遇为线索，回顾大数据的内涵，分析当前网络安全与情报分析面临的困境，梳理大数据和网络安全与情报分析的关系，阐述大数据技术对传统安全分析方法的改变。大数据技术在安全领域应用形成大数据安全分析这一新型安全应对方法，通过紧扣安全数据自身的特点和安全分析的目标，应用大数据分析的方法和技术，解决网络安全与情报分析中的实际问题。一方面，批量数据处理技术、流式数据处理技术、交互式数据查询技术等大数据处理
3、技术解决了高性能网络流量的实时还原与分析、海量历史日志数据分析与快速检索、海量文本数据的实时处理与检索等网络安全与情报分析中的数据处理问题；另一方面，大数据技术应用到安全可视分析、安全事件关联、用户行为分析中，形成大数据交互式可视分析、多源事件关联分析、用户实体行为分析、网络行为分析等一系列大数据安全分析研究分支，以应对当前的网络安全挑战。大数据安全分析技术在APT攻击检测、网络异常检测、网络安全态势感知、网络威胁情报分析等方面已经得到应用，但是，当前的网络安全形势仍不容乐观：高级网络威胁与攻击的有效检测方法缺乏；未知复杂网络攻击与威胁预测能力不足；缺乏度量网络安全态势评估结果的评价体系，关键
4、资产与网络整体的态势评估指标体系不完善，网络安全态势感知评估方法缺少针对性；网络威胁情报信息分析的新型数据源数据获取难度大，缺乏威胁情报共享标准，尚未建成规模化、一体化的现代威胁情报中心和开放的威胁情报综合服务平台。围绕这些问题，需要研究高级网络威胁发现方法、复杂网络攻击预测方法、大规模网络安全态势感知技术、威胁情报数据采集与共享技术，并在高级网络威胁早期检测、隐蔽性和持续性网络通信行为检测、基于大数据分析的网络特征提取技术、综合威胁情报的高级网络威胁预测、非公开网络情报采集等关键技术上实现突破，以提升大数据对网络信息安全的支撑能力，增强网络信息安全风险感知、预警和处置能力。关键词：大数据；网
5、络安全；情报分析中图分类号：TP3914 文献标志码：A 文章编号：20963246(2017)030001-12Big Data Analytics for Network Security and IntelligenceCHENXingshul，ZENG Xuemeil，WANG Wenxianl，SHA0 Guolin(1cybersecllrity Research Inst，Sichuan Univ，Chengdu 610065；2College ofComputer Sci，Sichuan Univ，Chengdu 610065，China)Abstract：With the d
6、evelopment of IT and communication technology，the network environment is becoming more and more complicated,and theperimeters ofhost and network become dynamic and fuzzy due to the application of cloud computing and visualization technologyAt the sametime，network attacks become more frequent and adv
7、anced network threats with evasive and persistent behavior and profit-chasing are also in-creasingHowever，due to the limit of data source and process ability and device deployment relied on physical environment，traditional network security and intelligence techniques are inefficient on the acquisiti
8、on capability，analytical abilities and utilize capacity of threat intelligence，and the收稿日期：20170423基金项目：国家自然科学基金资助项目(61272447)作者简介：陈兴蜀(1 968-)，女，博士，教授，博士生导师研究方向：云计算及大数据安全；可信计算E-mail：chenxshSCUeduca+通信联系人Email：zengxmSCBeducn网络出版时间：20170522 09：54：54 网络出版地址：http：knscnkinetkcmsdetail511773TB201705220954
9、001htmlhap：jsueseijournalscn http：jsueseSCUeduca万方数据2 工程科学与技术 第49卷perception and prediction ability ofthe network security situation is limited，so it cannot solve the current and future network security challengesefficientlyThe chances and challenges caused by big data fur network security and intel
10、ligence analysis are took as this paper cluefirst of all，theconnotation ofbig data is reviewed，and the current dilemmas in network security and intelligence analysis are analyzed，and then the relationshipbetween big data with network security and intelligence analysis is explored，and the changes oft
11、raditional security analysis brought by big datatechnologies are parsedBig data security analysis，a new security method is formed after the big data technologies was applied in cyber secudtyfieldThe value ofbig data security analysis embodies in solving practical problems in network security and int
12、elligence analysis through themethods and technologies ofbig data analysis under sticking t0 the purpose ofsecurity analysis and the character ofsecurity data itselfOn the onehand，big data processing technology，such as buu(data processing technology，streaming data processing technology，interactive d
13、ata query technology，can solve the issues of data processing in the high-performance network traffic realtime restore and analysis，massive historical log data ana-lysis and rapid retrieval,massive text data realtime processingOn the other hand，big data technologies are applied in security visual ana
14、lysis，se-curi锣event association and network user behavior analysis，a series research branch ofbig data security analysis are formed，such as big data inter-active visual analysis，multisource event correlation analysis，user entity behavior analysis，network behavior analysis and so onBig data securitya
15、nalysis technologies have applied in APT attack detection，network anomaly detection，network security situation perception，network threat intelligence analysis，etcEven though some achievements have been made in big data based network security and intelligence analysis，the current network security sit
16、uation is still not optimisticThe effective detection method of advanced network threats and attacks is lackingThe detection andprediction result to unknown complex network attacks is undesirableThe measurement system for evaluation methods of network security situ-ation awareness is needed，and larg
17、escale network security situation awareness indicator system for key assets and entire network is incompleteyet，and the evaluation methods are no pertinenceIt is difficult to acquire data from ncw type data sources of threat information and the standardsof threat intelligence sharing are needed to b
18、e researched furtherLargescale and integrate threat intelligence center and open service platformarent yet buildAround the above problems，it needs to be studied that the methods of advanced network threat discovery，complex network attackprediction，largescale network security situational awareness an
19、d threat information collection and sharing technology and needs some key tech-nical breakthroughs such as early detection of advanced network threats，concealment of continuous network communication behaviordetection，big data analytics based network feature extraction technology，intelligentbased adv
20、anced network threat forecast，non-public networkintelligence collection，so as to improve the big data supporting capability for network information security and enhance network information security risk perception and disposal capacityKey words：big data；network security；intelligence analysis随着IT技术与通
21、信技术的发展，计算能力和网络带宽迅速提升，云计算、物联网、社交网络等新兴服务兴起，数据正以前所未有的速度增长和累积，大数据时代已经到来。大数据技术具有从数量巨大、结构复杂、类型众多的数据中快速获得有价值信息的能力，能够揭示传统手段所看不到的内容和变化趋势，是当前学术界、产业界甚至各国政府关注的热点。大数据技术为信息安全产业发展带来新的机遇。然而随着网络环境的日趋复杂，网络攻击频繁出现，具有广泛性、隐蔽性、持续性、趋利性的网络攻击与信息窃取已经从个人蔓延到金融、通信、能源、航空、交通等许多领域，对公民、企业及国家信息安全构成了严重威胁，应对新的网络安全问题需要基于长时间的历史数据与多源信息开展网
22、络安全分析；随着互联网应用、交互方式的激增，网民在网络空间的活动具有多样性、灵活性、持续性等特征，挖掘有效的情报需要关联更多的信息。2012年3月，Gartner指出：“信息安全问题正在变成一个大数据分析问题，大规模的安全数据需要被有效地关联、分析和挖掘”It】。应用大数据分析技术能够对当前和历史的各种类型数据进行关联分析与检索，帮助安全管理者实时洞悉安全情报和安全态势，快速做出判断和响应。作者以大数据技术给网络安全与情报分析研究带来的机遇为线索，首先回顾大数据的内涵，梳理大数据和网络安全与情报分析的关系；然后，探讨大规模安全数据的处理与分析关键技术，列举大数据技术在网络安全与情报分析中的典型
23、应用；最后，分析大数据环境下网络安全与情报分析的研究趋势。1大数据安全分析11大数据的内涵大数据是具有数量巨大(volume)、来源多样(variety)、生成极快(velocity)、多变(variability)等特征，且难以用传统数据体系架构有效处理的包含大量数据集的数据瞄J。美国国家标准技术研究所(NIsT)大数据公共工作组定义和分类小组认为大数据的上述4V特性是驱动数据密集型应用向新架构转变的动力1310业界普遍认为从大量的数据中抽取信息，处理的数据越多获得的价值越大。中国信息通信研究院发布的大数据白皮书(2016年)指出大数据是新资源、新技术、新理念的混合体【4J。从资源的视角来看
24、，大数据是新资源，体现一种全新的资源观；从技术的视角看，大数据代表了新一代数据管理与分析技术；从理念的视角看，大数据定义了一种全新的思维角度，即带来了“实事求是”的新内涵数据驱动与数据闭环。大数据技术是使大数据中所蕴含的价值得以挖掘万方数据第3期 陈兴蜀，等：基于大数据的网络安全与情报分析 3和展现的一系列技术与方法，包括数据采集、预处理、存储、分析挖掘、可视化等【2J。从大数据技术研究领域的角度，目前大数据主要涉及2个不同的技术领域：一是，致力于研发可以扩展至PB、EB、ZB级别的大数据存储平台；二是，大数据分析(big data analysisana-肌ics)，关注在短时间内处理大量不
25、同类型的数据集，分析出高价值信息，是体现大数据核心价值的关键。12传统网络安全与情报分析的困境121 网络安全分析的困境随着IT架构Et益复杂，各种应用不断涌现，数据和业务更加集中，网络和应用的边界越来越模糊，体现出随业务、资源等变化的动态性，基于单一边界、控制点的传统网络安全设备难以有效掌握整个网络或系统的安全状态。日志、网络流量等数据用于安全分析已经很成熟，但是，由于保留和分析大量数据所消耗的成本较高，系统日志与主机活动等数据一般保留一段时间后被删除。为实现对网络或云计算平台等系统的全面安全分析，需要从全局的角度获取安全分析所需数据，包括：网络数据包、日志、资产状态、业务信息、漏洞信息、身
26、份认证与访问信息、用户行为信息、配置信息等，可能还需要来自互联网的外部情报信息等数据。这些数据产生的速度越来越快，且数据类型涵盖结构化、半结构化和非结构化，呈现出大数据的特点。传统网络安全检测方法受数据源保留时间、数据分散和数据处理能力的限制，无法有效应对。网络攻击手段不断更新，技术复杂性增加，僵尸网络、特种木马与蠕虫、高级持续威胁(advancedpersistent threat，APT)等网络攻击目标性和趋利性增强，显示出长期性、多路径性、复合性、隐蔽性等攻击特征，传统网络攻击检测技术难以有效检测具有长期性、隐蔽性的新型网络攻击。122情报分析的困境随着云计算、移动互联等信息技术的迅猛发
27、展，互联网上威胁情报信息的信息源越来越多，传统的情报分析工具因数据源单一、大规模数据关联效能低，无法满足新常态下的情报挖掘分析需求，包括：建立高效智能的外部信息源搜索、信息采集方法；对内部和外部采集的大量非结构化数据进行快速处理和存储；实施多源数据复杂关联、快速检索与情报跟踪等。13大数据安全分析大数据分析技术应用在安全领域，与传统安全技术相结合，诞生了新型安全应对方法大数据安全分析(big data analysis for security)。大数据安全分析技术以前所未有的规模和速度实现对海量多源异构数据集的存储、处理与分析，解决传统网络安全与情报分析的问题：1)解决内部数据源(网络流量、
28、安全设备日志、系统日志、用户行为信息等)和外部数据源(漏洞信息、威胁情报信息等)的大规模数据的采集、预处理与存储问题；2)解决流式数据的实时分析和大规模历史数据的离线分析问题，实现信息与网络安全态势智能洞悉，主动、弹性地应对新型复杂的威胁和未知多变的风险；3)解决日志、网络流量、威胁情报、用户行为等多源异构数据的快速复杂关联分析与检索问题，实现多尺度、多维度、细粒度的安全事件深入分析与跟踪。大数据安全分析技术帮助安全分析者及决策者获得全面掌握IT活动的新视角和基于数据驱动的决策支持。基于大数据的网络安全与情报分析是紧扣安全分析数据自身的特点和安全分析的目标，应用大数据分析的方法和技术，解决实际
29、网络安全问题的技术。思科公司提出的OpenSOC将大数据安全分析技术应用到安全管理平台(security operations center，SOC)中，构建针对网络包和流的大数据安全分析框架，实现网络异常的实时检测pJ。云安全联盟(CSA)在安全智能中的大数据分析中以案例的方式阐述了大数据安全分析技术对网络安全分析的改变ioJ：ZionsBan公司在Hadoop系统上使用Hive查询大幅提高传统SIEM工具海量数据检索时间，从原来的20 minl h提高到1 min；HP实验室应用大规模图推理方法，基于从大型企业收集的20亿HTTP请求数据集、从ISP收集的10亿DNS请求数据集和从世界范围
30、超过900家企业收集的350亿网络入侵检测系统告警数据集等，识别企业网络中被恶意软件感染的主机、访问的恶意域名，对在I s P收集的数十亿的D N s请求和响应数据构成的TB级DNS事件进行分析，识别僵尸网络及网络中的恶意活动；Franqois，J开展的BotCloud研究项目利用MapReduce分析涉及1 600万主机的72亿Netflow数据，建立主机关联关系，跟踪僵尸网络中的命令一控制(C&C)通道，识别僵尸网络中的感染主机；美国RSA实验室应用大数据分析技术，基于对攻击者行为模式的分析，实现A町攻击检测。2网络安全大数据分析关键技术21大数据处理技术大数据的计算模式可以分为批量计算(
31、batchcomputing)和流式计算(stream computing)两种形态【J。伯克利大学AMP实验室提出了数据分析的软件栈(Berkeley Data Analytics Stack，BDAS)，从大数据计算模式的角度，将大数据处理技术分为3种类型峭J：批量数据处理技术、流式数据处理技术、交互式(interaction)数据查询技术。万方数据4 工程科学与技术 第49卷211批量数据处理技术批量计算先进行数据的存储，再对存储的静态数据进行集中计算，如图1所示。批量数据处理技术实现了大规模静态数据的高吞吐处理，并以其吞吐量大为显著特征。复杂的批量数据处理通常的时间跨度为数十分钟到数小
32、时。由于批量数据处理技术在应对大量持久数据时表现极为出色，因此在网络安全领域常被用于网络全流量分析、日志分析等历史数据分析中，也用于欺诈检测、APT检测等。数据存储 ：取出数据=瓤垂珏连+1图1批量数据处理示意图Fig1 Batch data processingHadoop和Apache Spark是典型的可用于大数据批量处理的架构。Hadoop眭l HDFS分布式文件系统负责静态数据的存储，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现。赛门铁克数据共享计划世界情报网络环境(WINE)项目平台使用MapReduce对收集的550万恶意软件样本数据、30 TB基于声
33、誉的安全数据集、10万垃圾邮件样本数据、以及来自世界7 500万个传感器的安全威胁遥测数据集等大规模安全数据集进行高效处理，实现基于严格实验方法的安全基线过程pJ。也有许多学者采用MapReduce对网络流量数据进行处理，实现对僵尸网络的检测【l州引。Apache Spark是运行在分布式计算集群上的大规模数据处理的快速和通用引擎，是一个新兴的大数据处理引擎。Spark系统提供一个集群的分布式内存抽象，实现内存计算机制，在批量数据处理上表现相当出色；在Spark官方网站上给出logistic回归运算实验证明，基于内存运算的Spark速度ELHadoop MapReduce快1 00倍，有取代M
34、apReducel均趋势【l川。212流式数据处理技术流式计算是实时产生、实时计算，其结果反馈往往也具有及时性的一种数据处理方法，如图2所示。流式数据处理技术可将到来的流式数据在内存中直接进行实时计算，数据处理延迟短、实时性强。流式数据处理技术很适用于处理必须对变动或峰值做出及时响应并且关注一段时间内变化趋势的数据分析流数据处理流式数据 处理后的 数据流存储图2流式数据处理示意图Fig2 Streaming data processing场景，其数据处理的时间跨度通常为数百毫秒到数秒。典型的流式数据计算架构有Twitter的Storm、Apache Spark中的Spark Streaming
35、。Storm是一种侧重于极低延迟的流处理开源框架。数据处理的单位是单条，默认情况下提供“至少一次(at least once)”的处理保证，但这意味着某些情况下如果遇到失败可能会处理多次，且Storm无法确保按照特定顺序处理消息。Storm很适用于实时处理高性能网络流量，如网络会话流还原或流汇聚【l引。Spark Streaming是大规模流式数据处理的新贵，它是Spark核一已,API的一个扩展，先将流式计算分解为一系列短小的批处理作业，其核心机制是接收实时流的数据，并根据一定的时间问隔拆分成一批批的数据，然后通过Spark Engine处理这些批数据，最终得到处理后的一批批结果数据Il川。
36、与Storm相比，Spark Streaming有一定的延时，适用于对实时性要求稍低的数据分析。流式数据处理的实时性优势与批量数据处理应对大量持久数据优势具有明显的互补特征，可以满足多种应用场景下不同阶段的数据计算要求。213交互式数据查询技术网络安全与情报分析强调以人作为安全分析主体和需求主体，将人的认知能力应用到安全分析过程中u川。例如，网络安全人员在分析已发生的网络安全问题时，通常先分析网络整体运行状态定位异常时刻，再根据异常时刻聚焦网络主体，观察主体特定特征向量的时序特征。针对复杂的网络安全事件，往往还需要根据发现的异常主体，寻找和跟踪时序变化相似的主体等【I 6|。大数据交互式查询技
37、术基于HBase、Hive、MongoDB等NoSQL类型的数据存储，构建相应的数据索引，使得基于历史数据的交互式查询通常的时间跨度为数十秒到数分钟，能够支持PB级日志数据的秒级检索，是实现网络安全与情报交互式分析的关键技术之一。与非交互式数据处理相比，交互式数据处理灵活、直观、便于控制。交互式查询系统的典型代表系统有Apache Spark系统和Google的Dremel系统。Spark的内存计算机制使其天生具有对数据的快速交互式查询处理能力。Spark提供强大的交互式分析引擎Spark Shell和交互查询引擎Spark SQL，可以直接对其弹性分布式数据集进行操作，并快速返回结果。目前，
38、已有许多学者利用spark构建其大数据安全分析框架【l卜MJ。DremelHJ是一个可扩展的交互式即时查询系统，通过结合多树状执行过程和列状数据结构，能做到几秒内完成对万亿张表的聚合查询，它是对MapReduce交互查询能力不足的补充。22大数据安全分析技术大数据安全分析是大数据环境下网络安全与情万方数据第3期 陈兴蜀，等：基于大数据的网络安全与情报分析 5报分析的核心。其中，安全可视分析、安全事件关联分析、用户行为分析等是大数据安全分析技术的热点。221安全可视分析技术数据可视化可以帮助分析者一眼洞悉数据背后隐藏的信息并转化为知识及智慧12 0l，因此，许多学者提出将网络安全数据以可交互的图
39、形图像的方式表现出来，借助人的视觉处理能力观察网络安全数据中隐含的信息以帮助网络安全分析人员感知和理解网络安全问题，并逐渐形成了网络安全可视化这一新兴的交叉研究领域18,21。早在1995年Bechker等就提出对网络流量状况进行可视化。之后，网络安全可视化领域的学者提出了许多新颖的可视化设计，实现了交互式可视分析工具NVisionIP瞄川、VisflowConnectIP【2 4。、NVisionCCtJ，用于网络流量的异常监测和人侵检测等。网络安全可视化的一般步骤是【2 6|：首先，确定网络安全分析人员关心的问题，也就是有什么数据，需要从数据中获得什么信息；然后，设计可视化结构来表示数据，
40、建立数据到可视化结构的映射；最后，设计缩放、聚焦、回放、关联和更新等人机交互功能，实现人与可视化工具的交流。网络安全可视化采用的主要图形有节点连接图、网格图、矩阵图、点阵图、柱状图、队列图、平行坐标图(parallel coordinate plot)、散点图、热力图、力导向图(forcedirected graph)、地图等引，分析过程中常用到统计分析方法、多视图协同分析技术、大规模网络处理与大规模图形数据处理等。与传统的网络安全可视化不同，大数据安全可视化面临2个问题：一方面是，网络安全数据的规模，即如何提出新的可视方法以帮助安全分析人员分析大规模、高纬度、多来源、动态演化的网络安全数据并
41、实时做出决策。另一方面是，创造符合网络安全分析人员心理映像的大数据可视化表征，能够让安全分析人员一眼发现大数据中隐含的安全问题。近几年，已有学者开始逐步深入地探讨如何快速处理大规模流量时序数据，以及如何可视化大规模网络监控对象的流量变化。例如，Fischer等【z，J设计了一个基于Web的视觉分析应用程序NVisAware，对网络数据流进行监视和可视分析，并设计了基于Spark的网络安全态势可视化工具NStreamAware。222安全事件关联分析技术随着网络规模的日益扩大，网络安全事件呈指数级增长，安全事件相互之间存在错综复杂的关系。例如，有些安全事件由同一个攻击行为产生，有些存在因果关系，
42、还有的安全事件是由一系列的攻击行为组成的复杂攻击。网络安全事件关联分析技术需要将各种复杂的网络安全事件进行充分关联，找出它们之间的关系，去掉冗余后给出完整的事件描述，以及时发现网络攻击者的入侵行为。大数据分析技术在海量数据关联分析上具有明显优势，被广泛应用于海量网络安全数据的深度关联分析与基于历史数据的宽时间周期内多类型安全事件智能关联分析和复杂事件处理(complex eventprocessing，CEP)28o按照关联对象的不同，可将基于大数据的安全事件关联分析方法分为4类【Z圳：1)安全设备报警关联分析。该类方法针对海量且不断产生的主机Et志、防火墙Et志、入侵告警等安全告警数据，应用
43、大数据处理技术，过滤与系统无关的虚假安全事件和冗余安全事件，通过事件之间存在的相似关系、因果关系等对事件进行聚合处理，获得更精简准确的安全报警。例如，通过报警记录之间的属性(源IP、目的IP、源端口、目的端口、协议类型、时间等)相似性度量，对安全事件进行分类合并，实现报警信息的精简【j。2)网络和主机关联分析。该类方法提取表征网络流量和主机异常的特征，通过共同属性特征的综合关联，实现对网络安全的监测。3)不同领域安全事件关联分析。该类方法综合利用来自不同领域的各类安全事件间的内在联系，对安全事件进行关联分析，实现网络攻击检测。例如，利用网络拓扑结构与不同设备报文TTL之间的关联关系过滤未达到攻
44、击目标的虚假告警pu；利用主动扫描工具获得的主机脆弱信息、主机配置信息与安全告警之间漏洞相关性关系以过滤与目标主机系统无关的告警；利用外部威胁情报、网络主机IP信息、告警信息之间IP相关性关系识别超级告警事件。4)攻击步骤关联分析。该类方法根据多步攻击等先验知识，使用攻击图、攻击树或攻击序列的方式描述已知攻击事件的因果关系、时序关系等，将事件的关联分析转化为图模式匹配、子树匹配或字符串序列匹配等，实现网络攻击检测、网络态势评估与预测。例如，根据先验知识构建包含攻击事件、攻击事件发生的前提条件、攻击事件造成的影响的三元组，通过匹配攻击事件的前因和后果，分析2个攻击事件之间是否存在因果关系，并实现
45、关联操作；利用描述网络主机的连接关系、脆弱信息，以及攻击规则库、攻击者属性等之间的关联关系，生成以主机为节点的攻击图，用于网络安全分析【j 2。223甩户行为分析拽朱在企业内外网无法完全分开的情况下，企业的IT管理人员发现，即便用最先进的安全产品防止了黑客的攻击，却无法根治“内鬼”。用户行为分析(user behavior analytics，UBA)成为IT安全行业解决万方数据6 工程科学与技术 第49卷该问题的新技术，用于发掘“不知道的未知情况”。用户在使用网络应用与服务时，会在系统中留下痕迹，其行为出现在网络流量、日志记录、审计跟踪记录等处。UBA技术通过对用户上述信息的收集，并根据信息
46、中用户留下的数字痕迹，建立一条用户行为基准线(例如，用户活跃时间、使用服务类型、使用服务的频率等)，描述用户的“正常行为”。UBA技术可用于反数据窃取和反诈骗中，以帮助组织检测内部威胁、有针对的攻击和金融诈骗。为了更准确地识别威胁，终端、应用、网络和外部威胁等除用户外的其他实体也被关注。应用大数据关联分析技术，将这些实体的行为与用户行为进行关联分析，用于保护组织免受来自内部与外部的威胁。Gartner将用户与实体行为分析(UBEA)技术作为2016年十大信息安全技术之一13引、2017年十大战略技术趋势之一p 4。网络行为是用户行为在网络流量上的体现。网络行为分析(network behavi
47、or analysis，NBA)是一种通过监测网络流量，关注网络流量异常和偏离正常操作的行为，以增强网络安全性的方法。NBA是未知网络攻击检测的一把“利剑”，通常基于NetFlowIPFIX中的源IP地址、目的IP地址、源端口、目的端口、包数量、流字节数等属性构成的特征向量刻画网络用户行为，实现对网络的分析和持续自动评估，检测网络攻击、网络异常、高级威胁和不良行为卜驰J。从整体流程上来看，用户行为分析包括确定需求，数据采集，数据预处理(集成、清洗、转换)，应用相关方法进行模式挖掘，挖掘结果评估，挖掘结果分析与应用等步骤，其中，数据预处理、方法的选取、方法的评估是用户行为分析最重要的3个步骤。用
48、户行为分析过程中通常使用统计分析、聚类分析、关联规则分析、时序数据挖掘分析等大数据分析技术。3大数据技术在网络安全与情报分析中的应用大数据技术为网络安全与情报分析注入新的技术源动力，提高网络信息安全攻击检测、风险感知、情报分析能力，形成“数据驱动安全”的网络安全与情报分析新思维。31 APT攻击检测在全球网络信息化程度高速发展的大背景下，具有隐蔽性、渗透性和针对性的APT攻击日益增多，使国家、企业的网络信息系统和数据安全面临严峻挑战。例如，2010年发现的震网病毒(Stuxnet)以关键工业基础设施为目标，延缓了伊朗核项目建设长达2年；2012年5月发现的超级恶意软件火焰病毒(Flame)利用
49、Windows操作系统的漏洞入侵个人电脑，获取中东多国的大量机密信息；2016年黑暗力量(Black Energy)不仅入侵了乌克兰的电力系统，还攻击了其矿业和铁路系统。APT攻击隐蔽性强，其攻击空间路径和攻击渠道不确定，大多数传统的安全解决方案无法抵御这种新型攻击14川。扩大时间和空间范围进行数据关联分析是检测APT攻击的最有效途径之一p1|。由于基于网络大数据分析的安全检测技术可以实现海量网络安全数据的深度关联分析，也可对宽时间周期内的多类型安全数据智能关联，因此在检测APT攻击方面具有明显优势。美国RSA实验室提出的Beehive系统【4刮通过大数据分析技术在短时间内处理大量日志信息，检测组织机构中的资源使用模式，发现以往会被忽视的策略违背与恶意软件感染，并根据APT攻击多个阶段的行为与正常通信存在细小的行为差异，关联检测到的看似孤立的事件，发现攻击者APT入侵的证据。2012年，Giura等在Science发表研究成果提出