《数据中心安全日志存储分析系统的研究与实现4.pdf》由会员分享，可在线阅读，更多相关《数据中心安全日志存储分析系统的研究与实现4.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据中心数据中心安全安全日志日志存储存储分析系统的研究与实现分析系统的研究与实现吴海燕高国柱（清华大学 计算机与信息管理中心，北京 100084）E-mail：摘摘 要要：日志是重要的系统资源，数据中心安全日志存储分析系统能够对来自不同服务器的日志信息进行有效的分析、存储和归档，极大地方便了系统和安全管理工作。文章首先了系统的组成结构，接着对系统在清华大学数据中心的实际运行效果进行了分析，最后得出了结论。关键词关键词：日志分析网络安全文献标识码文献标识码 A中图分类号中图分类号 TP393the Research and Implementation of security log stori
2、ng andanalyzing system in Data CenterWu Hai-yanGao Guo zhu(Computer&Information Management Center，Tsinghua University，Beijing 100084,China)E-mail：Abstract：Log is important system resources,and centralized log collecting and analyzing systemis good at analyzing,storing and archiving log information c
3、oming from different servers,itsimplifies system and security administration as well.This paper first introduces systemstructures,then it discusses the actual running result of this system in Tsinghua Univ.s datacenter,at last conclusion is obtained.Key words：log analysisnetwork security1.问题的提出问题的提出
4、飞速发展的 Internet 已经成为现代社会中的不可或缺的通信手段，在教育、经济、政治、军事等各行业和部门发挥着重要作用。随着人们对计算机网络依赖的增强，计算机网络逐渐成为社会基础设施的重要组成部分。而网络特别是 Internet 的发展，使得计算机网络安全问题日益突出，并得到普遍的关注。操作系统日志和网络安全设备日志，如防火墙日志，是重要的安全资源，日志中包含了发生在系统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人正在入侵或已成功入侵系统。审计和监测是日志的主要功能。黑客经常在系统日志文件中留下他们的踪迹，日志审计是检测入侵的重要手段。通过查看日志文件，能够发现成功的入侵或入侵
5、企图，并很快地启动相应的应急响应程序。但另一方面，日志也往往是最容易被忽略的资源。日志数量巨大，无用信息比例高（据统计，有意义的信息只占总日志信息的 1%），重要的信息往往会被一些不是很重要的信息所掩盖，使得管理员懒于或没有精力去检查日志；疏于防范，导致它们往往成为黑客进入系统后最先破坏的文件。清华大学校园数据中心拥有包括 SUN 15K、SUN 880、SUN 490、曙光天阔 355T、同Zeon PDF Driver T.twDocuCom PDF T方超强等部门级以上的 130 多台服务器，系统管理与安全管理任务十分繁重，为解决上述问题，我们提出了数据中心安全日志存储分析系统的建设思路
6、：使用一台单独的服务器集中存储、归档服务器和网络安全设备的日志，有效地保证日志的安全，为事件分析、事件追踪提供依据，作为黑客入侵的证据1；充分利用各个系统日志间的关联，进行深入的日志分析，提高日志分析的效率和准确度。系统应能够满足下列基本需求：能够接收来自不同操作系统（Linux，Solaris，HP-Unix，AIX，Windows NT，Windows2K），安全设备（如防火墙）及网络设备的日志信息；系统能够提供对获得的日志信息的保护，确保信息不被非法篡改或删除；系统能提供一定的定期归档机制；系统能够提供一定的日志分析与报警机制；在调研中，我们发现目前国内外此类软件十分匮乏，而且价格较高，
7、基于我们积累的系统管理、安全管理和程序设计经验，我们开发了数据中心安全日志存储分析系统。下文首先介绍了系统结构、各组成模块，接着分析了系统在清华大学数据中心的实际运行效果，最后提出了下一步的展望。2.系统结构系统结构系统由日志生成模块、日志接收模块、日志分析模块、日志显示查询模块组成，如图 1所示，其中日志生成模块运行在日志发生源上，其他模块运行在日志服务器上。“日志发生源”包括需要将日志发送到日志机上的服务器、安全设备和网络设备。日志服务器一般位于网络拓扑结构的最里层，被动地接收日志信息，不提供任何服务，可以认为是一个“只进不出”的服务器，这样就最大限度地保证了日志服务器本身以及其中保存的日
8、志信息的安全。图图 1数据中心安全日志存储分析数据中心安全日志存储分析系统结构系统结构图图2.1 日志生成模块日志生成模块系统存储的日志信息主要有三个来源，包括：Zeon PDF Driver T.twDocuCom PDF T网络安全设备：如防火墙、认证服务器、vpn服务器、入侵检测系统等；操作系统：如各种UNIX系统（Linux、Solaris等）、WindowsNT/2K、Cisco IOS、各种专有系统（Nokia IPSO、SCC SecureOS）等。日志生成模块运行在日志发生源上，负责将日志消息传送到日志服务器上。Syslog 机制是 UNIX 平台的一种标准的日志框架，操作系统
9、和应用软件都可以通过 syslog 将消息记录到本机的日志文件、发送电子邮件给系统用户（如 root）或者将消息发送到另外一个 syslogserver 上。目前很多网络设备，如交换机、路由器，网络安全设备，如防火墙等都支持 syslog机制。为简化开发过程，对于支持 syslog 的日志发生源，利用 syslog 机制，通过对 syslog进行配置，将日志发送到日志服务器上。例如，对于 UNIX 服务器，应该配置/etc/hosts 文件和/etc/syslog.conf 文件10，使得系统登录信息、系统错误信息、系统核心信息等被发送到日志服务器上。因为 Windows 系统是使用 even
10、tlog 服务记录程序和 Windows 发送的事件消息，操作系统没有提供 syslog 日志发送机制，所以必须使用第三方软件将 Windows NT Event Log 信息转发到日志机上。首先配置 Windows 的本地审核策略，启动本地审核。我们推荐使用如下的审核策略：账户管理 成功 失败登录事件 成功 失败对象访问 失败策略更改 成功 失败特权使用 失败系统事件 成功 失败目录服务访问 失败账户登录事件 成功 失败我们采用了名为 Backlog2的免费软件，它可以实时监控 Windows NT 的三个 Event Log（应用程序、系统、安全），将事件信息转化为 syslog 格式的文
11、本，并通过 udp 发送到日志机上。2.2 日志接收日志接收模块模块日志服务器上运行 Linux 操作系统，使用 syslog-ng3软件进行日志搜集。传统的 syslog4也可以搜集来自远程系统的日志消息，但与之相比，syslog-ng 有如下特点：消息过滤粒度更细；容易进行不同防火墙网段的信息转发；支持主机链，即使日志消息经过了许多计算机的转发，也可以找出原发主机地址和整个转发链；而且其配置文件更加强大和简洁。syslog-ng在 udp 514 端口监听来自远程系统的日志消息，使用设备/dev/log 接收本地的日志信息。syslog-ng 将接收到的日志同时保存到磁盘文件和 mysql
12、 数据库中。保存到磁盘文件是为了长期保存日志和归档，每台服务器拥有一个日志存放目录，每个月的日志文件保存为一个文件；保存到数据库中是为了通过 web 界面进行日志查询，为了提高查询速度，mysql数据库中只保存了最近三天的日志。2.3 日志分析模块日志分析模块日志分析模块是整个系统的核心。系统存储的日志信息主要有三个来源，包括：网络安全设备：如防火墙、认证服务器、vpn服务器、入侵检测系统等；Zeon PDF Driver T.twDocuCom PDF T操作系统：如各种UNIX系统（Linux、Solaris等）、WindowsNT/2K、Cisco IOS、各种专有系统（Nokia IP
13、SO、SCC SecureOS）等；应用程序：如web server、sendmail、sshd等。日志中任何超出常规的事件都是我们应该关注的，按照日志的“错误”程度，我们可以把日志中记录的信息分为三个基本类别56：正常日志，常规的日常操作产生的数据，表明系统运行正常。例如合法的用户登录，正常的网络使用，如动态地址分配、远程访问、HTTP 传输、e-mail 传送等。问题日志，即符合（匹配）某种（攻击）特征的日志数据。例如系统口令文件被下载、主机上出现了非法用户、网络上出现了非法主机、系统无故重启、某些设备或资源变得不可用（如硬盘损坏、停电等）等，再如一些特征很明显的黑客攻击，如Nimda 扫
14、描等。不能确定的日志，必须根据上下文对其进行破解。很显然，新的攻击和问题必定属于此类，这也是最难分析的一部分数据。由此我们得出了两种基本的日志分析方法78，即基于攻击特征和不基于攻击特征的日志分析方法。不基于攻击特征的方法处理所有的日志数据，定期检查不匹配的信息，是建立和运行日志分析系统的最快捷的方法，因为不必要匹配所有网络可能产生的信息。但为了提高分析效率，我们必须能够识别所有已知的错误消息。基于攻击特征的方法通过编写日志过滤器，把所有的日志消息分成“值得关注”和“不值得关注”的两类，这样每天我们都能得到一些十分宝贵的不匹配（攻击特征）的消息，但与方法1相比，这些不匹配消息要短得多。因为网络
15、状况的差异，每个人的日志数据过滤器都是不同的，但有一些消息是所有人都必须关注的，对这些消息特征的识别就构成了最基本的过滤器910，例如，登录失败，特别是特权帐号登录失败；系统关闭和重启；网卡进入混杂模式；有未知的新硬件设备出现，硬件错误；对文件及网络访问控制策略的修改；口令文件被下载或者被修改；因为多次的失败登录，帐号被锁定；审计策略改动；UNIX系统特有的错误消息：缓冲区溢出，特别是RPC服务的缓冲区溢出；BIND错误（非授权的区域传输等）；Sendmail探测（通常是查询邮件转发、邮件账号名、邮件bug等）；Windows NT/2K的事件日志11：（529）有人用未知的用户名进行了登录尝
16、试，或者用已知的用户名进行了登录尝试，但密码不正确。（533）未允许该用户登录此计算机；（512）Windows系统正在启动，（513）Windows系统正在关闭；（517）安全日志被清除；（624）用户账号被创建；等等我们综合了上述两种日志分析方法，采用了如下的日志分析策略：提取已知的攻击特征构建过滤器；丢弃所有不匹配攻击特征但可以忽略的信息；将所有不匹配攻击特征但又不能忽略的数据也发送给系统管理员，由系统管理员根据经验进行判断。Zeon PDF Driver T.twDocuCom PDF T日志分析在每天的 0 点开始，分析前一天的日志数据。因为不同的系统（Linux、Solaris、W
17、indows）的日志信息格式不同，需要针对不同的系统日志制定不同的过滤器，将分析的结果以电子邮件的方式法送给系统管理员。分析流程如图 2 所示。图 2日志分析流程图2.4 日志显示查询模块日志显示查询模块日志显示查询模块使用 PHP 开发，提供了 web 查询界面，为管理员查询日志提供方便。3.系统运行效果分析系统运行效果分析与结论与结论目前系统已经在清华大学数据中心运行了三年，实际的网络结构如图 3 所示。Zeon PDF Driver T.twDocuCom PDF T图 3 数据中心安全日志存储分析系统运行示意图实践证明集中日志搜集与分析系统大大方便和简化了系统管理和安全管理工作，系统管
18、理员每天上班时都能收到其负责的服务器的日志分析邮件，能大致了解服务器的运行情况和及时处理问题。但我们也看到目前的系统存在着一些需要改进的地方，如：系统不具备实时性，且只有电子邮件一种报警方式，不能实现实时的安全事件响应；分析方法简单，缺乏对多服务器日志的连动分析；只能接收syslog日志；在下一步的工作中，我们将不再使用文本日志存储方式，而是使用数据库存储数据，并建立snmp trap的接收机制，扩展系统的信息接收范围和存储能力，并建立一定的安全漏洞跟踪及特征提取机制，提高系统的扩充性。参考文献参考文献1.Bruce Schneier,Secure Audit Logs to Support
19、Computer Forensics,ACM Transaction onInformaiton and System Security,v.1,n.3,19992.backlog,http:/ zs.,syslog-ng.,http:/www.balabit.hu/products/syslog-ng4.Donald Pitts,“Log Consolidation with syslog”,http:/rr.sans.org/unix/syslog.php#pagetop5.TinaBird,“WhatAuditLogscanTellYouaboutYourNetwork”,http:/
20、Dass,logcheck,http:/www.astro.uiuc.edu/r-dass/logcheck/8.Logsurfer homepage,http:/www.cert.dfn.de/eng/logsurf/9.CERT,“Manageloggingandotherdatacollectionmechanisms”，http:/www.cert.org/security-improvement/practices/p092.html10.CERT,“Identify data that characterize systems and aid in detecting signs of suspiciousbehavior”,http:/www.cert.org/security-improvement/practices/p091.htmlZeon PDF Driver T.twDocuCom PDF T11.Microsoft,“windows2000安全操作指南”,http:/ PDF Driver T.twDocuCom PDF T