日志分析网络异常检测系统研究

摘　要：本文研究基于DNS日志分析的网络异常监测系统，通过对校园网DNS日志进行分析，能够得出用户进行域名访问的规律，提取用户行为特征，掌握网络运行状况，并通过定义DNS访问次数偏移度，即时发现并定位网络异常。

关键词：DNS；日志分析；异常检测

1.引言
　　随着网络规模的迅速扩大，网络环境和用户群体的日益复杂，对网络管理提出了更高的要求。网络管理者不仅希望能够掌握网络流量、拥塞状况等信息，同时也希望能够掌握用户进行域名请求等相关信息，通过这些信息发现用户行为规律和网络异常。DNS是网络中的一项基础服务，通过监控网络中的DNS服务器，网络管理者可以获取用户发起域名访问请求的相关信息，并应用于网络运营。DNS服务除了提供域名解析等基本功能，还能够被用于检测僵尸网络和蠕虫检测、入侵检测、发现以及预防DDOS攻击等关乎网络安全的许多方面。本文所研究的基于DNS日志分析的异常监测系统可对DNS服务器日志进行分析，通过分析DNS日志，获取网络中用户进行域名查询请求的信息，提取用户的行为特征，发现DNS服务的异常状况。　　
异常检测技术
　　域名解析服务是通过DNS系统完成的互联网上的基础服务，通过DNS提供的域名解析服务，用户能够获取域名与IP地址间的对应关系。DNS系统可以存储用户进行域名解析过程的相关信息，这些与用户行为相关的信息可以被用于网络异常检测。DNS系统能够提供与用户相关的域名查询信息，以DNS提供的数据为基础能够进行僵尸网络的检测、蠕虫检测、入侵检测以及DDOS攻击检测等各类网络异常检测。已有方法针对不同的网络异常提取特定的DNS数据，DNS能够提供的数据不能够全部的有效利用。其次，上述方法没有针对网络整体的运行情况的监控也不能通过DNS系统提供的丰富的用户相关信息对用户的行为特征进行提取分析。　　
3.系统架构
　　本系统以网络DNS服务器日志为源数据，通过数据挖掘、统计的方法将统计信息存入本地数据库，然后再通过二次数据挖掘对DNS日志数据进行分析。在本系统中，实现了DNS域名查询次数统计、DNS 查询IP统计、特定域名查询统计、DNS均线系统、访问异常检测等功能，系统架构如图1所示：

　　系统按照功能可以划分为两大模块：日志统计模块和日志分析模块。
4.系统关键技术实现
4.1DNS日志数据统计模块
　　DNS日志数据统计模块实现了最基本的DNS访问日志的统计功能：统计每小时(天)DNS服务器响应的请求次数，每小时(天)被请求最多的十个域名，每小时(天)发起请求最多的十个IP地址，特定域名每小时(天)的访问次数。DNS记录格式为<日期，访问域名，发起访问IP>，通过解析DNS日志记录，可以分别获得DATE, QUERY_DOMAIN, IP三个字段的信息。Domain Hash Table以的格式记录当前时间段内访问某固定域名的次数，IP Hash Table以的格式记录当前时间段内某IP地址发起DNS请求访问的次数，Visit Count Table以的格式记录在当前时间段内发起DNS请求的次数。每次操作完后，进程会将临时表中的有效数据写入到数据库中，然后临时表被删除。在数据库中存储的数据字段中，Date字段既可以按照单字段来处理，也可以按照结构来处理，分别对应按小时统计和按天统计的结果。
4.2DNS日志均线系统
　　DNS日志的均线系统是用来描述DNS日志历史上数据变化曲线的图形系统，均线系统模块包括：DNS每小时访问次数均线子系统、DNS每天访问次数子系统和特定域名的访问均线子系统。DNS日志均线系统是将定时计算的数据存入数据库中，然后通过WEB界面的形式展示出来的移动平均线系统。均线系统拥有三个模块，分别进行DNS日访问量、小时访问量和特定域名的日访问量统计。在这三个模块中，都统计了Aver_Total、Aver_Week、Aver_Weekday的数据。分别表示历史上同一时刻的平均值、最近一周同一时刻的平均值和历史上一周中同一时刻的平均值。均线系统定时的从本地数据库中获取数据进行计算，然后将计算出的数据更新到均线数值中，系统管理员通过web界面可以观察整个DNS访问量的变化曲线。
4.3DNS日志异常检测
　　DNS日志异常检测模块通过分析每天向DNS服务器发起的域名查询次数以及每天同一时间段内网络用户发起的DNS查询次数来判断网络运行状况，发现网络异常，并通过DNS数据统计模块迅速定位发生异常时访问量最大的域名与发起域名请求次数最多的IP地址。系统分析DNS日志发现网络异常基于三点假设：假设一：在节点数目趋于稳定的网络中，DNS服务器在每天同一时间段内响应的DNS查询次数应该趋于稳定。假设二：在节点数量非剧烈变化的网络中，DNS服务器在同一时间段响应的DNS查询次数满足局部性原理，即相邻几天同一时间段内的DNS查询次数趋于稳定。假设三：如果在某一时间段内，DNS服务器的查询次数不满足前两点假设，我们认为网络发生异常。
5.结束语
　　本文研究了一个基于DNS日志分析的网络异常监测系统。通过DNS域名访问统计、DNS均线系统以及异常检测等功能模块掌握了用户进行域名请求访问情况，提取了用户的行为特征，能够通过用户进行域名请求查询的情况推断网络运行状况，为网络运营提供反馈信息。本系统的异常检测模型是根据我们对DNS服务器日访问量作出的假设而给出的，在以后的工作中，可以尝试利用贝叶斯网络和隐马尔科夫等经典的预测模型给出DNS访问量预测值进行异常检测。
参考文献：
. 科学技术与工程, 2008,(16) .