Web日志挖掘与电子商务

一、引言

　　随着计算机技术、通信技术和网络技术的飞速发展，电子商务的发展也有了越来越好的技术平台，许多公司都建立了自己的网站，这是公司的门户和电子商务进行的所在。web数据挖掘是当前最前沿的研究领域，是把internet和数据挖掘结合起来的一种新兴技术。web数据挖掘是知识发现的特定步骤,也是最核心的部分。web日志挖掘是web挖掘的重要内容，其技术和方法在电子商务中有着巨大的应用空间和应用价值。如发现有价值的信息、寻找潜在客户和提供个性化服务等。

　　二、web挖掘及web日志挖掘

　　web挖掘是将数据挖掘的思想和方法应用到web页面内容、页面之间的结构、用户访问信息等各种web数据中，从中抽取隐含的、以前未知的、具有潜在应用价值的信息。根据挖掘的对象不同，web挖掘可分为web内容挖掘、web结构挖掘和web日志挖掘。

　　内容挖掘

　　web内容挖掘主要从web文档的内容中抽取出有用的知识。由于web文档的绝大部分内容是以文本的形式存在，所以web内容挖掘主要针对的是web文档的文本部分，文本挖掘主要包括对web文档文本的总结、分类、聚类、关联分析等。除了文本挖掘以外，web内容挖掘还包括web上的声音、图形、图像信息的挖掘、数据库中的数据挖掘和信息获取等。

　　结构挖掘

　　web结构挖掘主要通过web页的组织结构和超链接关系以及web文档自身的结构信息(如title, heading, anchor标记等)推导出web内容以外的知识，可分为超链挖掘、内部结构挖掘和url挖掘。

　　日志挖掘

　　web日志挖掘即web使用记录挖掘，是从用户的访问记录中抽取具有意义的模式。其数据源有服务器的日志、用户注册数据、跟踪文件的数据记录、用户访问期间的事务、用户查询、书签数据和鼠标移动点击的信息。web日志记录挖掘应用的技术主要有路径分析、关联规则分析、序列模式分析、聚类分析、统计分析等。web使用记录挖掘可以发现潜在的用户、改进电子商务网站的建设、增加个性化服务等。

　　三、web日志挖掘的步骤

　　web日志挖掘步骤主要分为源数据收集、数据预处理、模式发现、模式分析4个阶段。

　　1.源数据收集

　　源数据收集主要是web日志文件的收集。对于一个电子商务网站来说，经过一段时间后，用户会在网站上积累大量有用的信息(如访问日志、注册信息、需求信息、定单信息、交流信息等)，采用web 日志挖掘技术就可以充分利用这些有用信息，帮助电子商务网站的建设和发展。

　　web日志文件主要包括以下3种类型：服务器日志文件、错误日志文件和cookies。

　　2.数据预处理

　　web日志挖掘首先要对日志中的原始数据进行预处理，因为从用户的访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理。因此，需要通过日志清理，去除无用的记录。预处理过程是保证web日志挖掘质量的关键步骤，下面我们来阐述数据预处理的过程。

　　(1)数据净化。指删除 web服务器日志中与挖掘算法无关的数据。大多数情况，只有日志中 html文件与用户会话相关，所以通过检查url 的后缀删除认为不相关的数据。

　　(2)识别用户。由于本地缓存、代理服务器和防火墙的存在，使得识别用户的任务变得很复杂，可以使用一些启发式规则帮助识别用户。

　　(3)识别用户会话。用户会话是指用户对服务器的一次有效访问，通过其连续请求的页面，我们可以获得他在网站中的访问行为和浏览兴趣。

　　(4)识别片段。在识别用户会话过程中的另一个问题是确定访问日志中是否有重要的请求没有被记录。如果当前请求页与用户上一次请求页之间没有超文本链接，那么用户很可能使用了浏览器上的“back”按钮调用缓存在本机中的页面。检查引用日志确定当前请求来自哪一页，如果在用户的历史访问记录上有多个页面都包含与当前请求页的链接，则将请求时间最接近当前请求页的页面作为当前请求的来源。

　　3.模式发现

　　模式发现是运用各种算法和技术对预处理后的数据进行挖掘，生成模式。这些技术包括人工智能、数据挖掘、统计理论、信息论等多领域的成熟技术。可以运用数据挖掘中的常用技术如路径分析，关联规则、序列模式以及分类聚类等。

　　(1)路径分析。它可以被用于判定在一个站点中最频繁访问的路径，还有一些其它的有关路径的信息通过路径分析可以得出。利用这些信息就可以改进站点的设计结构。

　　(2)关联规则。使用关联规则发现方法，可以从web的访问事务电子商务管理论文发表中找到相关性。利用这些相关性，可以更好的组织站点的web空间。

　　(3)序列模式。在时间戳有序的事务集中，序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。发现序列模式，能够便于预测读者的访问模式，开展有针对性的服务。

　　(4)分类和聚类。发现分类规则可以给出识别一个特殊群体的公共属性的描述，这种描述可以用于分类的读者。聚类分析可以从web访问信息数据中聚类出具有相似特性的读者，在web事务日志中，聚类读者信息或数据项能够便于开发和设计未来的服务模式和服务群体。

　　4.模式分析

　　该阶段实现对用户访问模式的分析，基本作用是排除模式发现中没有价值的规则模式，从而将有价值的模式提取出来。

　　四、web日志挖掘在电子商务网站中的应用

　　1.电子商务网站中web日志挖掘内容

　　(1)网站的概要统计。网站的概要统计包括分析覆盖的时间、总的页面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨日访问等结果集。

　　(2)内容访问分析。内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。

　　(3)客户信息分析。客户信息分析包括访问者的来源省份统计、访问者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的ip地址以及访问者使用的搜索引擎。

　　(4)访问者活动周期行为分析。访问者活动周期行为分析包括一周7天的访问行为、一天24小时的访问行为、每周的最多的访问日、每天的最多访问时段等。

　　(5)主要访问错误分析。主要访问错误分析包括服务端错误、页面找不到错误等。

　　(6)网站栏目分析。网站栏目分析包括定制的频道和栏目设定，统计出各个栏目的访问情况，并进行分析。

　　(7)商务网站扩展分析。商务网站扩展分析是专门针对专题或多媒体文件或下载等内容的访问分析。

　　日志挖掘工具

　　已经有部分公司开发出了商用的网站用户访问分析系统，如webtrends公司的commercetrends 3.0,它能够让电子商务网站更好地理解其网站访问者的行为，帮助网站采取一些行动来将这些访问者变为顾客。commercetrends主要由3部分组成：report generation server、campain analyzer和webhouse builder。

　　还有accrue公司的accrue insight，它是一个综合性的web分析工具,它能够对网站的运行状况有个深入、细致和准确的分析，通过分析顾客的行为模式，帮助网站采取措施来提高顾客对于网站的忠诚度，从而建立长期的顾客关系。

　　五、结束语

　　电子商务在快速增长，有非常好的前景。web日志挖掘是数据挖掘中的前沿技术，应用web日志挖掘技术，能使电子商务网站资源的配置更合理化，能发现隐含的有价值的信息，改进网站设计，找到潜在的客户、为已有客户提供更好的个性化服务。web日志挖掘技术和 web内容挖掘技术、web结构挖掘技术的结合使用可进一步完善和提高电子商务网站的功能，这是我们今后所要探讨的。