如何将Web日志文件导入数据库

如何将Web日志文件导入数据库

这几天写论文做实验，Web日志挖掘部分第一步就是对Web日志进行预处理。所谓预处理就是将Web日志中没有用的记录和字段去掉。根据我的实验需要需要保留的是有效用户对于有效页面的访问时间，就这三个字段就可以。做数据预处理的第一步是将以文本形式保存的Web日志导入数据库，然后利用SQL语句对其所导入的数据库表进行操作就可以完成数据与处理。

Web日志的形式如下图所示：

这个部分之前一直不是很明白，询问去年做过这个工作的两个哥们，其中一个说用C++中STL部分可以实现，另一个说是将日志按行读取，分割内容存入数据库，然后读取下一行，却没有做具体工作。总之这两个人所说的都是利用编码来实现文本的读取和内容的分割最后再导入数据库。这样在理论上是可行的，但是实际操作起来还是有很大的麻烦的，以现在的时间来看是来不及的。

还好在相关文献上看到有人提到用SQL

Server2000种的DTS工具可以实现这个导入功能。在网上进行搜索居然没有任何有用的类似于教程的文章，手头还没有SQL

Server的书籍，只能自己研究了，经过了一个小时的研究终于将这个问题解决。

Web日志文件虽然是文本文件，但是它的后缀是.log，如果想将其导入数据库必须首先将其后缀改称.txt。然后打运行SQL

Server2000的服务管理器，打开企业管理器。建立新的数据库Weblog，然后利用工具DTS进行操作，DTS即数据转换服务。操作为“工具—〉数据转换服务—〉导入数据”，出现如下对话框如图2所示。

在图3对话框中的数据源选择文本文件，对话框变成图4所示界面。点击文件名处右边的浏览按钮可以选择所要读取的文本文件形式的日志。这里只能读取.txt文件，所以前面一定要将Web日志的后缀.log改成后缀.txt。

根据图1我们看到Web日志头四行都是日志的信息，比如时间和文件格式，所以在跳过行里面要写跳过4行。下一步进入图6所示界面。

在图6种需要选择如何对文本文件中每一行的各个字段进行区分。选择方式如图中所示。由于Web日志每行为一个记录，每条记录中每一个字段中间都是用空格来进行分隔，所以选择“其它”然后在其对话框中填入一个空格键“

”，系统就将对数据进行处理进行划分，得到分割好的记录。当然相应字段的名称是错误的，这个可以在以后生成数据库表文件后对表进行设计修改。点击下一步进入图7所示界面。

单击下一步之后就可以完成数据导入。

然后刷新数据库Weblog，就可以看到与Web日志同名的新的数据库表文件。修改相应字段的名称，就可以完成数据的导入和数据库表的建立。

接下来可以利用查询分析器对Web日志的数据库表进行操作，完成数据预处理，进而进行日志挖掘或者流量分析。

WEB SERVICE 是什么？

<SPAN class=javascript id=text8138><FONT color=blue>Web Service 是一种新的web应用程序分支，他们是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Web Service可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Web Service应用程序可以发现并调用它部署的服务。

Web Service是一种应用程序，它可以使用标准的互联网协议，像超文本传输协议(HTTP)和XML，将功能纲领性地体现在互联网和企业内部网上。可将Web服务视作Web上的组件编程。

<B>1 历史</B>

web广泛用到的技术：

◆TCP/IP：通用网络协议，被各种设备使用

◆HTML：通用用户界面，可以使用HTML标签显示数据

◆Java：写一次可以在任何地方运行的通用编程语言

◆XML ：通用数据表达语言，在web上传送机构化数据的容易方法

他们的特点是其开放性，跨平台性，开放性正是Web services的基础。

<B>2 Web发展的趋势</B>

内容更动态化

◆带宽Bandwidth更便宜，易于获得

◆存储器Storage更便宜，更易获得

◆普遍式计算变得更加重要：大量的设备，例如移动电话，页面，电脑，pc，已经在Internet上变得普遍，平台变得更多元化，象XML这样的跨平台技术变得更重要

<B>3 Web Services扮演什么角色？</B>

上述的这些趋势意味着，更加智能的处理，操作和汇总内容变得十分重要。让我们看看按照Web services角度所预示的四个趋势：

◆内容更加动态：一个web service必须能合并从多个不同源来的内容，可以包括股票，天气，新闻等，在传统环境中的内容，如存货水平，购物订单或者目录信息等，都从后端系统而来

◆带宽更加便宜：web services可以分发各种类型的内容（音频，视频流等）

◆存储更便宜: web services必须能聪明地处理大量数据，意味着要使用数据库，LDAP目录，缓冲，和负载平衡软件等技术保持可扩展能力

◆普遍式计算更重要：web services不能要求客户使用某一版本的windows的传统浏览器，必须支持各种设备，平台，浏览器类型，各种内容类型。

<B>4 两种重要技术</B>

要达到这样的目标，Web services要使用两种技术：

◆XML XML是在web上传送结构化数据的伟大方式，Web services要以一种可靠的自动的方式操作数据，HTML不会满足要求，而XML可以使web services十分方便的处理数据，它的内容与表示的分离十分理想

◆SOAP SOAP使用XML消息调用远程方法，这样web services可以通过HTTP协议的post和get方法与远程机器交互，而且，SOAP更加健壮和灵活易用。

其他象UDDI和WSDL技术与XML和SOAP技术紧密结合用于服务发现。</SPAN>