基于大数据的web用户行为模式分析的技术研究与实现

数据挖掘，就是从存放在数据库，数据仓库或其他信息库中的大量的数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。其在商业领域具有广泛的使用，透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为，为管理者提供决策支持。数据挖掘,简单说,就是从大量的数据中,抽取出潜在的、有价值的知识、模型或规则的过程。本文将数据分析过程分为确定数据分析目标、研究设计、数据预处理、整理与数据挖掘、解释和分析计算结果5个阶段。利用MATLAB软件的聚类分析和判别分析功能对某高校某一段时期内的用户上网日志的分析，挖掘出在抽样时间段内用户上网的行为模式，为科学的进行网络管理提供依据。实践表明，该方法具有简便易用，有着广泛的应用价值。

关键词：用户行为模式；数据挖掘；apriori算法；判别分析；MATLAB

Data mining is to extract effective, novel, potentially useful data from a large amount of data stored in databases, data warehouses, or other repositories. A nontrivial process that is ultimately understandable. It is widely used in the business world. It uses mathematical models to analyze a large amount of data stored in an enterprise, to identify different customer or market segments, and to analyze consumer preferences and behaviors. Data mining, in short, is the process of extracting potential, valuable knowledge, models or rules from a large amount of data. Data preprocessing, data processing and data mining, interpretation and analysis of the results of calculation are five stages. The function of clustering analysis and discriminant analysis of MATLAB software is used to analyze the users' online logs in a certain period of time in a certain university. In order to provide scientific basis for network management, this method is easy to use and has wide application value.

Keywords:user behavior pattern; data mining apriori algorithm; discriminant analysis; MATLAB

摘要1

Abstract2

1引言4

1.1课题背景及研究意义5

1.2研究现状及分析5

1.3论文组织结构8

2基于蚁群算法的Web日志挖掘概念10

2.1Web日志挖掘10

2.1.1Web日志挖掘分类及架构模型11

2.1.2Web日志挖掘过程11

2.1.3Web日志挖掘技术14

2.1.4Web日志挖掘算法的关键问题17

2.2蚁群算法18

2.2.1蚁群算法分析18

2.2.2蚁群算法的关键问题19

2.3本章小结20

3 Web日志挖掘的预处理技术21

3.1聚类模型分析21

3.2聚类模型设计22

3.3Web日志预处理相关技术24

3.4Web日志数据预处理的过程25

3.4.1数据清理26

3.4.2用户识别28

3.4.3会话识别30

3.4.4路径补充31

3.4.5事务识别33

3.5本章小结34

4应用于Web日志挖掘的改进蚁群算法设计35

4.1蚁群算法在Web日志挖掘中的应用分析35

4.2传统日志数据挖掘算法36

4.2.1 Apriori算法36

4.2.2蚁群系统算法37

4.3一种改进的适用于Web日志挖掘的蚁群算38

4.3.1改进后蚁群聚类算法流程41

4.4仿真实验对比分析42

4.4.1仿真环境与数据43

4.4.2对比实验43

4.5改进后的蚁群聚类算法应用场景实验45

4.6本章小结47

5 Web日志数据挖掘系统的实现48

5.1系统的设计48

5.1.1系统的功能设计48

5.1.2系统的类设计49

5.2功能的实现50

5.2.1数据获取模块以及预处理模块的实现50

5.2.2数据挖掘构建模块的实现51

5.2.3数据挖掘模型查看模块的实现52

5.2.4挖掘模型分析与评价模块的实现55

5.3系统的运行情况56

5.3.1数据预处理56

5.3.2挖掘模型构建58

5.3.3挖掘模型查看59

5.3.4挖掘模型评价与分析60

5.3.5本章小结61