大型电商日志分析

任务及要求：

本项目以电商平台为背景，通过数据产生、数据收集、数据存储、数据清洗、数据分析、结果展示等过程来详细剖析电商日志分析的整个过程

1、编程工具：idea

2、构建/管理项目工具：maven

(1) 构建maven仓库

3、版本控制系统工具：git（GitHub）

(1)git@github.com:clownAdam/GraduationProject.git

(2) address：https://github.com/clownAdam/GraduationProject

4、代码规范检查工具：Alibaba Java Coding Guidelines plugin（《阿里巴巴Java开发规约》插件）

5、idea中web热部署：jrebel插件

6、关系型数据库：mysql5.x

7、数据库可视化工具：navicat premium

7、java-version：jdk1.8

8、web应用服务器：tomcat9.x

1、项目名称：GraduationProject（utf-8）

2、功能模块化设计

(1)文档模块、数据产生、数据收集、数据存储、数据清洗、数据分析、结果展示模块

3、数据库设计

(1) 数据库名：graduation

(2) 字符集：UTF-8 Unicode

4、表设计

功能：编写与项目所有相关的文档及文件

论文（graduation.docx）

需求分析文档

概要设计文档

详细设计文档

编码文档

功能：存放安装包

功能：通用工具类、常量、接口、枚举类等。

java

>cn.clown.common存放公共通用类、接口、枚举的包

>constant:存放定义常量的包

>util：存放工具类的包

>JdbcUtil.java：连接数据库工具类

>bean:定义通用接口和规范

>Val:值对象接口，设置和获取值

>AbstractData:数据对象抽象类，实现Val值对象接口，对数据对象内容进行赋值。

>DataIn:数据来源接口，必须设置数据来源和数据的读取

>DataOut:数据输出接口，必须设置数据输出和数据的写出

>Producer:数据的生产，必须设置数据来源，数据的写出，数据的生产

>DataIn:

resources

>jdbc.properties:数据库连接配置文件

>log4j.properties:日志文件

功能：获取数据库连接对象，释放资源。

主要code：

/**

* 获取数据库连接

*

* @return 返回数据库连接对象

*/

public static Connection getConnection() {

if (connection != null) {

return connection;

}

try {

Class.forName(driverClass);

connection = DriverManager.getConnection(url, username, password);

} catch (ClassNotFoundException e) {

e.printStackTrace();

System.out.println("class.forname()中driverClass not found");

} catch (SQLException e) {

e.printStackTrace();

System.out.println("DriverManager.getConnection 获取连接异常");

}

return connection;

}

主要测试code:

@Test

public void getConnection() {

if (connection != null) {

System.out.println("mysql 连接成功,connection为:" + connection);

}

}

功能：电商日志数据的生产者。负责生产日志数据。

功能：电商日志分析展示。

需求1：根据商品记录，统计商品销量/分类中的商品销量