基于Hadoop的气象数据分析 毕业论文+项目源码及数据库文件
摘 要随着云计算和物联网的发展，大数据已经成为当今社会必不可少的技术。气象服务的发展，以及气象数据量的快速增长，促使大数据技术在气象服务中发挥着举足轻重的作用，大数据的应用将为气象科学的不断发展提供新的思路和方法。本文对基础的天气数据信息，进行采集和分析显得尤为必要。我们的气象数据分析系统是以Hadoop的Mapreduce为基础的，前端采用swing编写，后台使用Hadoop集群，数据库使用MySQL，天气数据信息采集与分析，以天气网（www.tianqi.com）为数据源，通过网页爬虫技术，分析网页结构，获取天气数据信息，并存储。然后，通过天气等级划分标准，将文本描述的天气信息量化成天气等级信息。最后，在地图上可视化显示，通过对比分析很容易发现异常点和天气数据信息呈现的规律性信息。关键词：天气数据；气象数据；大数据分析；Hadoop；可视化AbstractWith the development of cloud computing and the Internet of Things, big data has become an essential technology in today's society.The development of meteorological services, as well as the rapid growth of meteorological data volume, promotes big data technology to play an important role in meteorological services. The application of big data will provide new ideas and methods for the continuous development of meteorological science.It is particularly necessary to collect and analyze the basic weather data information.Our meteorological data analysis system is based on Hadoop Mapreduce, written in swing on the front end, Hadoop cluster in the background, database using MySQL, weather data information collection and analysis, weather network (www.tianqi.com) as the data source, through web crawler technology, analysis of web data structure, weather data information, and storage.Then, the weather information described in the text is converted into weather grade information through the weather classification criteria.Finally, visualized on the map, it is easy to find anomalies and weather data information through comparative analysis.Key words: weather data; meteorological data; big data analysis; Hadoop; visualization目 录摘 要 IAbstract II1 绪论 11.1选题背景及意义 11.2研究现状及趋势 11.3天气数据信息采集与分析项目简介 21.4论文的组织结构 22项目架构与主要技术介绍 32.1项目架构 32.2主要技术介绍 42.2.1 数据采集 52.2.2 数据存储 62.2.3 数据处理 72.2.4 数据可视化分析 72.3 小结 93 需求分析 103.1 项目需求分析 103.2 功能需求分析 113.2.1 天气数据采集 113.2.2 天气数据可视化分析 113.3 非功能需求分析 133.3.1 界面设计原则 133.3.2 性能需求 133.3.3 配置需求 133.4 小结 154 概要设计 164.1 总体设计 164.2 数据采集与存储 164.3 可视化分析 174.4 小结 185 详细设计及实现 195.1 数据库设计 195.2 域划分表 205.2.1 区域划分的依据 205.2.2 区域划分表的组织形式 205.2.3 地理位置经纬度 205.3 天气数据爬虫 245.3.1 流程图 245.3.2 具体实现 255.4 数据量化处理 285.4.1 流程图 295.4.1具体实现 295.5 天气数据信息可视化与分析 305.5.1 登录与注册 305.5.2 数据列表查询 385.5.3 百度地图显示 475.6小结 606 测试与分析 616.1 测试设计 616.1.1 测试范围 616.1.2测试策略 616.2 测试结果与分析 626.2.1 数据爬虫测试 626.2.2 可视化功能测试 636.3 小结 747 总结与展望 757.1 总结 757.2 展望 75参考文献 76致 谢 78
