基于C#实现微博+贴吧+知乎的SuperSpider爬虫软件系统 课程报告+项目源码

---

SuperSpider爬虫软件目录SuperSpider爬虫软件 1需求分析与概要设计 11. 项目说明 11.1. 项目目标： 11.2. 软硬件环境需求 21.3. 使用的关键技术： 22. 需求分析 22.1. 系统用例 2（1） 设置关键词 3（2） 查看信息展示 3参与者：用户 32.2. 业务流程 33. 概要设计 43.1. 功能模块设计 4（1） 爬取条件设置 4输出：无 4（2） 爬虫块 4（3）  展示界面 43.2. 核心类图 54. 界面设计 6爬虫主界面 6信息获取界面 8热榜界面 91.项目说明1.1.项目目标：制作一个爬虫软件，可以根据关键词爬取知乎、百度贴吧、微博的相关信息（高赞答案、神回复）或热点信息，然后呈现在界面上。1.2.软硬件环境需求环境：.Net Framework操作系统：Windows需要网络1.3.使用的关键技术：分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息2.需求分析2.1.系统用例图 1 系统用例图（1）设置关键词参与者：用户基本事件流： 在输入框中输入想要查询的关键词，在复选框中勾选想要筛选的条件（热度、点赞数），在复选框中勾选想要爬取的网站（知乎、虎扑、微博）。（2）查看信息展示参与者：用户基本事件流： 单击开始，爬取成功后会在新的弹出框中可以查看爬取到的数据2.2.业务流程图 2软件使用流程图3.概要设计3.1.功能模块设计图 3功能模块图（1）爬取条件设置输入：关键词、搜索优先条件（热度、赞同数、时间） 、想要查看的网站、热点查看输出：无功能概述： 设置爬取的条件，为爬虫做准备（2）爬虫块输入：爬取条件输出：爬取到的数据功能概述：通过三个爬虫程序同时按照输入的条件进行数据爬取，并将数据输出到界面（3）  展示界面输入：爬取到的数据输出：爬取到的数据功能概述：将爬取到的数据展示在界面上