JAVA 基于网络爬虫的搜索引擎设计与实现丨毕业设计网

目录

摘要2

Abstract3

一、项目背景5

1.1搜索引擎现状分析5

1.2课题开发背景6

1.3网络爬虫的工作原理8

二、系统开发工具和平台9

2.1关于java语言9

2.2 Jbuilder介绍10

2.3 servlet的原理12

三、系统总体设计14

3.1系统总体结构14

3.2系统类图14

四、系统详细设计17

4.1搜索引擎界面设计17

4.2 servlet的实现19

4.3网页的解析实现20

4.3.1网页的分析20

4.3.2网页的处理队列21

4.3.3搜索字符串的匹配22

4.3.4网页分析类的实现22

4.4网络爬虫的实现25

五、系统测试33

六、结论35

致谢35

参考文献36

本系统开发过程中用到了许多学过的知识，具体说来有数据结构、java语言程序设计、软件工程、优化理论等等。在编程中发现这些学科相互联系，相辅相成，在以后更加复杂的系统中肯定会涉及到更多、更复杂的学科，需要我们认真学习和掌握的东西实在是太多了。

本软件只是对搜索引擎功能的基本实现，在技术方面还存在许多不足之处。当然在这突飞猛进的信息时代，技术的更新更是日新月异，所以其中有的思想不可能完全适应于各种实际情况。由于本人学习软件工程的时间不长，程序的设计方面不够规范，有些简单的想法却用了很长的代码来实现造成了代码冗余，还有部分想法没有实现。我将在今后的学习中不断完善自己。