基于Lucene+Java+Python实现的校园搜索引擎系统 课程论文+项目源码

---

校园搜索引擎实验报告目录实验环境 1实验内容 1实现过程 2抓取校园网资源并处理 2分词处理 3词表建立 4结果排序 4查询提示 5查询纠错 5关键词高亮 5语音输入 5快速预览 5相关推荐 5使用说明 7主页 7查询推荐 7查询提示 8查询结果纠错 9页面预览 9性能评价 9概述 9查询样例 10构建相关性标注集合 10性能分析 11总结 11实验环境apache-tomcat-7.0.86 paoding-analysis-2.0.4-beta IDEA ULTIMATEwin10实验内容综合运用搜索引擎体系结构和核心算法方面的知识，基于开源资源搭建搜索引擎，具体包括如下几点：1.抓取清华校园网内绝大部分资源，并且进行预处理；2.基于Lucene实现校园搜索引擎――太强搜索；3.加入关键词纠错、查询提示、语音搜索、相关推荐功能，以提高太强搜索的体验；4.美化Web界面，实现关键词高亮、快速预览等功能；5.完成对于太强搜索的性能评价。实现过程抓取校园网资源并处理使用 Heritrix 抓取工具，抓取 HTML，PDF，M.S.Word 格式的文件28万份，共计31GB。编写 Python 脚本处理抓取到的数据，解析成 json 文件: 首先遍历所有抓取到的 文件，为每一个文件分配一个 ID，文件与 ID 一一对应，ID 用于之后PageRank的计算。获取文件的标题、文本 (docContent)、标签(h1~h6)、加粗(strong)信息等。使用BeatifulSoup 库解 析 HTML 文件内容，获取其中的超链接，为抓取到的整个数据包构建图结构， 根据图结构计算网页的  PageRank，使用pdfminer库解析pdf文件，使用docx2txt库解析word文件。我们发现实际抓到的html文件给出的charset有时是错误的，因此使用了chardet自动判断网页的编码，这样我们便可以处理几乎所有的编码。