基于Python的汉语分词系统 课程论文+源码

---

汉语分词系统目录汉语分词系统 1摘要 11 绪论 12 相关信息 12.1 实验目标 12.2 编程语言与环境 22.3 项目目录说明 23 训练测试 34 词典构建 35 正反向最大匹配分词实现 35.1 正向最大匹配分词-最少代码量 35.2 反向最大匹配分词-最少代码量 46 正反向最大匹配分词效果分析 57 基于机械分词系统的速度优化 6

摘要绪论中文分词技术，是由于中文与英文为代表的拉丁语系语言相比，英文以空格作为天然的分隔符，而中文由于继承自古代汉语的传统，词语之间没有分隔。古代汉语中除了连绵词和人名地名等，词通常就是单个汉字，所以当时没有分词书写的必要。而现代汉语中双字或多字词居多，一个字不再等同于一个词。且在中文里，“词”和“词组”边界模糊。中文分词中存在歧义识别和新词识别两大难题。相关信息2.1实验目标本次实验目的是对汉语自动分词技术有一个全面的了解，包括从词典的建立、分词算法的实现、性能评价和优化等环节。本次实验所要用到的知识如下：基本编程能力（文件处理、数据统计等）相关的查找算法及数据结构实现能力语料库相关知识正反向最大匹配分词算法N 元语言模型相关知识分词性能评价常用指标2.2编程语言与环境Python 3.7.9 ，Windows11，VScode2.3项目目录说明目录中存在Code和io_files两个文件夹，Code文件夹中存放第一部分到第四部分实验代码，io_files文件夹中存放第一部分到第四部分实验产生文件和依赖文件。io_files文件夹：199801_sent.txt 为标准文本，是1998 年 1 月《人民日报》未分词语料，用于产生训练集和测试集199801_seg&pos.txt 为标准文本，是1998 年 1 月《人民日报》的分词语料库，用于产生测试集对应的分词标准答案dic.txt为自己形成的分词词典，存放根据训练集产生的词典train.txt 为训练集，取分词语料库中  的数据作为训练集用于生成词典std.txt 为标准答案， 取分词语料库中另外  的数据作为标准答案，与分词结果进行比对计算准确率、召回率和F 值test.txt 为测试集，在未分词语料中取与标准答案相对应的  的数据作为测试集产生分词结果seg_FMM.txt 为全文的分词结果，使用正向最大匹配分词，使用train.txt文件作为训练集，将199801_sent.txt文件进行分词seg_BMM.txt为全文的分词结果，使用反向最大匹配分词，使用train.txt文件作为训练集，将199801_sent.txt文件进行分词score.txt为第三部分生成的评测分词效果的文本，其中包括准确率(precision)、召回率(recall)和F 值seg_FMM_1_10.txt 为测试集分词结果，使用正向最大匹配分词，使用train.txt文件作为训练集，将test.txt文件进行分词seg_BMM_1_10.txt 为测试集分词结果，使用反向最大匹配分词，使用train.txt文件作为训练集，将test.txt文件进行分词better_seg_FMM.txt 为测试集分词结果，使用优化后的正向最大匹配分词，使用train.txt文件作为训练集，将test.txt文件进行分词，计算分词时间与seg_FMM_1_10.txt分词时间进行比较better_seg_BMM.txt 为测试集分词结果，使用优化后的反向最大匹配分词，使用train.txt文件作为训练集，将test.txt文件进行分词，计算分词时间与seg_BMM_1_10.txt分词时间进行比较TimeCost.txt 为分词所用时间，存放优化前和优化后的分词时间Code文件夹：part_1.py 为实验第一步词典的构建代码，其中包括生成分词词典函数以及生成训练集、测试集和标准答案的函数part_2.py 为实验第二步正反向最大匹配分词实现代码，其中包括读取词典内容函数、正向最大匹配分词函数和反向最大匹配分词函数part_3.py 为实验第三步正反向最大匹配分词效果分析代码，其中包括计算评测得分函数，计算总词数和正确词数函数，计算准确率、召回率和f值函数以及获取词对应下标的函数part_4.py 为实验第四步基于机械匹配的分词系统的速度优化代码，其中包括Trie树的实现以及其中添加字符串函数，查找字符串函数，在子节点中查找字符对应位置函数和返回哈希值函数，还有获得正向最大匹配的词典树函数，获得反向最大匹配的词典树函数，优化后正向最大匹配分词函数，优化后反向最大匹配分词函数，全文分割函数以及计算时间函数