本篇分享一个hanlp添加自定义字典的方法，供大家参考！
总共分为两步：
第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。如果没有的话它会根据配置文件中路径去加载字典生成bin文件。
第二步：去配置文件把自己添加自定义的文件的路径添加进去，注意一定要添加末尾后面而且结束时不能有;号，我添加在其他位置都不好使。而且相对路径也不好使
上面是把bin文件删掉后跑起来的样子，会等一两分钟生成bin文件。
hanlp添加自定义字典的步骤介绍
2019-07-12
852
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本篇分享一个hanlp添加自定义字典的方法，供大家参考！总共分为两步：第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。
目录
相关文章
|
10月前
|
C#
Python
|
11月前
|
自然语言处理
搜索推荐
Python
|
11月前
|
Python
|
12月前
|
Python
|
算法
Java
Python
【数据结构实践】从0到1带你利用Python实现自定义集合
集合(简称集)是数学中一个基本概念,我们应该都比较熟悉,不管是生活中,还是数学上,我们都频繁地接触到。集合在数学领域具有无可比拟的特殊重要性。一定范围的，确定的，可以区别的事物，当作一个整体来看待，就叫做集合，简称集，其中各事物叫做集合的元素或简称元。如(1)阿Q正传中出现的不同汉字(2)全体英文大写字母。任何集合是它自身的子集。它是集合论的研究对象，集合论的基本理论直到19世纪才被创立。集合论的基础是由德国数学家康托尔在19世纪70年代奠定的，经过一大批卓越的科学家半个世纪的努力，到20世纪20年代已确立了其在现代数学理论体系中的基础地位，可以说，现代数学各个分支的几乎所有成果都构筑在严格的
396
1
1
|
索引
Python
Python已有列表和字典,为什么还需要元组?
学习了列表和字典之后,再学习元组感觉它没有使用的必要.而且列表和字典已经够用,为什么有了列表还需要元组呢?这个Python特有的数据类型有何作用呢?
元组是由简单的对象构成的,他是和列表非常相似的数据类型,但元组是不可变的,他不支持任何方法的调用,也就是说,我们不能编辑和改变元组,其实正是因为元组的特有性质:不可变性;这个特性提供了一种完整性,他可以保证元组所在的处不会被程序修改,正是列表所不具备的,而且这使得元组还可以作为字典的键值,总的来说,元组可以处理那些固定关系的问题
284
0
0
HanLP-停用词表的使用示例
停用词表的修改停用词表在“pyhanlpstaticdatadictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。
5416
0
1
|
自然语言处理
应用服务中间件
nginx
hanlp 加载远程词库示例
说明
·目前的实现方式是以远程词库的内容重新构建CustomDictionary.trie,demo主要是为了实现同步远程词库，对性能暂不作考虑,对性能要求要以CustomDictionary.dat为基础实现
按hanlp作者述 trie后期可能会取消
目前CustomDictionary使用DAT储存词典文件中的词语，用BinTrie储存动态加入的词语，前者性能高，后者性能低
之所以保留动态增删功能，一方面是历史遗留特性，另一方面是调试用；来可能会去掉动态增删特性。
1187
0
0
|
容器
存储
如何使用Hanlp加载大字典
问题
因为需要加载一个 近 1G 的字典到Hanlp中，一开始使用了CustomDictionay.add() 方法来一条条的加载，果然到了中间，维护DoubleArraTre 的成本太高，添加一个节点，都会很长时间，本来时间长一点没有关系，只要训练出.bin 的文件，第二次加载就会很快，然而作为以空间换时间的DAT结构，内存消耗很大，预料之内的出现了
1 out of memory: heap size
的问题。
1605
0
0
热门文章
最新文章
1
随机生成UserAgent的python库（fake-useragent库）
2
使用zxing识别一幅包含多个二维码的图片
3
阿里云的SLB，植入cookie和重写cookie有什么区别？
4
基于Flink的实时日志分析系统实践
5
如何在服务器上跑python程序
6
电池技术多年没有较大发展，成为移动设备最大制约
7
Spread for WinRT 7新功能使用指南
8
codeforces Soldier and Number Game（dp+素数筛选）
9
九度oj-1001-Java
10
Android:随笔——对页面的View进行截图
1
分解商业周期时间序列：线性滤波器、HP滤波器、Baxter滤波器、Beveridge Nelson分解等去趋势2
9
2
分解商业周期时间序列：线性滤波器、HP滤波器、Baxter滤波器、Beveridge Nelson分解等去趋势法1
9
3
灰色关联分析(Grey Relation Analysis,GRA)中国经济社会发展指标
9
4
极值分析：分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列
9
5
GARCH-DCC模型和DCC（MVT）建模估计
8
6
ARIMA、ARIMAX、 动态回归和OLS 回归预测多元时间序列
10
7
R语言预测期货波动率的实现：ARCH与HAR-RV与GARCH，ARFIMA模型比较
10
8
spss modeler用决策树神经网络预测ST的股票
9
9
K-means和层次聚类分析癌细胞系微阵列数据和树状图可视化比较
8
10
matlab中使用VMD(变分模态分解)对信号去噪
8
