Hanlp

- 重构CustomDictionary，支持多实例 https://github.com/hankcs/HanLP/issues/1339
- 支持𩽾𩾌(ān kāng)之类的补充字符集 fix https://github.com/hankcs/HanLP/issues/1564
- 修复 CoreStopWordDictionary.dictionary.clear() fix https://github.com/hankcs/HanLP/issues/1603
- 双数组trie树防止传入空白key导致无法转移状态 fix https://bbs.hankcs.com/t/dat/3196/8
- 新增热更新方法 CoreDictionary.reload() fix https://github.com/hankcs/HanLP/issues/1594
- 新增 KBeamArcEagerDependencyParser(String modelPath, String cwsModelPath, String posModelPath) fix https://github.com/hankcs/HanLP/issues/1585
- Fix Sentence.create on compound word consisting of single word
- HiddenMarkovModel构造时备份参数 fix https://github.com/hankcs/HanLP/issues/1530
- 数据包兼容[data-for-1.7.5.zip](https://file.hankcs.com/hanlp/data-for-1.7.5.zip)` md5=1d9e1be4378b2dbc635858d9c3517aaa`
- Portable版同步升级到v1.8.0

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.8.0</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！

- CharType使用IOAdapter fix https://github.com/hankcs/HanLP/issues/1480
- portable文件补全
- 加入自定义词条“雄安”
- 数据包兼容[data-for-1.7.5.zip](https://file.hankcs.com/hanlp/data-for-1.7.5.zip)` md5=1d9e1be4378b2dbc635858d9c3517aaa`
- Portable版同步升级到v1.7.8

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.7.8</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！

- 改进原子切分 fix https://github.com/hankcs/HanLP/issues/1421
- 修复聚类数目大于文档数目时引发的异常 fix https://github.com/hankcs/HanLP/issues/1397
- 使用构造函数代替静态NERInstance.create，方便子类继承
- 去掉 幺=么 fix https://github.com/hankcs/HanLP/issues/1427
- CRFModel support getting all tags
- 修复 AbstractClassifier.enableProbability fix https://github.com/hankcs/HanLP/issues/1423
- 开放 CWSEvaluator.Result 内部成员 fix https://bbs.hankcs.com/t/topic/887
- 公开HMM的成员
- 数据包兼容[data-for-1.7.5.zip](https://file.hankcs.com/hanlp/data-for-1.7.5.zip)` md5=1d9e1be4378b2dbc635858d9c3517aaa`
- Portable版同步升级到v1.7.7

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.7.7</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！

接下来是一个全新的时代，我们的征途是星辰大海。此后[1.x分支](https://github.com/hankcs/HanLP/tree/1.x)将继续提供稳定性维护，两个版本面向的场景不同，2.0基于深度学习，面向对精度要求极其高的场景，例如端到端的问答系统解决方案；而1.x基于传统机器学习和特征工程，面向搜索引擎等对速度要求较高的场景。2.0需要时间打磨，1.x将会持续维护，保证稳定性。

[](https://www.bilibili.com/video/av81733438)

- 新增 DocVectorModel.nearest(java.lang.String, int) 方法 fix https://github.com/hankcs/HanLP/issues/1332
- 词法分析器新增空格处理 fix https://github.com/hankcs/HanLP/issues/797
- 修订现代汉语补充词库 fix https://github.com/hankcs/HanLP/issues/1330
- NGramDictionaryMaker等默认UTF-8编码 fix https://github.com/hankcs/HanLP/issues/1320
- WordVectorModel支持自定义Map类型：https://github.com/hankcs/HanLP/issues/1304
- 修复信息熵计算中的除零错误 fix https://github.com/hankcs/HanLP/issues/1366
- 修复Nature的线程安全性
- tfidf，idf的数据可以通过加载idf文件得到
- 开放 CoreStopWordDictionary.dictionary https://github.com/hankcs/HanLP/issues/1356
- 修复加载自定义停用词文件无效
- 兼容数据包[data-for-1.7.5.zip](https://file.hankcs.com/hanlp/data-for-1.7.5.zip) 或 [分流](https://file.hankcs.com/hanlp/data-for-1.7.zip) 或 [网盘](https://pan.baidu.com/s/11eOozMBcf8Rz3SV4IWPCHA)`md5=1d9e1be4378b2dbc635858d9c3517aaa`
- Portable版同步升级到v1.7.6

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.7.6</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！

- [《自然语言处理入门》](http://nlp.hankcs.com/book.php)新书发布，欢迎查阅[随书代码](https://github.com/hankcs/HanLP/tree/v1.7.5/src/test/java/com/hankcs/book)


一本零起点NLP入门书，基础理论与生产代码并重，Python与Java双实现。从基本概念出发，逐步介绍中文分词、词性标注、命名实体识别、信息抽取、文本聚类、文本分类、句法分析这几个热门问题的算法原理与工程实现。书中通过对多种算法的讲解，比较了它们的优缺点和适用场景，同时详细演示生产级成熟代码，助你真正将自然语言处理应用在生产环境中。[《自然语言处理入门》](http://nlp.hankcs.com/book.php)由南方科技大学数学系创系主任夏志宏、微软亚洲研究院副院长周明、字节跳动人工智能实验室总监李航、华为诺亚方舟实验室语音语义首席科学家刘群、小米人工智能实验室主任兼NLP首席科学家王斌、中国科学院自动化研究所研究员宗成庆、清华大学副教授刘知远、北京理工大学副教授张华平和52nlp作序推荐。感谢各位前辈老师，希望这个项目和这本书能成为大家工程和学习上的“蝴蝶效应”，帮助大家在NLP之路上蜕变成蝶。

- 论坛[蝴蝶效应](https://bbs.hankcs.com/)上线！限时开放注册，用于交流讨论HanLP使用方法和读者反馈，格式比GitHub自由
- DocVectorModel支持自定义分词器、开/关停用词过滤器 fix https://github.com/hankcs/HanLP/issues/1253#issuecomment-515501521
- 将换行空格等视作CT_OTHER fix https://github.com/hankcs/HanLP/issues/1283
- 修复repeated bisection聚类算法 fix https://github.com/hankcs/HanLP/issues/1260#issuecomment-519441039
- 让CoreStopWordDictionary.apply返回结果
- 修复Analyzer的enableCustomDictionaryForcing方法 fix https://github.com/hankcs/HanLP/issues/1221
- 新数据包[data-for-1.7.5.zip](https://file.hankcs.com/hanlp/data-for-1.7.5.zip) 或 [分流](https://od.hankcs.com/hanlp/data/data-for-1.7.5.zip) `md5=1d9e1be4378b2dbc635858d9c3517aaa`
- Portable版同步升级到v1.7.5

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.7.5</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！

- 无损转换OpenCC词典，结果一致 https://github.com/hankcs/OpenCC-to-HanLP fix https://github.com/hankcs/HanLP/issues/1184
- 停用词典支持热更新：fix https://github.com/hankcs/HanLP/issues/1158
- 修正URLTokenizer中的正则表达式 fix https://github.com/hankcs/HanLP/issues/1188
- 修复自定义词性 fix https://github.com/hankcs/HanLP/issues/1172
- 修正 CollectionUtility.sortMapByValue(java.util.Map<K,V>, boolean) fix https://github.com/hankcs/HanLP/issues/1159
- 修订人名词典
- 修正角色标注时“始始”的A标签 fix https://github.com/hankcs/HanLP/issues/434
- Add unit tests for com.hankcs.hanlp.utility.MathUtilityTest and com.hankcs.hanlp.algorithm.EditDistance
- 微调bigram fix https://github.com/hankcs/HanLP/issues/1015
- 新数据包[data-for-1.7.4.zip](http://114.115.185.60/file/data-for-1.7.4.zip) 或 [海外](http://predator.hankcs.com/data-for-1.7.4.zip) 或 [网盘](https://pan.baidu.com/s/1Xl1KLjhM34ouEmYqaT-6cg)`md5=0e2e1bfc4da6d9305909ce815cbe5a44`
- Portable版同步升级到v1.7.4

xml
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.7.4</version>
</dependency>


:tada:感谢所有在issue中提出宝贵建议的用户！