Paddlenlp

New Features
GPT-3动态图模式增加pure fp16支持。
Taskflow情感分析任务增加预测score输出。
Generation API新增Diverse Sibling Search策略。
Generation API新增Repetition Penalty策略。JunnYu

Bug Fix

New Features
* 新增开箱即用的工业级NLP能力Taskflow，预置中文分词、词性标注、专名识别、句法分析、情感分析、文本纠错等8个任务，更多使用说明请参考[Taskflow文档](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/docs/model_zoo/taskflow.md)。
* 新增基于Promot Tuning的NLP小样本学习应用实例，配合R-Drop策略显著提升效果，更多技术细节请参考[FewCLUE](https://arxiv.org/abs/2107.07498)。
* 集成[FasterTransformer](https://github.com/NVIDIA/FasterTransformer)加速能力，显著提升翻译、对话等文本生成任务的推理速度。支持Transformer/GPT/BART等主流生成结构与Beam Search与Sampling-based解码策略，更多使用说明请参考[FasterTransformer使用文档](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/docs/advanced_guide/fastertransformer.rst)。

New Examples
* 新增无监督语义匹配模型[SimCSE](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/text_matching/simcse)。
* 新增模型压缩策略[MiniLMv2](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/model_compression/minilmv2)。
* 新增文本纠错模型[ERNIE-CSC](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/text_correction/ernie-csc)。
* 新增句法分析应用示例[dependency_parsing](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/dependency_parsing)。
* 新增小样本学习应用示例[few_shot](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/few_shot)。
* 新增文本摘要应用示例[BART](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/text_summarization/bart)。
* 完善[ERNIE-1.0](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/language_model/ernie-1.0)/[GPT](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/language_model/gpt)/[GPT-3](https://github.com/PaddlePaddle/PaddleNLP/blob/v2.1.0/examples/language_model/gpt-3)的多机分布式预训练代码。zhaoyinglia wangxicoding

New Pretrained Models
* 新增RoFormer模型 804 ，感谢 JunnYu 的贡献🎉。
* 新增ConvBert模型 819，感谢 JunnYu 的贡献🎉。
* 新增MPNet模型 869，感谢 JunnYu 的贡献🎉。

New Dataset
* 新增文本摘要数据集CNN/DailyMail 1061。

Bug Fix
* 修复维特比解码在长度为1的输入下预测不准确的问题 1126 。
* 修复词法分析模型的计算精度问题 962 。
* 修复Tokenizer计算offset mapping时对特殊字符处理的问题 882，感谢 JunnYu 的贡献🎉。
* 修复Windows环境下出现的int类型变量错误 856 1023 1146。

Docs
* 优化Transformer API Reference文档，更加清晰准确易懂。感谢 huhuiwen99 的贡献🎉。

New Contributors
* huhuiwen99 made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/914 🎉
* iamqiz made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/950 🎉
* ForFishes made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/986 🎉
* AI-Mart made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/1009 🎉
* zhaoyinglia made their first contribution in https://github.com/PaddlePaddle/PaddleNLP/pull/1064 🎉

New Pretrained-Models
新增文本生成UNIMO-text模型和tokenizer，包括unimo-text-1.0和unimo-text-1.0-large。
新增长文本预训练模型ERNIE-Doc。

New Dataset
新增问题生成数据集DuReaderQG。
新增文案生成数据集AdvertiseGen。
新增短摘要生成数据集LCSTS_new。
新增长文本语义匹配数据集CAIL2019-SCM。
新增长阅读理解数据集C3。
新增文本分类数据集HYP、THUCNews。

New Feature
新增Layerwise-decay优化器。
新增 R-Drop loss API.

BugFix
修复生成API中min_out_len参数不起作用的bug和一些文档问题。
修复tokenizer计算offset mapping时会把原本有意义的删除的问题。 JunnYu

New Examples
新增【千言：面向事实一致性的生成评测比赛】baseline。
新增【千言-问题匹配鲁棒性评测】baseline.。

功能更新
1. 新增PET策略的Few-Shot Learning基线；
2. 新增BART模型；
3. 新增C3, TriviaQa, CAIL2019-SCM数据集;
4. FasterTransformer能力增强
4.1 Unified Transformer新增Beam Search和Sampling解码策略;
4.2 Top-k Sampling解码策略支持任意k;


Bug Fix
1. 简化依赖，提升安装速度;
2. 修复TaskFlow API的多线程使用问题;

功能更新
1. 新增TaskFlow一键预测API，支持情感分析、知识关联(text2knowledge)任务；
2. 文本匹配任务新增SimBERT模型；
3. 情感分析模块中新增情绪分析任务；
4. 新增长文本分类hyp thunews数据集；

Bug Fix
1. 修复GPT任务中ClipGradByGlobalNorm 和 Megatron不一致的Bug；
2. 修复Unified Transformer在Windows上的数据类型；
3. 修复CRF batch_size=1的训练出错问题；

Bug fix
* 修复了预训练模型vocab无法保存的问题。

更多的预训练模型
* 新增`macbert-base-chinese`和`macbert-large-chinese`预训练模型，与其他BERT模型的加载方式一致。