Paddlehub

* 修复加载module缺少cache目录的问题

* 升级PaddleHub Serving，提升性能和易用性
* 新增文本Embedding服务[Bert Service](./tutorial/bert_service.md), 轻松获取文本embedding；
* 代码精短，易于使用。服务端/客户端一行命令即可获取文本embedding；
* 更高性能，更高效率。通过Paddle AnalysisPredictor API优化计算图，提升速度减小显存占用
* 随"机"应变，灵活扩展。根据机器资源和实际需求可灵活增加服务端数量，支持多显卡多模型计算任务
* 优化并发方式，多核环境中使用多线程并发提高整体QPS

* 优化PaddleHub迁移学习组网Task功能，提升易用性
* 增加Hook机制，支持[修改Task内置方法](./tutorial/hook.md)
* 增加colorlog，支持日志彩色显示
* 改用save_inference_model接口保存模型，方便模型部署
* 优化predict接口，增加return_result参数，方便用户直接获取预测结果

* 优化PaddleHub Dataset基类，加载[自定义数据](./tutorial/how_to_load_data.md)代码更少、更简单

* 修复利用Transformer类模型完成序列标注任务适配paddle1.6版本的问题
* Windows下兼容性提升为python >= 3.6

* 新增预训练模型ERNIE tiny
* 新增数据集：INEWS、BQ、DRCD、CMRC2018、THUCNEWS，支持ChineseGLUE（CLUE）V0 所有任务
* 修复module与PaddlePaddle版本兼容性问题
* 优化Hub Serving启动过程和模型加载流程，提高服务响应速度

* 新增PaddleHub Serving服务部署
* 新增[hub serving](https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-Serving%E4%B8%80%E9%94%AE%E6%9C%8D%E5%8A%A1%E9%83%A8%E7%BD%B2)命令，支持一键启动Module预测服务部署
* 新增预训练模型：
* roberta_wwm_ext_chinese_L-24_H-1024_A-16
* roberta_wwm_ext_chinese_L-12_H-768_A-12
* bert_wwm_ext_chinese_L-12_H-768_A-12
* bert_wwm_chinese_L-12_H-768_A-12
* AutoDL Finetuner优化使用体验
* 支持通过接口方式回传模型性能
* 可视化效果优化，支持多trail效果显示

* 新增**超参优化Auto Fine-tune**，实现给定超参搜索空间，PaddleHub自动给出较佳的超参组合
* 支持两种超参优化算法：HAZero和PSHE2
* 支持两种评估方式：FullTrail和PopulationBased
* 新增Fine-tune**优化策略ULMFiT**，包括以下三种设置
* Slanted triangular learning rates：学习率先线性增加后缓慢降低
* Discriminative fine-tuning：将计算图划分为n段，不同的段设置不同学习率
* Gradual unfreezing：根据计算图的拓扑结构逐层unfreezing
* 新增支持用户自定义PaddleHub配置，包括
* 预训练模型管理服务器地址
* 日志记录级别
* Fine-tune API升级，灵活性与易用性提升
* 新增**阅读理解Fine-tune任务**和**回归Fine-tune任务**
* 新增多指标评测
* 优化predict接口
* 可视化工具支持使用tensorboard