Bert4torch

Latest version: v0.5.4

Safety actively analyzes 685525 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 1 of 7

0.5.4

【新功能】增加deepseek系列、MiniCPM、MiniCPMV、llama3.2、Qwen2.5;支持device_map=auto
【修复】修复batch_generate和n>1的bug

0.5.3

【新功能】
- 增加llama3.1/Yi1.5
- 自动选择从hfmirror下载
- 支持命令行参数`bert4torch-llm-server`

0.5.2

新功能
- chatglm/qwen系列支持function call调用
- 增加internlm2系列;

小优化
- 简化pipeline中chat demo的调用
- generate的终止token元素允许为列表
- 统一rope_scaling参数名,增加rope衍生类;

bug修复
- flash_attn2的推理bug
- 修复bart, t5之前的tie_word_embedding的bug

0.5.1

新增
- 增加Qwen1.5, Qwen2, glm4;
- 增加SWA/convert_lm_logits_dtype;
bug修复
- 调整各个trainer(重点DPOTrainer)
- generation中segment_ids
- repetition_penalty需带query
- RMSNorm中转类型bug

0.5.0

bug修复
- 修复chatglm3的bug
- 修复save_pretrained时多文件的bug
- 修改Text2Vec的bug

新增小功能
- 增加CausalLMLoss
- 修改deepspeed的传参逻辑
- 完善openai client
- 增加get_weight_decay_optim_groups

0.4.9.post2

bug修复
- 修改repetition_penalty的bug
- 修复config_path的bug

功能优化
- attention中允许is_causal
- 把baichuan从llama中剥离

新增功能
- 增加get_weight_decay_optim_groups函数
- 允许num_key_value_heads参数

Page 1 of 7

© 2024 Safety CLI Cybersecurity Inc. All Rights Reserved.