Bert4torch

Latest version: v0.5.5

Safety actively analyzes 710445 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 4 of 7

0.3.7

1. 大部分模型文件无需convert
2. 修复multi_query_group_num在int4/int8下bug
3. 简化`build_transformer_model`中配置到`config`中

0.3.6

增加falcon,layernorm支持torch自带,进度条显示已消耗时间

0.3.5.post2

1. 修复generation(既可初始化传参,也可以generate传参)
2. decoder架构、encoder-decoder架构的增加generate系列方法直接推理
3. 增加internlm/baichuan2模型
4. 训练时会默认自动把dataloader转移到model.device上
5. 增加xformers

0.3.4

1. 修复gradient_checkpoint在低版本torch时仅支持位置参数的问题
2. 增加trainer.py
3. 增加PPOTrainerTrl以及相应的三阶段rlhf训练+dpo训练

0.3.3

增加大模型deepspeed的使用,增加Qwen模型(增加ntk和logn_attn),generation的end_id支持多个token_id,修复多文件权重加载资源占用问题

0.3.2

1、修改baichuan的alibi逻辑
2、增加bloom
3、简化decoder架构代码(gpt, llama, chatglm均继承decoder)
4、适配torch4keras==0.1.1, 其中增加了move_to_model_device,进度条和日志同步,log_first_step等功能

Page 4 of 7

© 2025 Safety CLI Cybersecurity Inc. All Rights Reserved.