Bricks-py

1. 去除 SignPost 对象, 游标统一存放至种子信息内
2. Download 节点支持 archive 配置, 为真时, 会将当前种子的游标存入种子后, 将队列内的种子替换为当前种子, 以便程序重启后可以继续
3. 优化调度器的 Worker 名称编号获取
4. 优化代理错误不增加重试次数匹配方法
5. context 的 seeds, 在种子获取和投放时, 统一为 List[Item], 在爬取流程时, 统一为 Item
6. submit 不再支持提交 request, 每个请求必须和种子相对应
7. onRetry 支持 request.options 选项, $retainProxy 表示不更换代理次数, $maxRetry 表示到达这么多重试次数后, 删除种子, 默认为无穷大
8. iterable 支持 collections.UserDict, Mapping 的强制转换
9. request 新增 put_options 和 get_options 接口
10. redisQueue 优化 replace 方法, 优化 remove 方法, 优化 get_permission 方法, 封装 publish 方法, 可以发布消息至频道, 优化消息格式
11. 为了方便定制, 将Item 父类修改为 UserDict, 为了方便管理, 任务队列获取种子, 投放种子一律转换为 str

1. submit 支持批量提交
2. 修复 downloader 移动导致的一个 Bug
3. 修复 form 爬虫 事件内翻页导致出问题的 Bug
4. convert 组件不再接受 spider 类, 防止影响到原先的组件
5. 基类代理实现单例模式, 防止出现多个链接
6. render 节点支持 register_adapter
7. 添加 Playwright 下载器, 解决调度器无法处理异步任务的 Bug，Playwright 支持 api 模式, 也就是直接使用浏览器发送请求, 而不是打开网页，可以快速提高请求速度，并且使用浏览器的指纹，支持并发，设置 Cookie，代理，请求头等常见配置，开放拦截器等等
8. Cookie 支持处理字典类型

1. 新增 require 函数, 装载后如果用户依赖包不符合会自动安装修改
2. mongo 相关依赖确实不在报错与提示, 而是直接修改依赖
3. 添加 clean rows 方法
4. 两个配置式爬虫的三大节点支持 Layout 属性, 可用于清洗数据
5. 添加 arrow 工具类，用于处理时间
6. 初始化引擎添加 by sqlite 引擎，by redis 引擎
7. 添加 CodeGenertor，用于生成动态代码
8. 添加 scripts 脚本插件，包括 is success，turn page，inject
9. storge 添加 to csv 方法，添加 to redis 方法
10. 爬虫新增 survey 模式，可用于测试种子，可以拿到执行后的 Context，可以获取请求和响应，将 attrs 和 modded 分开, 防止被覆盖
11. 调度器 worker 默认的 timeout 设置为 0,可以更快的关闭任务
12. 优化代码, 为基类添加 plugins 属性, 可以列出已经注册好的插件
13. 自定义 Cookie 类型，添加 pycurl 下载器，添加 go requests 下载器，添加 requests 下载器
14. 将 signals 修改为BaseException类型, 防止被用户轻易捕捉到
15. 优化调度器解决高频启动可能导致的卡死问题，调度器停止的时候清空部分属性
16. 添加 launch方法, 用于提交到本地的定时调度器运行
17. 添加定时调度器
18. 将 Context 移动之 core 目录，单独分离出一个 queues 包
19. 新增 Collector, 用于收集数据后批量处理
20. 移除 Download 节点至 form，使用工具类进行转换
21. 添加 convert 组件,支持: request -> response； response -> items；网页源码 / dict / list 等 根据规则 -> items；curl 转 response
22. Downloader 新增一个 fetch curl 的方法
23. 优化 Header
24. 新增 initContext，支持 Put Seeds 相关事件，Context 新增 error 接口

1. 添加 mongo 初始化引擎，mongo 存储引擎（可选安装）
2. 添加 csv 生产引擎
3. 添加 sqllite 存储引擎
4. 添加 csv 相关工具，Reader 和 Writer，部分接口 sqllite
5. 优化 sqllite 工具类
6. 添加 fake ua 组件
7. 修复初始化权限中的一个 Bug
8. 开放 install 接口，目前用于注册事件
9. 事件优化，支持移动位置和取消
10. 优化 Context 类，支持获取当前正在消费的 Context
11. 新增 template 类型爬虫
12. 其他一系列小优化

1. 完善 form 类爬虫 demo
2. 类变量新增 Context 命令，用户可以方便的定制自己的 Context, 支持修改 Context, 定制自己的 context
3. 修复 Parse data 在 body 不存在的时候导致请求失败的问题
4. 新增配置式开发文档
5. 将文档迁移至 wiki
6. 优化 重试节点相关代码

1. 修正 form 爬虫重试导致流程错乱的问题
2. 修复 form 爬虫 render 出现空值的时候导致全部置空的问题
3. 下载器 优化 body 类型的判定, 默认为 json
4. 修复代理协议拼接问题, 更新说明文档
5. 修正因为 idea rename 导致的几个 bug