Ayugespidertools

更新内容

> `bug` 修复，代码整理优化

- 修复使用本库在编写 `spider` 脚本的 `async def` 的协程支持语法时的错误

- 添加支持 `asyncio` 协程语法的 `spider` 脚本编写示例 `async.tmpl`，相关命令如下：

shell
可根据命令查看和生成对应的支持协程语法的 `spider` 脚本示例

查看模板支持列表
ayugespidertools genspider -l

生成支持 `asyncio` 语法的 `spider` 脚本
ayugespidertools genspider -t async <spider_name> <example.com>

运行生成的示例(使用 `scrapy` 支持的执行命令即可)
scrapy crawl <spider_name>


- 日志模块整理

优化库中使用 `loguru` 的功能，将其日志输出等级与 `scrapy` 的 `LOG_LEVEL` 参数关联，即此库控制台只输出对应 `scrapy` 的 `LOG_LEVEL` 等级及以上的日志内容，更方便调试和查看等场景。不配置则默认打印 `DEBUG` 级别及以上的所有日志。

- 设置默认请求指纹器类的请求指纹算法版本为 `2.7`，主要是用于消除 `scrapy` 运行警告，可自行修改和更新此配置。

- `scrapy` 的依赖版本更新至最新的 `2.7.1`

更新内容：

> 微小更新

- `MongoDB` 存储场景下，添加存储集合的前缀参数 `MONGODB_COLLECTION_PREFIX`

- 添加 `tests` 文件下使用 [[node-canvas](https://github.com/Automattic/node-canvas)](https://github.com/Automattic/node-canvas) `api` 还原乱序 `canvas` 的示例

- 顶象乱序滑块底图还原：`node_canvas_demo2.js`
- 极验乱序滑块底图还原：`node_canvas_demo1.js`

暂未想到如何使用通用方法直接转换 `canvas`，不如直接使用 `node-canvas` 手动转化即可；

通过 `background-position` 重组验证码图片的方法也暂未写通用方法，网上和本库中也有示例。

- 说明文档中添加 `GIF` 演示

更新内容：

- 添加和优化阿里 `oss` 上传、删除等封装方法
- 添加在 `ayugespidertools startproject <startproject>` 时，生成启动文件 `run.py` 和 `run.sh` 的文件的方法
- 可修改 `run.py` 文件后，运行 `run.sh` 的 `shell` 文件来方便地运行脚本
- 修改 `config` 配置信息中的配置名称，改为通用名称，去除无效前缀
- 添存生成 `Data URLs` 的图片格式方法，参考文档：[Data URLs](https://developer.mozilla.org/en-US/docs/Web/HTTP/Basics_of_HTTP/Data_URLs)
- 修改模板文件中的 `basic.tmpl` 内容
- 增加库 `logo`
- 代码结构整理

更新内容：

> 微小更新

- 添存简单加解密方法的示例及测试用例
- 封装 `rsa` 加密的调用方法，`MurmurHash3` 的非加密哈希之 `hash128` 的调用方法
- 增加其测试用例

注：以后会慢慢丰富其各式各样加解密的 `python` 调用示例。

更新内容：

- 添加 `mysql` 存储场景下的去重查询方法
- 在 `Utils` 的 `ToolsForAyu` 中添加 `filter_data_before_yield` 方法
- 修改对应 `templates` 中 `basic.tmpl` 的去重查询示例
- 整理代码结构

更新内容：

- 去除 `Pipelines` 中默认的 `create_time` 字段，存储时不再自动添加此字段。

注：可自行在 `item` 中添加此字段即可