Ayugespidertools

Latest version: v3.11.2

Safety actively analyzes 723326 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 10 of 11

1.0.8

更新内容:

> 微小更新

- 添存简单加解密方法的示例及测试用例
- 封装 `rsa` 加密的调用方法,`MurmurHash3` 的非加密哈希之 `hash128` 的调用方法
- 增加其测试用例

注:以后会慢慢丰富其各式各样加解密的 `python` 调用示例。

1.0.7

更新内容:

- 添加 `mysql` 存储场景下的去重查询方法
- 在 `Utils` 的 `ToolsForAyu` 中添加 `filter_data_before_yield` 方法
- 修改对应 `templates` 中 `basic.tmpl` 的去重查询示例
- 整理代码结构

1.0.6

更新内容:

- 去除 `Pipelines` 中默认的 `create_time` 字段,存储时不再自动添加此字段。

注:可自行在 `item` 中添加此字段即可

1.0.5

更新内容:

- 修改依赖库
- 修改 poetry 的依赖文件,`poetry.lock`, `pyproject.toml` 的文件
- 修改 `mysql_engine` 开关名称
- 将 `mysql_engine_off` 配置名改为 `mysql_engine_enabled`
- 同样修改模板 `basic.tmpl` 和 `AyugeSpider` 文件中其对应的参数

1.0.4rc1

**更新内容**:
- 优化在 `json` 解析字段时的场景:
- 比如一条数据可以在多个字段中皆可取,字段释义模糊且其各字段中不一定哪个会出现没有值的情况。

**推荐以下写法**:

python
这里指优先从 s_data_decode 的 titleUrl 中取值,若其值为空,则依次往下取,再取 s_data_decode 中 source 下的 url 值
url = ToolsForAyu.extract_with_json(json_data=s_data_decode, query=["titleUrl", ["source", "url"]])

1.0.3

修复 `--version` 命令出错的问题,优化部分代码结构。

Page 10 of 11

© 2025 Safety CLI Cybersecurity Inc. All Rights Reserved.