Ayugespidertools

Latest version: v3.11.2

Safety actively analyzes 724319 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 8 of 11

1.1.2

更新内容

本次更新更多的是提升代码可读性和可维护性,在一些比较常用的部分,比如 `Item` 和数据库 `DataEnum` 等部分提升用户体验,使得在调试之前的开发阶段即可发现一些低级问题。

> bug 修复:

- 无

> 新功能添加:



> 部分场景优化及修改:

- 项目结构变动:

- 将复杂 `TypeVar` 放入 `common` 中的 `TypeVars` 统一管理。

- 修改模板中的 `.gitignore`,添加 `VIT` 文件夹

- 修改模板中 `DataEnum` 生成的示例,提高可读性的同时增加参数提示功能:

- python
from enum import Enum, unique
from ayugespidertools.common.TypeVars import TableTemplate

修改前
unique
class TableEnum(Enum):
"""
数据库表枚举信息示例,用于限制存储信息类的字段及值不允许重复和修改
"""

文章列表信息
article_list_table = {
"value": "article_info_list",
"notes": "项目列表信息",
"demand_code": "DemoSpider_article_list_table_demand_code",
}

修改后
unique
class TableEnum(Enum):
"""
数据库表枚举信息示例,用于限制存储信息类的字段及值不允许重复和修改
"""

demo_table = TableTemplate(
value="表名(eg: demo)",
notes="表注释信息(eg: 示例表信息)",
demand_code="需求表对应数据(eg: Demo_table_demand_code,此示例没有意义,需要自定义)",
)

如果项目中依赖其它表格,请按照上方示例进行增加或修改


- 同样,在使用本库中的所有的 `Item` 类型,包括 `ScrapyClassicItem` 也具有了参数提示的功能,提升体验。

- 更新对应的 `readthedocs` 文档

注:本次更新不影响旧版本开发的项目,同样支持旧版本的编码风格。

1.1.1

更新内容

无新功能添加,优化部分代码及结构。

> 部分场景优化及修改:

- 项目结构变动:
- 增加 `sphinx` 文档,更新对应开发依赖库。
- 添加代码检查的 `workflow`。
- 增加 `bug`, `feature` 的提交模板。
- 配置 `poetry` 镜像源,防止依赖安装管理时超时等错误。
- 优化打包大小。

1.1.0

更新内容

> 新功能添加:

- 开发场景下添加 `black` 和 `isort` 默认配置,统一本项目下的编码风格

> 部分场景优化:

- 将 [black format](https://black.readthedocs.io/en/stable/) 和 [isort](https://pycqa.github.io/isort/) 编码风格应用于当前项目所有文件。
- 在模板中增加项目一般需要的 `.gitignore`,`README.md`, `requirements.txt` 和 `pyproject.toml` 文件,并添加对应的默认配置信息。
- 项目结构变动,使得增加可读性和易扩展性,不影响之前项目使用,放心升级。

> bug 修复:

- 修复 `Mysql` 同步存储场景(即:使用 `AyuFtyMysqlPipeline` )下,在遇到 `1146` 和 `1406` 错误并解决时忘记重试插入,导致会丢失当前错误下的一条数据。
- 解决 `genspider` 命令生成 `basic` 脚本时出现的格式错误。

1.0.18

更新内容

> 新功能添加:

- 将 `scrapy` 依赖更新为目前最新的 `2.8.0` 版本。
- `settings.py.tmpl` 模板中添加默认开启 `TWISTED_REACTOR` 等参数。

> 部分场景优化:

- 增加在自动创建 `Mysql`数据表场景下常用 `charset` 与其默认 `collate` 的映射类型。
- 将 [black format](https://black.readthedocs.io/en/stable/) 编码风格应用于使用 `genspider`和 `startproject` 命令生成的文件。

> bug 修复:

- 修复脚本运行信息统计和项目依赖表采集量统计功能开启,即 `RECORD_LOG_TO_MYSQL` 打开时,其中存在的 `sql` 统计语句问题(当所需跟踪记录的数据库中存在有数据表的字段不存在 `crawl_time` 时,造成 `sql` 查询错误)。

1.0.17

更新内容

> 主要为部分代码结构优化整理,增加可读性

- 代码结构整理:
- 优化 `pipelines` 中有关数据库常见错误处理、项目运行信息统计等功能,将其重复代码作为 `Mixin` 独立出来。
- 将代码中重复的或没必要的格式转换等去除,增加可读性
- 将 `GIF` 示例更换为字号清晰的版本
- 修改模板文件:
- 限制数据库表枚举信息 `TableEnum` 的字段唯一
- 修改 `settings.py.tmpl` 模板中 `loguru` 示例的配置

1.0.16

更新内容

> bug 修复;部分代码整理

- 补充 `pipelines` 中异步存储 `Mysql` 场景下缺失的 `slog` 日志管理模块。
- 在测试文件 `test_Items.py` 中添加对 `Scrapy` `Item Loaders` 的 `add_value`, `add_xpath`, `add_css` 的支持示例,提供方案示例。

Page 8 of 11

© 2025 Safety CLI Cybersecurity Inc. All Rights Reserved.