Ayugespidertools

Latest version: v3.10.1

Safety actively analyzes 688803 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 3 of 10

3.7.0

Deprecations

- 获取 `nacos` 和 `consul` 中的配置时不再转小写,请按照 [readthedocs](https://ayugespidertools.readthedocs.io/en/latest/intro/examples.html) 示例填写。
- 删除 `html2text` 相关依赖及代码,此场景更适合自行实现。
- 安装不再包含非核心依赖,可通过 `pip install ayugespidertools[all]` 安装全部依赖。
- 一些 `api`变动:

| 更改前 | 更改后 | 受影响的部分 | 备注 |
| ---------------------------------------- | ------------------------------------------ | ------------------------------------------------------------ | ------------------------ |
| extract_html_to_md | 删除 | ayugespidertools.formatdata | |
| AliOssBase | 转移到 ayugespider.extras 中 | ayugespidertools.oss | |
| yidungap, imgoperation, verificationcode | 转移到 ayugespider.extras 中,并整理在一起 | ayugespidertools.imgoperation<br>ayugespidertools.verificationcode<br>ayugespidertools.common.yidungap | 在 extras 部分查看变化。 |

- 以下是对 `extras` 相关模块所影响较大部分的介绍:

| 更改前 | 更改后 | 受影响的部分 | 备注 |
| ---------------------- | ------------------------------ | --------------------------------- | ---- |
| YiDunGetGap.discern | CvnpilKit.discern_gap | ayugespidertools.common.yidungap | |
| Picture.identify_gap | CvnpilKit.identify_gap | ayugespidertools.imgoperation | |
| match_img_get_distance | CvnpilKit.match_gap | ayugespidertools.verificationcode | |
| get_normal_track | CvnpilKit.get_normal_track | ayugespidertools.verificationcode | |
| get_selenium_tracks | ToolsForAyu.get_selenium_track | ayugespidertools.verificationcode | |

注意:

- **此变更包含不兼容部分,如果你只使用其中 `scrapy` 扩展库部分,那么除了 `nacos`,`consul` 的 `yaml` 和 `hcl` 解析外对你无影响。**
- **再次提醒,使用时请做好依赖管理,以免不兼容部分对你的影响!**

New features

- `mongo` 场景添加 `authMechanisem` 配置选项,为可选配置,默认为 `SCRAM-SHA-1`。
- 将 `numpy`, `oss`, `pillow` 等非核心依赖改为可选项,可通过 `pip install ayugespidertools[all]` 安装所有依赖。

Bug fixes

- 无。

Code optimizations

- 优化 `aiohttp`, `cvnpil` 等测试用例,将图像相关功能整理并放入 `cvnpil` 模块中。
- `ayuge version` 修改为从 `__version__` 获取信息的方式。
- 更新模板,`mysql_engine` 的示例改为通过 `sqlalchemy` 的方式,减少依赖数且大部分场景运行效率更好。
- 将可选装依赖的相关的功能代码统一放入 `extras` 中,更易管理。

3.6.1

New features

- 无。

Bug fixes

- 解决 `mq` 推送场景时 `yield AyuItem` 时的错误,现可支持多种格式。
- 解决 `VIT_DIR` 默认参数未存储至 `settings` 中的问题。

Code optimizations

- 文件下载场景添加 `FILES_STORE` 路径不存在时的自动创建处理。
- `settings` 模板删除无关配置。
- 项目添加 `question issues template`。

3.6.0

Deprecations

- 一些 `api` 变动:

| 更改前 | 更改后 | 受影响的部分 | 备注 |
| ------------------------------------------------------------ | ------------------------------------------------------------ | --------------------- | ---- |
| 删除 `LOGURU_CONFIG` 配置参数 | 现只需配置 `LOGURU_ENABLED` 即可 | `slog` 日志模块 | |
| 删除 `spider` 中 `settings_type` 参数 | 此为过度设计,若需要可自定义配置 | 项目配置信息 | |
| 删除 `spider` 中 `mysql_engine_enabled` 参数 | 转移到设置中,名称为 `MYSQL_ENGINE_ENABLED` | 配置模块,影响较大。 | |
| `AyuItem` 中 `_table` 参数类型修改<br>删除 `spider` 中 `custom_table_enum` 参数 | 修改为与普通字段一样的 `DataItem` 或 `str` 类型,删除 `demand_code` 字段。 | `spider`,`Item` 模块 | |
| 删除 `RECORD_LOG_TO_MYSQL` 配置参数 | 改为 `ayugespidertools.pipelines.AyuStatisticsMysqlPipeline` 方式调用。 | 配置模块 | |

注意:
- **此变更包含不兼容内容,请修改不兼容部分并调试正常后再投入生产;本项目在有一些不兼容变更时,会发布 `Minor` 及以上的版本包,请做好依赖版本管理。**
- **新版本的示例请查看 [DemoSpider](https://github.com/shengchenyang/DemoSpider) 中最新代码,`v3.5` 旧版本示例请查看其 `3.5.x` 分支。**

New features

- 无。

Bug fixes

- 无。

Code optimizations

- 设置 `VIT_DIR` 默认参数。
- 去除冗余配置,统一配置风格。将一些过于复杂的模块拆分,便于管理。

3.5.2

New features

- 添加从 `nacos` 中获取配置的方法,若 `.conf` 中同时存在 `consul` 和 `nacos` 配置则优先使用 `consul`;即优先级 `consul` > `nacos`。

Bug fixes

- 无

Code optimizations

- 删除 `.conf` 示例中的无用配置 `wxbot`。
- 优化从本地 `.conf` 获取配置的逻辑,也提供更清晰明确的报错信息。
- `tox` 重新添加了 `windows` 场景。
- 更新 `CI` 工具版本。

3.5.1

Bug fixes

- 修复在 `py 3.11` 及以上版本的 `mongo` 相关场景的报错。([issue 11](https://github.com/shengchenyang/AyugeSpiderTools/issues/11))

Code optimizations

- 优化 `AyuItem` 实现,增强可读性及用户输入体验,比如 `add_field` 增加 `IDE` 参数提示功能。
- 更新文档中 `AyuItem` 的使用建议及对应测试。
- 更新测试文件,比如 `test_crawl` 及 `spider` 相关方法。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-5-1-2023-09-28),并查看对应文档内容。

3.5.0

Bug fixes

- 无。

Code optimizations

- `scrapy` 依赖升级为 `2.11.0`。
- 统一运行统计的方法,修改运行 `stats` 中有关时间的获取和计算方法。
- 添加 `pre-commit` 工具和 `CI`,提升 `commit` 和 `pull request` 体验。
- 更新 `readthedocs` 的新配置。
- 优化 `test_crawl` 的测试方法。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-5-0-2023-09-21),并查看对应文档内容。

Page 3 of 10

© 2024 Safety CLI Cybersecurity Inc. All Rights Reserved.