Ayugespidertools

Latest version: v3.10.1

Safety actively analyzes 688803 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 4 of 10

3.4.2

Bug fixes

- 修复 `crawl` 模板文件中 `TableEnum` 的导入问题。
- 修改文档中 `kafka` 推送示例 `typo` 问题。

Code optimizations

- 优化文件下载本地的逻辑,处理当 `file_url` 不存在时的情况。
- 优化 `items`,`typevar` 等模块的 `type hint`,并删除无用的类型内容。
- 设置包源的优先级。
- 增加测试用例。
- 添加 `mypy` 工具。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-2-2023-09-15),并查看对应文档内容。

3.4.1

- fix [issue10](https://github.com/shengchenyang/AyugeSpiderTools/issues/10)。
- 更新 `scrapy` 依赖版本为最新的 `2.10.1`。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-1-2023-09-07),并查看对应文档内容。

3.4.0

- `aiohttp` 超时参数由 `AIOHTTP_CONFIG` 中的 `timeout` 获取改为直接从 `DOWNLOAD_TIMEOUT` 中获取。解决在 `aiohttp` 超时参数值大于 `DOWNLOAD_TIMEOUT` 时,与程序整体超时设置冲突,考虑程序的整体性,而不去根据 `aiohttp` 的超时设置来更新项目的整体设置。
- `aiohttp` 添加 `allow_redirects` 配置参数 ,优化对应文档示例。
- 更新 `scrapy` 依赖版本为 `2.10.0`。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-0-2023-08-10),并查看对应文档内容。

3.3.3

- 修复安装过程中的依赖缺失问题。([issue 9](https://github.com/shengchenyang/AyugeSpiderTools/issues/9))
- 修改 `Mysql` 添加表字段的处理逻辑。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-3-3-2023-08-03),并查看对应文档内容。

3.3.2

- 增加贝塞尔曲线生成轨迹的示例方法。
- 将项目中有关文件的操作统一改为 `pathlib` 的方式。
- 根据 `consul` 获取配置的方式添加缓存处理,不用每次运行都多次调用同样参数来获取配置。减少请求次数,提高运行效率。
- 更新 `README.md` 内容,增加对应英文版本。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-3-2-2023-07-26),并查看对应文档内容。

3.3.1

优化 `item` 使用体验,完善功能及对应文档内容,具体请查看 [readthedocs](https://ayugespidertools.readthedocs.io/en/latest/topics/items.html) `item` 部分。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-3-1-2023-06-29),具体说明请查看其 `item` 部分内容。

Page 4 of 10

© 2024 Safety CLI Cybersecurity Inc. All Rights Reserved.