Ayugespidertools

New features

- 添加从 `nacos` 中获取配置的方法，若 `.conf` 中同时存在 `consul` 和 `nacos` 配置则优先使用 `consul`；即优先级 `consul` > `nacos`。

Bug fixes

- 无

Code optimizations

- 删除 `.conf` 示例中的无用配置 `wxbot`。
- 优化从本地 `.conf` 获取配置的逻辑，也提供更清晰明确的报错信息。
- `tox` 重新添加了 `windows` 场景。
- 更新 `CI` 工具版本。

Bug fixes

- 修复在 `py 3.11` 及以上版本的 `mongo` 相关场景的报错。([issue 11](https://github.com/shengchenyang/AyugeSpiderTools/issues/11))

Code optimizations

- 优化 `AyuItem` 实现，增强可读性及用户输入体验，比如 `add_field` 增加 `IDE` 参数提示功能。
- 更新文档中 `AyuItem` 的使用建议及对应测试。
- 更新测试文件，比如 `test_crawl` 及 `spider` 相关方法。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-5-1-2023-09-28)，并查看对应文档内容。

Bug fixes

- 无。

Code optimizations

- `scrapy` 依赖升级为 `2.11.0`。
- 统一运行统计的方法，修改运行 `stats` 中有关时间的获取和计算方法。
- 添加 `pre-commit` 工具和 `CI`，提升 `commit` 和 `pull request` 体验。
- 更新 `readthedocs` 的新配置。
- 优化 `test_crawl` 的测试方法。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-5-0-2023-09-21)，并查看对应文档内容。

Bug fixes

- 修复 `crawl` 模板文件中 `TableEnum` 的导入问题。
- 修改文档中 `kafka` 推送示例 `typo` 问题。

Code optimizations

- 优化文件下载本地的逻辑，处理当 `file_url` 不存在时的情况。
- 优化 `items`，`typevar` 等模块的 `type hint`，并删除无用的类型内容。
- 设置包源的优先级。
- 增加测试用例。
- 添加 `mypy` 工具。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-2-2023-09-15)，并查看对应文档内容。

- fix [issue10](https://github.com/shengchenyang/AyugeSpiderTools/issues/10)。
- 更新 `scrapy` 依赖版本为最新的 `2.10.1`。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-1-2023-09-07)，并查看对应文档内容。

- `aiohttp` 超时参数由 `AIOHTTP_CONFIG` 中的 `timeout` 获取改为直接从 `DOWNLOAD_TIMEOUT` 中获取。解决在 `aiohttp` 超时参数值大于 `DOWNLOAD_TIMEOUT` 时，与程序整体超时设置冲突，考虑程序的整体性，而不去根据 `aiohttp` 的超时设置来更新项目的整体设置。
- `aiohttp` 添加 `allow_redirects` 配置参数 ，优化对应文档示例。
- 更新 `scrapy` 依赖版本为 `2.10.0`。

[查看完整的变更日志](https://ayugespidertools.readthedocs.io/en/latest/additional/news.html#ayugespidertools-3-4-0-2023-08-10)，并查看对应文档内容。