Ayugespidertools

Deprecations

- 无。

New features

- `oss` 场景添加是否保存完整链接的配置 `full_link_enable`，默认 `false`，不影响旧项目。([009ac20](https://github.com/shengchenyang/AyugeSpiderTools/commit/009ac20a4db55069c4b0cee5822834e42e21ba00))
- `oss` 场景不再需要手动添加上传的字段是否为空的判断。([009ac20](https://github.com/shengchenyang/AyugeSpiderTools/commit/009ac20a4db55069c4b0cee5822834e42e21ba00))

Bug fixes

- 修复 `aiohttp` 场景下由于目标网站未遵守编码时可能会出现的编码问题。([d2772b5](https://github.com/shengchenyang/AyugeSpiderTools/commit/d2772b5960c972c4cc6ee6e6ce541fa00e34a7fb))

Code optimizations

- 添加 `aiohttp` 可支持的请求方式。([c7c247e](https://github.com/shengchenyang/AyugeSpiderTools/commit/c7c247e1badf411a149d9d6e1430230ec81e99a8))
- 优化 `oss`, `file download` 场景的 `pipeline` 示例，减少复杂逻辑。([b0929d8](https://github.com/shengchenyang/AyugeSpiderTools/commit/b0929d8adba7c4d3ce2c7064a56656825d8802b7), [f0f1b2f](https://github.com/shengchenyang/AyugeSpiderTools/commit/f0f1b2f61e449e30812d7410e55652d4fcb42169))
- 测试场景增加剔除无关代码块的规则。([3e0ce94](https://github.com/shengchenyang/AyugeSpiderTools/commit/3e0ce949340b8d27f95d86ecbcbd8bf04e85cccd))
- 代码风格统一，补充缺失的 `type hint`，提升开发体验。

Deprecations

- 无。

New features

- 无。

Bug fixes

- 修复 mysql 存储引擎 engine 参数未生效的问题。([1240e37](https://github.com/shengchenyang/AyugeSpiderTools/commit/1240e375dd4e1bc7c87ba876a3cc8faf34b8695f))

Code optimizations

- 更新 `aiohttp` 依赖库版本以解决破坏兼容性的问题，同步更新 `scrapy` 依赖版本。（[3f0dc5a](https://github.com/shengchenyang/AyugeSpiderTools/commit/3f0dc5ada3a9742eff54e8a77c03a4fb7906795d), [246c824](https://github.com/shengchenyang/AyugeSpiderTools/commit/246c824813b4ffdc844b0df26a9e944a467fb9ea)）
- 文档更新。

Deprecations

- 无。

New features

- `mysql` 场景添加 `odku_enable` 配置来设置是否开启 `ON DUPLICATE KEY UPDATE` 功能。([25d71dd](https://github.com/shengchenyang/AyugeSpiderTools/commit/25d71ddb789c71f3f570f85576ff225aeaf58d7b))
- 添加 `oss pipeline` 的示例，请在 `DemoSpider` 中 `demo_oss` 和 `demo_oss_sec` 查看具体使用方法。([issue 16](https://github.com/shengchenyang/AyugeSpiderTools/issues/16))

Bug fixes

- 解决文件下载不支持多字段下载的问题，请在 `DemoSpider` 中 `demo_file` 和 `demo_file_sec` 查看具体使用方法。([f836f02](https://github.com/shengchenyang/AyugeSpiderTools/commit/f836f02d3c15b57623851888c0451ea0bfe8c631), [f504c45](https://github.com/shengchenyang/AyugeSpiderTools/commit/f504c45b86f2e328e2a9bb9f61328b693a571b52))
- 解决远程配置管理中缺失的 `mongodb:uri` 优先级设置。([51ea7da](https://github.com/shengchenyang/AyugeSpiderTools/commit/51ea7da83c81fe97ea5cd6a6500fdb7fc3fa233b))

Code optimizations

- `mq` 场景添加关闭链接处理。([ac54fd0](https://github.com/shengchenyang/AyugeSpiderTools/commit/ac54fd0a7611a8e63b46689da83718a9cebdb013))
- 更新 `readthedocs` 中的教程指南，以方便快速上手。
- 更新部分依赖库版本。

Deprecations

- 无。

New features

- 添加 `elasticsearch` 支持，具体示例请在 `DemoSpider` 中 `demo_es` 和 `demo_es_async` 查看。([issue 15](https://github.com/shengchenyang/AyugeSpiderTools/issues/15), [c4d048e](https://github.com/shengchenyang/AyugeSpiderTools/commit/c4d048ee74c7246760e2ba91ef2844a5dd3540d7), [7651dd3](https://github.com/shengchenyang/AyugeSpiderTools/commit/7651dd32974f6362b9a2dbc8e7258a5528d98858))

Bug fixes

- 无。

Code optimizations

- mypy check。([`785e36a`](https://github.com/shengchenyang/AyugeSpiderTools/commit/785e36a5a85b141168ce24bfae9efe605ac05c36))

Deprecations

- 无。

New features

- `无`。

Bug fixes

- 解决 `pip install ayugespidertools` 并执行简单场景时提示 `oracledb` 的依赖缺失问题。([`e363937`](https://github.com/shengchenyang/AyugeSpiderTools/commit/e363937f2de8cb5dd06938ca2eb470e1a5b08847))

注：出现此问题又是因为未重新新建环境来测试，且使用 `Pycharm ssh` 远程开发时不会自动索引环境依赖导致，所以未检视出项目依赖的问题。后续也会添加对 `DemoSpider` 场景的测试自动化来完善测试流程。

由于对用户体验影响较大，先修复此问题并发布。

Code optimizations

- 统一代码风格。([`ecb97e8`](https://github.com/shengchenyang/AyugeSpiderTools/commit/ecb97e803b36da5a5fd0bca14c98654a4b5d743b))

Deprecations

- 无。

New features

- `mysql` 配置项支持自定义自动创建库表场景的 `engine` 和 `collate` 参数。([`e652666`](https://github.com/shengchenyang/AyugeSpiderTools/commit/e6526668b818ec0d442160e60a98b73bd45fb673))

Bug fixes

- 解决 `settings` 模板生成的 `LOG_FILE` 不是当前项目名的问题。([`93c19d6`](https://github.com/shengchenyang/AyugeSpiderTools/commit/93c19d6c6812a86f6ea1ece7618c98e0f8c63957))

Code optimizations

- 更新 `spider` 模板，模板中解析方式改为 `scrapy` 的形式，防止对开发者造成理解成本。([`91ad948`](https://github.com/shengchenyang/AyugeSpiderTools/commit/91ad948506495bee210a673cd08541329375d8c4))
- 更新 `spider` 模板中的 `type hint`，优化了开发者使用体验。([`c2a0908`](https://github.com/shengchenyang/AyugeSpiderTools/commit/c2a09087f9b9fa1d20927d51f9e9f670c74d00f3))
- 优化一些数据库连接处理和配置解析方法等。