Ayugespidertools

Deprecations

- 无。

New features

- 添加 `elasticsearch` 支持，具体示例请在 `DemoSpider` 中 `demo_es` 和 `demo_es_async` 查看。([issue 15](https://github.com/shengchenyang/AyugeSpiderTools/issues/15), [c4d048e](https://github.com/shengchenyang/AyugeSpiderTools/commit/c4d048ee74c7246760e2ba91ef2844a5dd3540d7), [7651dd3](https://github.com/shengchenyang/AyugeSpiderTools/commit/7651dd32974f6362b9a2dbc8e7258a5528d98858))

Bug fixes

- 无。

Code optimizations

- mypy check。([`785e36a`](https://github.com/shengchenyang/AyugeSpiderTools/commit/785e36a5a85b141168ce24bfae9efe605ac05c36))

Deprecations

- 无。

New features

- `无`。

Bug fixes

- 解决 `pip install ayugespidertools` 并执行简单场景时提示 `oracledb` 的依赖缺失问题。([`e363937`](https://github.com/shengchenyang/AyugeSpiderTools/commit/e363937f2de8cb5dd06938ca2eb470e1a5b08847))

注：出现此问题又是因为未重新新建环境来测试，且使用 `Pycharm ssh` 远程开发时不会自动索引环境依赖导致，所以未检视出项目依赖的问题。后续也会添加对 `DemoSpider` 场景的测试自动化来完善测试流程。

由于对用户体验影响较大，先修复此问题并发布。

Code optimizations

- 统一代码风格。([`ecb97e8`](https://github.com/shengchenyang/AyugeSpiderTools/commit/ecb97e803b36da5a5fd0bca14c98654a4b5d743b))

Deprecations

- 无。

New features

- `mysql` 配置项支持自定义自动创建库表场景的 `engine` 和 `collate` 参数。([`e652666`](https://github.com/shengchenyang/AyugeSpiderTools/commit/e6526668b818ec0d442160e60a98b73bd45fb673))

Bug fixes

- 解决 `settings` 模板生成的 `LOG_FILE` 不是当前项目名的问题。([`93c19d6`](https://github.com/shengchenyang/AyugeSpiderTools/commit/93c19d6c6812a86f6ea1ece7618c98e0f8c63957))

Code optimizations

- 更新 `spider` 模板，模板中解析方式改为 `scrapy` 的形式，防止对开发者造成理解成本。([`91ad948`](https://github.com/shengchenyang/AyugeSpiderTools/commit/91ad948506495bee210a673cd08541329375d8c4))
- 更新 `spider` 模板中的 `type hint`，优化了开发者使用体验。([`c2a0908`](https://github.com/shengchenyang/AyugeSpiderTools/commit/c2a09087f9b9fa1d20927d51f9e9f670c74d00f3))
- 优化一些数据库连接处理和配置解析方法等。

Deprecations

- 无。

New features

- 添加 `postgresql` 的 `asyncio` 的 `AsyncConnectionPool` 存储场景支持。([`341e768`](https://github.com/shengchenyang/AyugeSpiderTools/commit/341e7681931f796b5167696b948ea331e2b62dbb))

Bug fixes

- 解决 `asyncio` 协程场景下的 `spider` 的 `AyuItem` 写法风格不兼容的问题。([`66177e4`](https://github.com/shengchenyang/AyugeSpiderTools/commit/66177e402d0e9c15b559664bfc40c6de0e545735))

Code optimizations

- 更新 `spider` 模板示例。([`61e10b1`](https://github.com/shengchenyang/AyugeSpiderTools/commit/61e10b140e880c7b2348b35687c167b6fad99b99))

Deprecations

- `AsyncMysqlPipeline` 改名为 `AyuAsyncMysqlPipeline`。
- `AsyncMongoPipeline` 改名为 `AyuAsyncMongoPipeline`。
- 删除 `oss` 的模块及依赖。

注：最新示例请在 [DemoSpider](https://github.com/shengchenyang/DemoSpider) 中查看，以往旧版请切换对应分支查看。

New features

- 添加 `oracle` 的存储场景支持，目前有 `fty` 及 `twisted` 两种方式。
- 添加 `mongodb:uri` 的配置方式。

Bug fixes

- 解决 `asyncio mysql` 协程场景下可能会出现的被垃圾回收而阻塞的问题。
- 解决 `mysql` 或 `postgresql` 的错误处理场景下由于权限等问题造成的循环递归问题。

Code optimizations

- 优化 `.conf` 模板示例，配置更明确且更易管理。
- `mypy check`.

Deprecations

- `MYSQL_ENGINE_ENABLED` 的配置项名改为 `DATABASE_ENGINE_ENABLED`，目前支持 `msyql` 和 `postgresql`。
- 安装再添加 `database` 选项，可通过 `pip install ayugespidertools[database]` 安装所需的所有数据依赖及扩展。

**注意：此变更包含不兼容部分，需要着重注意的部分如下：**
- 删除了 `MYSQL_ENGINE_ENABLED` 配置项；
- 由于 `SQLAlchemy` 依赖升级到了 `2.0+` 新版本，与以往的去重使用有变化，具体请查看本库 `readthedocs` 文档。

New features

- 支持 `python3.12`。
- 添加 `postgresql` 的存储场景支持，目前有同步场景及结合 `twisted` 的异步场景。
- `DATABASE_ENGINE_ENABLED` 的配置目前会激活对应场景中数据库的 `engine` 和 `engine_conn` 以供去重使用。
- 将 `psycopg` 相关的数据库扩展依赖改为可选项，可通过 `pip install ayugespidertools[database]` 安装所需依赖。

Bug fixes

- 无。

Code optimizations

- 优化 `type hints`。
- 更新生成脚本模板以匹配新版本，也可使用以往 `pandas` 去重方式。
- 更明确的日志信息。