Ayugespidertools

更新内容

更新内容

此次更新不会对旧项目有所影响，含 `bug` 修复，推荐更新。

> bug 修复：

- 修复 `mongodb` 异步存储场景下，在不指定更新条件 `mongo_update_rule` 的字段时报错，此问题由于粗心遗漏所致。所以经此问题，优化了其代码结构，将可复用代码放入模板设计模式中，以防修改不完全。

> 新功能添加：

- 无

> 部分场景优化及修改：

- `consul` 更新对应的模板中的 `.conf` 配置示例；

- 使用一些设计模式增加代码复用性和易扩展性；

- 解决部分代码中 `type hint` 缺失和不明确的问题；

- 清理部分无效、无用的方法和文件。

更新内容

**注意：** 此次更新会对使用 `consul` 配置的旧项目有影响，请谨慎更新。

> bug 修复：

- 无

> 新功能添加：

- 无

> 部分场景优化及修改：

- `consul` 功能修改
- 可能不同人使用 `consul` 会有不同风格，所以本库中的 `consul` 配置参数由之前的 `token`，`port`，`host`，`key_value`，`group` 改为更清晰和方便的 `token`（需要读取 `consul` 对应配置的权限 `token`，一般只读权限即可，可为空），`url`（`consul` `api` 信息），`format`（对应配置的格式，可选【`json`，`xml`，`hcl`，`yaml`】），适用性更广。
- 在使用 `consul` 功能时，配置 `APP_CONF_MANAGE`为 `True` 时即从 `consul` 中取配置。不再是之前的开启 `APP_CONF_MANAGE` 后，还要满足目标项目没有对应的本地配置才会激活条件。
- 完善部分测试用例。

更新内容

维护版本，此次更新不会对旧项目影响。

> bug 修复：

- 无

> 新功能添加：

- 无

> 部分场景优化及修改：

- 去除 `AyuFtyMysqlPipeline` 中每次 `cursor` 操作前都 `ping` 下确认连接。若觉得重要程度：可靠性 >> 效率损耗，可使用 `AyuTurboMysqlPipeline` (同步) 连接池或 `AyuTwistedMysqlPipeline`(异步) 连接池来提高可靠性。

- 更新测试方式，添加 `Makefile` 和 `tox` 配置，使得更容易管理和自动化测试。

> 只要配置好 `tests` 下 `VIT` 目录中的 `.conf` 即可方便地运行测试。以下方式皆可：

- 使用 `tox` 测试。
- 使用 `pytest` 测试。
- 使用 `make test` 测试。

- 修改 `version` 命令实现方式，改为使用官方 `toml` 来解析参数。

- 修改模板中 `.gitignore` 示例。

更新内容

维护版本，此次更新不会对旧项目影响。

> bug 修复：

- 无

> 新功能添加：

- 无

> 部分场景优化及修改：

- 项目代码优化：

- 解决项目中部分 `typo` 的问题。

- 优化 `DataItem` 的使用，不再需要一定传两个值。

diff
其实以下的几种方式都是可以的，看个人选择

之前的方式
demo_ = {
- "title": DataItem(key_value=title, notes="标题"),
+ "title": DataItem(title, "标题"),
}

现在的方式
demo_ = {
- "title": DataItem(title, "标题"),
+ "title": DataItem(title), 也可直接 "title": title, 但 dict 这种不要和 DataItem 混用。
}

更新内容

本次更新的新特性都可以在 [`DemoSpider`](https://github.com/shengchenyang/DemoSpider) 示例中查看。

> bug 修复：

- 解决上个版本变动 `ScrapyClassicItem` 类型导致 `DemoSpider` 示例中的 `demo_item_loader` 中使用 `add_value` 的场景报错的问题。

> 新功能添加：

- 增加 `ayugespidertools cli` 名称为 `ayuge`，指令输入友好。
- 简化了在 `spider` 中构建 `item` 结构的方法，使用 `DataItem` 来简化代码，更易于维护。
- 不会对旧版本中的 `item` 写法风格的运行有影响，但更推荐新版本写法。

> 部分场景优化及修改：

- 项目代码优化：
- 解决项目中部分 `fstring` 过长的问题。
- 模板优化
- 修改模板中 `basic.tmpl` 中的部分，以匹配最新版本中 `item` 的新特性。
- 优化模板中 `settings.py.tmpl` 中配置取值的方式，提高可读性。