Feapder

Latest version: v1.9.0

Safety actively analyzes 623219 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 1 of 9

1.9.0

更新
1. BloomFilter去重默认使用同一个key,其它类型去重默认使用redis_key
2. BloomFilter 自动分批去重,防止一次性传输大量的数据,导致报错
3. MongoDB 批量更新代码。
4. RedisDB 支持hvals 命令返回哈希表所有的值。
5. 钉钉报警支持指定用户id
6. 爬虫代码支持提示
7. 支持python3.12

Bug Fixes
1. 修复mysql db find 方法bug

1.8.9

更新
1. 支持外置下载中间件
2. 钉钉报警支持加签密钥
3. 适配selenium>=4.0版本,新增Edge Webdriver
4. 优化报警中的爬虫名

Bug Fixes
1. 修复 taskspider 不回调start_callback的bug
2. 修复重新导入失败item的bug

1.8.8

更新
1. 重写代理池,可自主控制删除代理、可自定义代理池

1.8.6

更新
1. 支持`stop_spider`方法,停止爬虫
2. 监控模块`metrics`支持设置retention_policy副本数及是否设置为默认
3. 完善normal_user_pool登录失败后回调的逻辑
4. TaskSpider 可选择是否使用mysql
5. 支持python3.11版本
6. 精简安装包
7. log 支持success方法

Bug Fixes
1. 修复监控打点时间戳的问题

1.8.5

Bug Fixes
1. 修复去重库ExpireFilter与LiteFilter在批量去重时,本批内数据之间未参与去重的bug。如 ["xxx", "bbb", "xxx"] 两个xxx应只保留一个

1.8.4

更新
1. Task spider 支持检查依赖爬虫的状态,依赖的爬虫做完才可结束自己
2. 命令行工具支持retry,可重试失败的请求或者item
3. 支持重新导入失败的item
4. 批次爬虫支持设置不自动启动下一批次
5. item 支持update方法

Bug Fixes
1. 修复任务爬虫依赖其他爬虫的bug
2. 修复 GoldUserPool bug
3. 修复有依赖爬虫时,依赖爬虫不结束,新批次开启不了的bug

Page 1 of 9

© 2024 Safety CLI Cybersecurity Inc. All Rights Reserved.