Feapder

Latest version: v1.9.1

Safety actively analyzes 682404 Python packages for vulnerabilities to keep your Python projects secure.

Scan your dependencies

Page 4 of 9

1.6.8

更新:
1. pipelines支持close方法

Bug Fixes
1. 修复mongo pipeline 更新数据Bug

1.6.7

更新
1. 优化redis锁
2. 支持cookie池
3. response支持给text重新赋值,应对浏览器渲染重新加载页面源码的场景
4. log支持方法提示
5. 框架主线程异常捕获,防止某个线程崩溃导致爬虫卡死
6. 支持更细粒度的去重配置
7. 修改main函数启动模板
8. request支持获取代理及ua
9. 命令行支持 feapder create --params
10. 生成的item 显式的指定table_name,防止自动提取表名时提取错误
11. 下载中间件支持指定多个

Bug Fixes
1. 修复redis集群transaction参数不再支持的问题

1.6.6

更新
1. 封装的RedisDB支持调用所有原生的redis方法
2. 完善字典类PerfectDict封装
3. 爬虫常驻参数由 auto_stop_when_spider_done参数改为keep_alive,但兼容auto_stop_when_spider_done参数
4. 数据入库失败自动重试,重试超过最大次数则将数据记录到redis,保证数据不丢(AirSpider不支持)
5. 无redis时使用内存做报警的频率限制

1.6.3

更新
1. 集成打点监控
2. 隐藏浏览器特征
3. 添加移动端的请求头

Bug Fixes
1. 修复驼峰转下划线问题
2. 修复mongodb单次批量插入不能超过16MB的问题
3. 修复拼接sql因表名奇葩导致sql语法错误问题

1.6.1

更新
1. 钉钉报警支持提醒所有人

钉钉报警
DINGDING_WARNING_URL = "" 钉钉机器人api
DINGDING_WARNING_PHONE = "" 报警人 支持列表,可指定多个
DINGDING_WARNING_ALL = False 是否提示所有人, 默认为False

Bug Fixes
1. 修复拼接update sql时,由于数据中有单引号,导致sql错误问题

1.6.0

更新
1. 增强response的解码

Page 4 of 9

© 2024 Safety CLI Cybersecurity Inc. All Rights Reserved.