Feapder

更新
1. Task spider 支持检查依赖爬虫的状态，依赖的爬虫做完才可结束自己
2. 命令行工具支持retry，可重试失败的请求或者item
3. 支持重新导入失败的item
4. 批次爬虫支持设置不自动启动下一批次
5. item 支持update方法

Bug Fixes
1. 修复任务爬虫依赖其他爬虫的bug
2. 修复 GoldUserPool bug
3. 修复有依赖爬虫时，依赖爬虫不结束，新批次开启不了的bug

Bug Fixes
1. 修复下载中间件中自定义返回response时，response.browser属性不存在导致异常的bug
2. 修复默认ua的bug，以及浏览器渲染模式下，ua及代理优先级的问题
3. 修复selenium浏览器渲染bug
4. 适配parsel==1.7.0

更新
1. 支持playwright
2. exception_request及failed_request透传异常参数e
3. AirSpider 支持去重
4. 批次超时报警后，若后续批次完成，则发个批次完成的报警，提醒已恢复正常
5. 爬虫并发数默认1

Bug Fixes
1. 修复feapder命令在pycharm中上下方向键不起作用的问题

更新
1. 浏览器渲染支持指定selenuim的更多参数

WEBDRIVER = dict(
pool_size=1, 浏览器的数量
load_images=True, 是否加载图片
user_agent=None, 字符串 或 无参函数，返回值为user_agent
proxy=None, xxx.xxx.xxx.xxx:xxxx 或 无参函数，返回值为代理地址
headless=False, 是否为无头浏览器
driver_type="CHROME", CHROME、PHANTOMJS、FIREFOX
timeout=30, 请求超时时间
window_size=(1024, 800), 窗口大小
executable_path=None, 浏览器路径，默认为默认路径
render_time=0, 渲染时长，即打开网页等待指定时间后再获取源码
custom_argument=[
"--ignore-certificate-errors",
"--disable-blink-features=AutomationControlled",
], 自定义浏览器渲染参数
xhr_url_regexes=None, 拦截xhr接口，支持正则，数组类型
auto_install_driver=True, 自动下载浏览器驱动 支持chrome 和 firefox
use_stealth_js=True, 使用stealth.min.js隐藏浏览器特征
xxxx=xxx,
xxx2=xxx2
)


Bug Fixes
1. 修复浏览器渲染模式下的代理bug
2. 修复delete_keys的bug

更新

1. 响应的html支持指定是否拼接绝对连接
2. 优化命令行，支持创建TaskSpider
3. 下载方法单独抽离出来，方便扩展
4. 优化tools.del_html_tag 函数

更新
1. AirSpider 支持设置内存任务队列最大缓存的任务数

内存任务队列最大缓存的任务数，默认不限制；仅对AirSpider有效。
TASK_MAX_CACHED_SIZE = 0

2. 新增TaskSpider爬虫，内部封装了取种子任务的逻辑，内置支持从redis或者mysql获取任务，也可通过自定义实现从其他来源获取任务

Bug Fixes
1. 修复 request.copy()的bug