Feapder

更新
1. 支持mongo存储
2. Request支持携带非基本类型的数据
3. AirSpider 支持爬虫开始与结束的回调函数

Bug Fixes
1. 修复拼接sql时与数据库保留关键字冲突问题
2. 解决redis2.x 3.x版本不兼容问题，即3.x存储dict、list、tuple报错问题
3. 修复创建item，因不同库有同名表导致item字段不准确问题

更新

1. 浏览器渲染模式下response携带browser, 可操控浏览器
2. download_midware 支持自定义下载, 不使用框架内置下载器

python
def download_midware(self, request):
response = requests.get(request.url)
return request, response


Bug Fixes

1. render_time 参数不存在bug

更新
1. 支持企业微信报警
2. 支持响应校验
python
def validate(self, request, response):
"""
summary: 校验函数, 可用于校验response是否正确
若函数内抛出异常，则重试请求
若返回True 或 None，则进入解析函数
若返回False，则抛弃当前请求
可通过request.callback_name 区分不同的回调函数，编写不同的校验逻辑
---------
param request:
param response:
---------
result: True / None / False
"""

pass

更新
1. 支持指定浏览器渲染时长

更新
1. 批次爬虫获取task值的方式支持以下几种

python
列表方式
id, url = task
id = task[0]
url = task[1]
字典方式
id, url = task.id, task.url
id, url = task.get("id"), task.get("url")
id, url = task["id"], task["url"]

Bug Fixes
1 . 修复代理池问题