Feapder

更新
1. 优化批次爬虫下发新批次任务时需等待1分钟，防止爬虫内部缓存的批次时间没来得及更新的问题,，改为根据运行的爬虫数智能判断是否需要等待
2. 优化因下发任务时意外退出，锁不释放，导致加锁失败的问题
3. 优化爬虫意外退出，因任务防丢策略，需等待10分钟才能取到任务问题，改为根据运行的爬虫数智能判断是否需要等待
4. 强化user_agent_pool， 支持指定UA类型，包括 `'chrome'、'opera'、 'firefox'、 'internetexplorer'、'safari'`

更新
1. 浏览器渲染模式支持关闭浏览器

python
def parse(self, request, response):
response.close_browser(request)


关闭会自动重开一个新的浏览器实例

Bug Fixes
1. 修复自定义配置对代理不生效问题

Bug Fixes

1. 修复redis `zrangebyscore`函数bug
2. redis 支持bool类型的值

更新
1. 临时去重定期删除过期的值
2. eamil错别字改为email ，配置文件关于邮件报警的key也做了相应的修改，升级时请注意修改下自己项目里的配置文件

邮件报警
EMAIL_SENDER = "" 发件人
EMAIL_PASSWORD = "" 授权码
EMAIL_RECEIVER = "" 收件人 支持列表，可指定多个
EMAIL_SMTPSERVER = "smtp.163.com" 邮件服务器 默认为163邮箱


Bug Fixes
1. 修复自定义配置对报警及代理不生效的问题

Bug Fixes
1. 修复mongodb游标bug导致查询数据不全
2. 修复format_time时间提取不准确的问题

更新
1. 完善 `tools.format_time`函数