熟悉Flask、Django等主流web开发框架
熟练掌握mysql数据库，熟练运用es数据库
能够应用进程，协程技术加快采集速度，能够使用爬虫框架更好
爬虫基础能力扎实，熟练掌握requests 使用，能够处理常见的反爬措施，简单的js加密，验证码处理
使用代理ip，修改UA头，分析请求参数，模拟请求，各种容错机制
能够熟练使用xpath，正则提取html中数据，
熟练使用Selenium技术采集数据 （用于难度较大网站，并且数据总量不多的网站进行模拟翻页采集）