岗位职责 1.使用python负责数据采集与维护工作,配合数据的清洗、提取、去重及入库等工作 2.及时响应业务需求进行开发 3.进行通用爬虫抓取解析，文本处理 岗位要求 1.本科及以上学历，3到5年相关开发工作经验,能使用php对后台开发者优先 2.熟悉linux，了解Nginx、docker，熟悉scrapy、selenium、requests、pandas库等常用模块 3.熟悉MySQL、Redis等数据库 4.熟悉HTTP协议，熟悉网页抓取原理，熟练掌握XPath、正则表达式、bs4等提取 5.有良好的代码习惯，逻辑性强，命名规范，责任心强