工作职责： 1、负责数据爬虫系统的设计和开发工作，能应对各种网站的反爬机制，顺利爬取数据； 2、负责数据爬取、解析、清洗、入库等工作； 3、帮助团队解决各种爬虫技术问题，提升海量数据系统的抓取效果与性能。 任职资格： 1、本科及以上学历，熟练使用python，并掌握常用的信息抽取工具，如正则表达式、Xpath等； 2、熟悉JavaScript、html、css、并能够通过调试网页代码搜索请求地址并进行模拟； 3、熟悉常用反爬机制并能够进行破解； 4、熟悉常用的IP代理访问方式； 5、熟悉多线程、网络编程以及分布式爬虫架构开发场景； 6、了解大数据技术如hadoop、spark等。