职位描述：
【职责描述】
1. 负责网站爬取和页面内容的提取分析；
2. 优化抓取策略，充分利用带宽资源，避免限制
3. 分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。
【职位要求】
1. 实际爬虫开发、内容提取工作经验；
2. 精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；
3. 能独立解决实际开发过程碰到的各类问题；
4. 精通java或python编程语言；
5. 有过海量数据爬取经验者优先；
6. 熟悉linux命令、脚本编写者优先；
7，了解scrapy框架优先
微信分享