岗位职责：

1.参与爬虫架构设计与开发，搭建数据采集平台，构建抓取、解析、调度、存储等模块；

2.主要根据需求描述完成数据收集、整理、清洗、标注等相关工作，为算法提供可靠数据支撑。

3.负责建设高可靠、高并发的分布式 API 系统。

4.能快速满足业务需求、实现代码需要能够在大数据量下有优异的性能和稳定性表现。

5.负责编写相关的技术文档、单元测试，对产品质量负责。

6. 熟悉Elasticsearch等开源大数据技术；

7. 熟练掌握python数据分析组件，Numpy，Pandas，Matplotlib等，有实际项目开发经验。

8. 熟练掌握并使用一种关系型数据库（MySQL）；