【岗位职责】:
1、负责动态网页数据爬取,并对爬取数据进行分类、解析、分析、清洗、入库等;
2、负责搭建爬虫框架,开发高性能抓取程序;
3、负责爬虫核心技术研究以及爬虫策略优化,对数据质量负责;
4、技术
岗位职责:
1、负责业务数据的ETL处理开发;
2、负责数据计算作业的开发,为公司数据业务计算提供支持;
3、负责大数据集群的线上运营系统开发;
4、参与项目开发等工作;
5、负责开发与讲授大数据相关课程。