-
大数据挖掘岗位职责
大数据挖掘工程师中腾信金融中腾信金融信息服务(上海)有限公司,中腾信,中腾信公司,中腾信金融,中腾信职责描述:
1、负责爬虫和数据采集系统的设计和开发;
2、负责网络数据的抓取、分析、清洗、汇总、调度、存储,为公司业务提供正确稳定的数据服务;
3、负责针对电信运营商、电商、社保等行业数据的爬取,为业务部门提供数据支持;
4、参与设计公司数据爬取系统,针对东南亚国家特点,进行合理布局规划配置;
任职要求:
1、计算机相关专业,统招本科以上学历;
2、3年以上python开发经验,至少2年以上实际爬虫开发和内容提取经验;
3、熟悉MYSQL/ORCLE/mongodb数据库的常规使用;
4、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点;
5、实现数据的抓取及数据规则清洗工作,保证正确的入库数据;
6、对技术热衷,工作积极主动,沟通交流能力强,具有良好的团队合作精神;
7、有大数据处理经验优先。