职位简介
岗位职责
1、根据产品或项目的要求、参于系统设计和开发
2、参与爬虫和数据采集系统的架构设计和开发
3、负责反爬虫策略研究、技术调研
4、对爬取内容进行数据清洗、去重
5、负责相关开发文档的编写
任职要求
1、5年以上工作经验,本科。
2、精通python语言,有扎实的编码能力,良好的编码习惯和学习能力
3、精通SQL编写,熟练使用至少一种数据库(MySQL/Redis/MongoDB)
4、熟练掌握python,掌握numpy、pandas、selenium、scrapy等包的用法
5、熟悉python其他扩展模块
6、有解决复杂的反爬限制实践经验