职位描述:
1.参与核心爬虫系统架构设计、数据库设计
2.负责网络爬虫的核心技术研究和开发
3.设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量
4.分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进
5.精通网页抓取原理及技术,精通正则表达式
6.有网页采集、Hbase等相关开发经验者优先
职位要求
1.2年以上Java或Python开发经验,熟悉常用的网页抓取策略和算法
2.熟悉大规模网页爬取,熟悉Hadoop、solr等优先考虑
3.了解Redis、HBase等数据库,并至少精通一种关系型数据库的开发
4.熟悉MySQL、Oracle及有集群数据库开发经验者优先
薪资待遇
10k~15k
工作地点
广州
联系方式
有意者邮件至:mkt@weehoursec.com (注明来源 指尖安全)