岗位职责:
参与分布式爬虫和数据存储架构的架构设计和开发;
参与各种核心抓取策略、算法的设计与开发,提升网页抓取的效率和质量;
解决规模增长带来的技术和业务问题,确保提供高可靠数据服务,保证系统稳定、高效运行;
参与公司数据仓库的设计,对外提供数据服务。
公司介绍:
复是一家提供金融大数据企业级应用服务的技术型公司,运用先进的计算机和大数据技术,为各类金融投资机构提供高效、便捷、专业的金融分析平台,帮助客户进行快速研究与决策。
职位卖点:团队大牛多、股票期权、福利待遇好、试用期全薪、技术驱动
年龄要求:34岁以内
所属部门:技术部门
团队人数:1-5人
汇报对象:TL
岗位要求:
本科或以上学历,计算机相关专业毕业,两年以上爬虫系统开发经验,熟练掌握Linux系统下JAVA编程和调试,Shell脚本应用;
了解多线程、高性能应用的设计与编码及性能调优;
熟练掌握JAVA或PYTHON,熟悉JS、ajax、http协议、tcp协议;
掌握Hadoop(HDFS/MapReduce/Hive)、Spark、HBase、Storm、Kafka、Flume等技术、框架者优先;
有分布式爬虫架构,数据挖掘经验者优先;熟悉模板和自动页面信息抽取,有网页类型分析者优先;有垂直领域爬虫开发经验者优先。
北京猎头公司是什么?就是乾坤猎头,咨询热线: 4006222973
简历在线投递请登录:www.qiankunlt.com
高端人资交流群④群 197105271,高端交流,人才共享
资深猎头运营Mark,期待与你交流分享(V:158-3156-2099)
更多北京猎头职位资讯,请关注乾坤猎头公司微信平台:qiankunlt