猎头7月12日人才推荐 某互联网公司 大数据开发工程师 17万
自我评价：
熟悉主流关系型数据库：MySQL 、Oracle 、 PostgreSQL 、分布式数据库：Hive；
熟悉PL/SQL存储过程、自定义函数、触发器的编写，可以通过封装 SQL 语句做 ETL 开发和指标计算；
熟悉 Hadoop 生态系统，包括三大组件：HDFS、YARN、MapReduce;
熟悉 Sqoop 在关系型数据库和 HDFS 之间的导入和导出；
熟悉Linux基本指令，如三剑客：awk、grep、sed，通过这些指令可以对文件数据进行处理；
熟悉存储过程和 Shell 脚本的编写，封装SQL和HQL语句，对存过和 Shell 脚本进行定时调度、任务的并发和数据的抽取；
熟悉 ETL 工具：Kettle、Azkaban、Moia 可以做任务的并发，定时调度，以及数仓的数据抽取；
熟悉SQL调优，Hive 优化，数仓ODS / DW / DM 的分层理论；
熟悉报表开发工具帆软；
熟练使用英文进行沟通；
了解一体化的数据开发平台：华为云、阿里云；
了解Python的基本语法，pandas 一维series 和 二维 dataframe 做数据分析；
了解R语言、Matlab。
工作经历：
某大数据有限公司（2021.10 - 至今），大数据开发工程师。
1.参与需求评审会议 ，理解业务逻辑 ，明确分工任务和开发思路；
2.通过Kettle 将源系统中的数据抽取、清洗、去重等处理；
3.通过Kettle的作业模块进行脚本调度 ，确保任务能按时准确执行；
4.在 DW 层通过存储过程进行ETL的数据处理 ，制作主题域宽表；
5.在 DM 层通过SQL语句和存储过程完成业务指标的计算；
6.维护数据字典并数据设计文档 ，并协助测试人员完成测试工作；
7.通过Sqoop将核心业务系统、财务系统等10+个源系统全量抽取100+张表数据至ODS层；
8.在DWD层编写Shell脚本进行数据的清洗和转换 ，如空值补全、邮箱格式标准化等 ，确保数据一致性；
9.编写存储过程 ，将数据从 DWD 层抽取到 DWS 层制作主题域宽表；
10.根据业务需求 ，明确指标计算逻辑 ，在ADS层进行指标计算 ，如标准法计量的操作风险资本要求、操作风险加权资产、资本充足 率、一级资本充足率、核心一级资本充足率、流动性比率等指标；
11 编写存储过程 ，将计算指标的HQL代码逻辑封装到Shell脚本中；
12.使用窗口函数、分析函数、case when 等计算客户的活跃度 ，根据交易流水相关字段求出客户购买频率；
13.编写存储过程计算出rfm动态指标（ case when / sum / count / row_number） ，进行用户分群评级分析；
14.使用 case when 对客户进行打标 ，窗口函数等根据交易流水、产品持有信息相关字段计算不同理财产品购买客户占比、城市高 客单、低客单用户数；
15.通过窗口函数、分析函数等分别计算总人数、高客单价占比、统计总人数中高客单人群的比例 ，计算TGI的值。
选猎头公司就找乾坤猎头，咨询热线：400-6222-973
企业招聘登记&简历投递请登录：www.qiankunlt.com
平台质保，招聘靠谱，1天内快速响应推荐人选，1周可关闭职位完成交付，200万高端人才数据库，20年猎头服务，覆盖全国超110座城市。
更多北京猎头人才资讯，请关注乾坤猎头公司：qiankunlt
