数据开发技能树

文章目录

• 数据开发技能
• 金融业务知识
• 参与的项目
• 监管合规与数据上报
• 数据仓库建设与运营数据支持
• 外接资金与外接资产尽调

数据开发技能

1. 熟练使用SQL、Python、Java、Linux Shell等语言；
2. 熟练使用MySQL、SqlServer、Oracle、MongoDB、Elasticsearch等数据库；
3. 熟练使用Azkaban、kettle等ETL工具，熟悉Canal、Git、Redis等工具；
4. 熟悉数据仓库多层建模理论、维度建模理论、数据库范式、OLAP；
5. 熟悉元数据管理、数据质量监控、指标体系建设、日常业务数据支持；
6. 熟练使用大数据相关组件，包括但不限于Hive、Spark、Kafka、Storm、HBase、Flume、Sqoop、Kylin等；
7. 熟悉统计学相关知识；
8. 熟悉机器学习相关算法，包括但不限于…；

---

金融业务知识

1. 合规业务，监管数据报送；
2. 熟悉移动互联网客户转化模型；
3. 外接资产，负责余额为50亿的即有资产尽调；
4. 外接资金，对接20多家资金方的数据尽调支持；

---

参与的项目

监管合规与数据上报

• 合规建设、接口规范、java、elasticSearch、

数据仓库建设与运营数据支持

• 数据仓库分层建设理论、ETL、sql、sqlServer、存储过程、Hive、Spark、storm、sqoop、kettle、Azkaban、git

外接资金与外接资产尽调

• Oracle、风控数据监控、小型调度系统、引入外接资金、pthon脚本