1、负责企业级数据的离线与实时数据仓库的构建,多数据源的数据拉通、标准化以及数据分析;
2、参与业务指标体系建设,主导并负责数据分层设计、主题设计、维度建模,制定和落实数据仓库规范以及数据治理工作;
3、负责开发核心框架的搭建,参与底层和重要模块的详细设计;
4、参与数据中台建设,打通数据孤岛,挖掘企业数据价值。
岗位要求:
1、本科及以上学历,具备一定的数据项目管理和设计经验;
2、熟悉数据仓库建设方法,包括但不局限于:元数据管理、指标体系建设、数据开发测试工具与方法、数据质量监控、主数据管理,对于数据的设计有自己的思考;
3、熟悉 Hadoop、Hive、Spark、Hbase、Clickhouse、Phoenix、flink、Kylin、Doris 等大数据技术(精通Hive、Spark),了解 Mapreduce 编程,具有相关使用和开发经验;
4、精通(规模以上性能调优,源码级理解和或引擎修改)流式计算框架(flink或spark)或离线计算框架(Hadoop或MPP)者优先。
5、熟练使用Java、Scala编程语言,且熟悉Linux操作命令,具有扎实的编程基础和数据结构算法基础;
6、精通ETL相关技术,具备海量数据处理经验和丰富的 ETL 开发经验;
7、精通至少一种主流关系数据库,精通SQL编程,有 TiDB 使用经验加分;
8、有 Spark 机器学习和图计算的项目经验者优先;
9、具备优秀的业务理解能力,对数据敏感,有较强的逻辑分析能力。