开发工程师
岗位职责
1、?Flink应用开发?:基于Flink框架设计并开发实时/批处理数据流任务,优化任务性能与容错机制,保障高吞吐、低延迟的数据处理能力?;
2、?ETL流程设计与实现?:主导数据清洗、转换、加载(ETL)流程开发,解决多源异构数据集成问题,提升数据质量与处理效率?;
3、?数据架构优化?:参与构建实时数仓及湖仓一体架构,结合Hive、HBase等存储技术实现数据分层管理,支持业务实时分析需求?;
4、?系统监控与调优?:设计并实现Flink任务监控告警体系,排查数据链路性能瓶颈,优化资源利用率(如并行度调整、状态管理)?;
5、?协作与安全?:配合数据团队完成数据模型设计,遵循SecDevOps规范管理代码仓库(Git),优化CI/CD流程(Jenkins) 岗位要求 1、3-5年使用Flink经开发经验
2、有java开发ETL的经验
3、良好的英语沟通能力
2、?ETL流程设计与实现?:主导数据清洗、转换、加载(ETL)流程开发,解决多源异构数据集成问题,提升数据质量与处理效率?;
3、?数据架构优化?:参与构建实时数仓及湖仓一体架构,结合Hive、HBase等存储技术实现数据分层管理,支持业务实时分析需求?;
4、?系统监控与调优?:设计并实现Flink任务监控告警体系,排查数据链路性能瓶颈,优化资源利用率(如并行度调整、状态管理)?;
5、?协作与安全?:配合数据团队完成数据模型设计,遵循SecDevOps规范管理代码仓库(Git),优化CI/CD流程(Jenkins) 岗位要求 1、3-5年使用Flink经开发经验
2、有java开发ETL的经验
3、良好的英语沟通能力