新能源车辆车联网大数据监管平台
2024.09 - 2025.08
项目背景
面向物流车队、网约车运营企业，对接新能源车车载 T-Box 终端，持续采集定位、电池状态、行驶轨迹、
故障告警、能耗、驾驶行为等海量时序数据，搭建实时 + 离线一体化大数据平台。依托实时链路实现车辆状态监控、
危险驾驶秒级预警；基于离线数仓完成动力电池健康分析、车队运维数据统计。日均处理车载实时上报数据 9000 万条。
技术栈
Hadoop · Hive · Spark SQL · Flink · Kafka · DataX · DolphinScheduler · HBase · Redis · MySQL
职责
- 实时数据流：Flink 消费 Kafka 车载消息，过滤 GPS 漂移、清洗报文，识别危险驾驶；历史轨迹存入 HBase，热点车辆状态写入 Redis；封装 SpringBoot 查询接口对外提供轨迹、车辆状态查询服务，供业务与大屏调用；
- 离线数仓搭建：使用 DataX 同步 MySQL 车辆、车队档案主数据；基于 Hadoop+Hive 构建 ODS/DWD/DWS/ADS 四层数仓，借助 DolphinScheduler 调度，使用 Spark SQL 完成离线计算；
- 车队运营指标开发：设计日均里程、电池衰减系数等 30+ 车队运营指标，分区分桶优化解决数据倾斜、小文件问题；
- 数据治理与质量校验：制定时序数据校验规则，监控缺失、越界、重复数据，统一指标统计口径并推送异常报表；
- 调度与运维：依托 DolphinScheduler 调度离线任务，同步 ADS 层数据至 MySQL；在 Linux 环境排查实时/离线任务故障，保障告警与 T+1 报表稳定输出。
项目成果
搭建车联网实时 + 离线混合链路，整合时序与业务数据；优化存储策略解决小文件痛点，提升查询响应效率；
危险驾驶秒级预警，降低合作车队事故率；标准化指标支撑 20 余家车队平台上线；
沉淀可复用的数据清洗、ETL 脚本模板，减少重复开发，提升新项目交付效率。
银行信贷客户风险识别数据中台
2023.03 - 2024.08
项目背景
面向商业银行零售信贷业务，整合客户信息、贷款流水、征信、司法等多源异构数据，
搭建信贷风险识别数据中台，构建客户准入、贷中监控、贷后预警指标体系，
支撑消费贷、经营贷风控业务。日均处理数据 5000 万条。
技术栈
Hadoop · Hive · Spark SQL · DataX · Kafka · Maxwell · ClickHouse · MySQL · DolphinScheduler
职责
- 多源数据采集：Maxwell 同步业务库 binlog 增量数据，消费 Kafka 信贷申请日志落 ODS 层；DataX 同步征信、司法离线数据；Shell 脚本清洗异构数据，统一客户、账户维度口径；
- 分层数仓搭建：搭建 ODS/DWD/DWS/ADS 四层风控主题数仓，采用 Spark SQL 优化计算逻辑，任务运行效率提升 43%；
- 信贷风险指标开发：开发负债、多头借贷、司法风险等 45+ 风控指标，利用窗口函数解决数据倾斜，加工客户风险标签，支撑信贷审批与贷后预警；
- 数据治理与质量监控：配置字段校验规则，梳理信贷指标字典，统一统计口径，监控异常数据并推动整改；
- 报表接口与调度运维：ADS 指标同步至 ClickHouse、MySQL，支撑风控看板；通过 DolphinScheduler 调度离线任务，排查故障延迟，保障 T+1 风险报表按时产出。
项目成果
打通内外部信贷数据源，搭建完整客户风险数据体系；离线任务效率提升 43%，报表查询耗时下降 38%；
标准化指标体系，减少重复开发；建立数据质量校验机制，辅助识别高风险客户，降低信贷逾期风险。
多平台电商经营数据中台
2021.07 - 2023.03
项目背景
面向淘系、拼多多、抖音电商商家提供数字化运营服务，整合多平台店铺订单、流量、广告投放、会员、仓储 ERP 异构数据，
搭建分层离线数仓，统一电商数据口径，构建商品、流量、转化、广告投放、库存相关指标体系，
支撑商家经营后台、运营报表、商品销售分析场景。日均处理数据 7000 万条。
技术栈
Hadoop · Hive · Spark SQL · DataX · Kafka · MySQL · DolphinScheduler
职责
- 多源数据采集：用 DataX 同步电商业务库全量与增量数据，消费 Kafka 实时流量日志落地 ODS 层；编写 Shell 脚本规整多平台异构数据，统一渠道字段格式；
- 分层数仓搭建：搭建 ODS/DWD/DWS/ADS 四层电商主题数仓；以 Spark SQL 替代原生 Hive 执行计算，运行效率提升 45%；
- 核心指标开发：设计 ROI、复购率、库存周转天数等 40+ 运营指标；通过分区分桶、多表关联与窗口函数 SQL 解决数据倾斜；
- 数据治理与质量监控：配置数据校验，核验订单金额、访客唯一性等维度；梳理指标字典，统一多渠道统计口径并推送异常数据整改；
- 报表接口与调度运维：把 ADS 层指标同步至 MySQL 支撑可视化报表；依托 DolphinScheduler 调度离线任务，排查任务故障与数据延迟，保障 T+1 报表准时产出。
项目成果
打通淘系、拼多多、抖音多渠道数据，破除商家数据孤岛；标准化指标体系，支撑上百家商家经营分析与平台运营决策；
沉淀通用脚本与调度模板，降低重复开发成本；搭建质量监控与校验机制，提升数据开发与运维效率。