第50任务：SpringBoot、vue大数据统计分析系统项目智慧学成 -锐亚教育

第1任务：第一章-01-项目介绍-学习目标&项目背景和概述

第2任务：第一章-02-项目介绍-业务流程

第3任务：第一章-03-项目介绍-功能模块

第4任务：第一章-04-项目介绍-技术架构

第5任务：第一章-05-环境搭建-学习目标&CDH组件介绍

第6任务：第一章-06-环境搭建-CDH环境搭建

第7任务：第一章-07-环境搭建-配置hosts

第8任务：第一章-08-环境搭建-配置Maven

第9任务：第一章-09-环境搭建-IDEA环境配置

第10任务：第一章-10-环境搭建-导入Scala基础工程&基础工程介绍

第11任务：第一章-11-环境搭建-wordcount代码编写及idea代码测试

第12任务：第一章-12-环境搭建-wordcount任务提交到集群执行

第13任务：第一章-13-Zeppelin简介、Zeppelin调式Spark程序

第14任务：第一章-14-Hue简介、Hue操作hive及hdf

第15任务：第一章-15-数据仓库-学习目标、数据仓库介绍

第16任务：第一章-16-数据仓库-数据仓库的特点

第17任务：第一章-17-数据仓库-维度分析

第18任务：第一章-18-数据仓库-数据仓库建模

第19任务：第一章-19-数据仓库-Hive创建数据仓库

第20任务：第二章-01-ETL-学习目标

第21任务：第二章-02-ETL-ETL介绍

第22任务：第二章-03-ETL-课程访问量需求分析

第23任务：第二章-04-ETL-采集系统介绍

第24任务：第二章-05-ETL-采集系统搭建

第25任务：第二章-06-ETL-采集系统-测试采集课程访问量

第26任务：第二章-07-ETL-NiFi介绍

第27任务：第二章-08-ETL-快速入门

第28任务：第二章-09-ETL-维度数据采集-维度介绍

第29任务：第二章-10-ETL-维度数据采集-导入学成在线业务数据

第30任务：第二章-11-ETL-维度数据采集-导入NiFi源码&执行采集

第31任务：第二章-12-ETL-维度数据采集-注意事项-NiFi采集乱码处理

第32任务：第二章-13-ETL-维度数据采集-区域维度原文件上传HDFS&spark读取文件

第33任务：第二章-14-ETL-维度数据采集-区域维度原文件数据与实体映射

第34任务：第二章-15-ETL-维度数据采集-区域维度字段关联及区域维度数据入库

第35任务：第二章-16-ETL-维度数据采集-区域维度-注意事项：winutils配置

第36任务：第三章-1数据清洗-01-ET-课程访问量事实表字段介绍&清洗逻辑介绍

第37任务：第三章-1数据清洗-02-ETL-课程访问量清洗-获取维度数据&原始数据

第38任务：第三章-1数据清洗-03-ETL-课程访问量清洗-过滤机器人&关联维度

第39任务：第三章-1数据清洗-04-ETL-课程访问量清洗-去重&保存到数据仓库

第40任务：第三章-1数据清洗-05-ETL-课程访问量清洗-测试

第41任务：第三章-1数据清洗-06-ETL-课程访问量清洗-使用NiFi生产数据并测试

第42任务：第三章-1数据清洗-07-课程分析-学习目标

第43任务：第三章-1数据清洗-08-课程分析-课程访问量分析-功能概述&统计分析步骤

第44任务：第三章-1数据清洗-09-课程分析-课程访问量分析-步骤1：读取课程访问量事实表数据

第45任务：第三章-1数据清洗-10-课程分析-课程访问量分析-步骤2：课程访问量统计求和

第46任务：第三章-1数据清洗-11-课程分析-课程访问量分析-步骤3：课程访问量统计结果保存数据仓库

第47任务：第三章-1数据清洗-12-课程分析-课程访问量分析-使用NiFi将课程访问量分析结果同步到MySQ

第48任务：第三章-1数据清洗-13-课程分析-课程访问量分析-集成测试概述

第49任务：第三章-1数据清洗-14-课程分析-课程访问量分析-集成测试-数据清洗统计分析NiFi调度

第50任务：第三章-1数据清洗-15-课程分析-课程访问量分析-集成测试-联动（清洗、统计分析、同步到业务库）

第51任务：第三章-1数据清洗-16-业务报表系统搭建-Web前端使用说明&Yapi使用说明

第52任务：第三章-1数据清洗-17-业务报表系统搭建-使用业务后台接口展示业务报表

第53任务：第三章-2课程分析-01-课程购买量-需求分析

第54任务：第三章-2课程分析-02-课程购买量-采集字段及存储分析

第55任务：第三章-2课程分析-03-课程购买量-MySQL采集注意事项

第56任务：第三章-2课程分析-04-课程购买量-NiFi采集MySQL配置

第57任务：第三章-2课程分析-05-课程购买量-测试NiFi采集MySQL

第58任务：第三章-2课程分析-06-课程购买量-NiFi生产订单数据保存到MySQL&并进行实时采集

第59任务：第三章-2课程分析-07-课程购买量-数据清洗-DWD（事实表）结构分析

第60任务：第三章-2课程分析-08-课程购买量-数据清洗-用户维度采集

第61任务：第三章-2课程分析-09-课程购买量-DWD代码-维度数据获取

第62任务：第三章-2课程分析-10-课程购买量-DWD代码-事实表数据封装

第63任务：第三章-2课程分析-11-课程购买量-DWD代码-保存到数据仓库

第64任务：第三章-2课程分析-12-课程购买量-DWD代码-测试清洗入库

第65任务：第三章-2课程分析-13-课程分析-课程购买量-DWM层结构分析

第66任务：第三章-2课程分析-14-课程购买量-DWM代码-轻度聚合封装数据

第67任务：第三章-2课程分析-15-课程购买量-DWM代码-保存到数据仓库&测试入库

第68任务：第三章-2课程分析-16-课程购买量-统计分析

第69任务：第三章-2课程分析-17-课程购买量-使用NiFi将业务数据从数据仓库同步到MySQL

第70任务：第三章-2课程分析-18-课程购买量-集成测试-概述&NiFi调度数据清洗分析任务

第71任务：第三章-2课程分析-19-课程购买量-集成测试-联动配置&整流程测试

第72任务：第三章-3热门学科排名-01-需求分析

第73任务：第三章-3热门学科排名-02-业务报表系统字段分析

第74任务：第三章-3热门学科排名-03采集字段及存储分析

第75任务：第三章-3热门学科排名-04-NiFi采集用户选课数据&测试

第76任务：第三章-3热门学科排名-05-NiFi生产用户选课数据保存到MySQL&并进行实时采集

第77任务：第三章-3热门学科排名-06-用户选课DWD层字段说明&清洗分析

第78任务：第三章-3热门学科排名-07-用户选课-DWD代码-获取维度数据&用户选课原始数据

第79任务：第三章-3热门学科排名-08-用户选课-DWD代码-事实表数据封装&保存到数据仓库

第80任务：第三章-3热门学科排名-09-用户选课-DWD代码-测试清洗入库

第81任务：第三章-3热门学科排名-10-统计分析概述&课程分类维度采集

第82任务：第三章-3热门学科排名-11-统计分析-销售量-周-统计分析步骤

第83任务：第三章-3热门学科排名-12-统计分析-销售量-周-代码-获取周区间日期

第84任务：第三章-3热门学科排名-13-统计分析-销售量-周-代码-根据日期获取数据并计算涨幅

第85任务：第三章-3热门学科排名-14-统计分析-销售量-周-代码-维度关联&保存到数据仓库

第86任务：第三章-3热门学科排名-15-统计分析-销售量-周-代码-抽取工具类&测试入库

第87任务：第三章-3热门学科排名-16-统计分析-销售量-月-统计分析步骤及代码编写

第88任务：第三章-3热门学科排名-17-统计分析-销售量-月-测试入库

第89任务：第三章-3热门学科排名-18-统计分析-学生人数-周-统计分析步骤

第90任务：第三章-3热门学科排名-19-统计分析-学生人数-周-代码-获取周区间&获取数据&计算涨幅

第91任务：第三章-3热门学科排名-20-统计分析-学生人数-周-代码-维度关联&保存到数据仓库

第92任务：第三章-3热门学科排名-21-统计分析-学生人数-周-代码-抽取工具类&测试入库

第93任务：第三章-3热门学科排名-22-统计分析-学生人数-月-统计分析步骤&代码编写

第94任务：第三章-3热门学科排名-23-统计分析-学生人数-月-测试入库

第95任务：第三章-3热门学科排名-24-统计分析-销售额-周-统计分析步骤&代码编写

第96任务：第三章-3热门学科排名-25-统计分析-销售额-周-测试入库

第97任务：第三章-3热门学科排名-26-统计分析-销售额-月-统计分析步骤&代码编写

第98任务：第三章-3热门学科排名-27-统计分析-销售额-月-测试入库

第99任务：第三章-3热门学科排名-28-统计分析-使用NiFi将业务数据从数据仓库同步到MySQL

第100任务：第三章-3热门学科排名-29-集成测试-配置NiFi调度数据清洗分析任务

第101任务：第三章-3热门学科排名-30-集成测试-测试NiFi调度数据清洗分析

第102任务：第三章-3热门学科排名-31-集成测试-联动配置&测试

第103任务：第三章-3热门学科排名-32-集成测试-报表系统Web展示

第104任务：第四章-01-实时分析-学习目标

第105任务：第四章-02-实时分析-平台看板需求分析&实时分析应用场景

第106任务：第四章-03-实时分析-实时分析技术方案

第107任务：第四章-04-实时分析-指标与维度分析&数据存储分析

第108任务：第四章-05-实时分析-今日访问量-概述&数据采集

第109任务：第四章-06-实时分析-今日访问量-统计分析逻辑

第110任务：第四章-07-实时分析-今日访问量-代码-redis获取kafka的offset

第111任务：第四章-08-实时分析-今日访问量-代码-SparkStreaming获取kafka中的数据

第112任务：第四章-09-实时分析-今日访问量-代码-去重计算实时访问量&保存redis

第113任务：第四章-10-实时分析-今日访问量-代码-redis中保存当前offset进度

第114任务：第四章-11-实时分析-今日访问量-代码-测试

第115任务：第四章-12-实时分析-今日访问量-NiFi生产数据&测试

第116任务：第四章-13-实时分析-新增用户量-概述&数据采集

第117任务：第四章-14-实时分析-新增用户量-统计分析逻辑

第118任务：第四章-15-实时分析-新增用户量-代码-实时计算新增用户量

第119任务：第四章-16-实时分析-新增用户量-代码-测试

第120任务：第四章-17-实时分析-新增用户量-NiFi生产数据&测试

第121任务：第四章-18-实时分析-今日购买量-概述&数据采集

第122任务：第四章-19-实时分析-今日购买量-统计分析逻辑&代码

第123任务：第四章-20-实时分析-今日购买量-代码-测试

第124任务：第四章-21-实时分析-今日购买量-NiFi生产数据&测试

第125任务：第四章-22-实时分析-集成测试-NiFi调度配置

第126任务：第四章-23-实时分析-集成测试-测试&web展示

第127任务：第五章-01即时查询-学习目标

第128任务：第五章-02即时查询-需求分析&技术方案

第129任务：第五章-03即时查询-技术方案-代码演示-保存-代码

第130任务：第五章-04即时查询-技术方案-代码演示-保存-测试

第131任务：第五章-05即时查询-技术方案-代码演示-查询-代码&测试

第132任务：第五章-06即时查询-采集分析&存储分析

第133任务：第五章-07即时查询-数据采集-用户学习采集

第134任务：第五章-08即时查询-数据采集-课程视频维度采集

第135任务：第五章-9即时查询-统计分析-概述&步骤1统计逻辑&中间表介绍

第136任务：第五章-10即时查询-统计分析-步骤1：代码-获取原始数据

第137任务：第五章-11即时查询-统计分析-步骤1：代码-注册udf函数

第138任务：第五章-12即时查询-统计分析-步骤1：代码-关联相关维度&统计学习时长

第139任务：第五章-13即时查询-统计分析-步骤1：代码-测试

第140任务：第五章-14即时查询-统计分析-步骤2：概述

第141任务：第五章-15即时查询-统计分析-步骤2：代码

第142任务：第五章-16即时查询-统计分析-步骤2：测试

第143任务：第五章-17即时查询-统计分析-使用hbase注意事项

第144任务：第五章-18即时查询-统计分析-NiFi生产数据-配置

第145任务：第五章-19即时查询-统计分析-NiFi生产数据-测试&代码测试

第146任务：第五章-20即时查询-集成测试-配置

第147任务：第五章-21即时查询-集成测试-测试&web展示

第148任务：第六章-01系统集成测试-学习目标&概述

第149任务：第六章-02系统集成测试-代码重新打包-代码修改

第150任务：第六章-03系统集成测试-代码重新打包-上传NiFi容器

第151任务：第六章-04系统集成测试-NiFi采集-清洗-统计分析-概述&清理业务数据

第152任务：第六章-05系统集成测试-NiFi采集-清洗-统计分析-即时查询

第153任务：第六章-06系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程访问量

第154任务：第六章-07系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程购买量

第155任务：第六章-08系统集成测试-NiFi采集-清洗-统计分析-离线分析-热门学科排名

第156任务：第六章-09系统集成测试-NiFi采集-清洗-统计分析-实时分析

第157任务：第六章-10系统集成测试-NiFi采集-清洗-统计分析-web展示

第158任务：第七章-01项目就业指导-就业指导概述&项目功能模块

第159任务：第七章-02项目就业指导-技术构架&技术栈-1

第160任务：第七章-03项目就业指导-技术构架&技术栈-2

第161任务：第七章-04项目就业指导-数据仓库是如何设计的

第162任务：第七章-05项目就业指导-数据采集是如何实现的

第163任务：第七章-06项目就业指导-ETL是如何做的

第164任务：第七章-07项目就业指导-离线分析是如何实现的

第165任务：第七章-08项目就业指导-同比分析在项目的应用

第166任务：第七章-09项目就业指导-实时分析是如何做的

第167任务：第七章-10项目就业指导-如何从海量数据查询想的数据

第168任务：第七章-11项目就业指导-项目中任务调度是如何做的

SpringBoot、vue大数据统计分析系统项目智慧学成

第50任务： 第三章-1数据清洗-15-课程分析-课程访问量分析-集成测试-联动（清洗、统计分析、同步到业务库）

任务列表

第50任务：第三章-1数据清洗-15-课程分析-课程访问量分析-集成测试-联动（清洗、统计分析、同步到业务库）