¥面议
课程简介:大数据工程师
课程详情 2022-10-22 15:07
万和大数据课程体系
课程设置无缝对接企业用人需求,万和四个月,胜读四年书
大数据基础
1.什么是大数据?-大数据概念;2.大数据主要分类类型;3.大数据和普通数据的区别;
大数据现状
1.现有企业应用场景;2.大数据生态圈介绍;
群组讨论
1."自我定义的大数据"-群组讨论;2.学员技能摸底,情况归档;
Linux基础
Linux基本命令解析
1.熟悉Linux历史背景;2.了解Linux基本命令;
虚拟机-Centos安装
1.安装虚拟机;2.安装Mvn,Jdk等工具
Zookeeper
Zookeeper熟悉和用途综述
1.Zookeeper介绍2.Zookeeper基础知识3.体系结构4.数据模型
Zookeeper环境搭建
1.集群搭建和测试2.命令行客户端操作3.Stat
Zookeeper开发
1.Watches、Node详解2.API介绍3.Java Client开发4.实战内容(现场实验环节)
Zookeeper集群搭建、 命令行Client操作
1.Zookeeper 节点类型与体系结构2.Zookeeper Watch3.Zookeeper 与 HBase 的关系4.Zookeeper 更新Server 实例实现5.Zookeeper 分布式锁
Hbase数据库
Hbase熟悉和用途综述
1.Hbase介绍2.Hbase基础知识3.体系结构4.数据模型
Hbase环境搭建
1.集群搭建和测试2.命令行客户端操作3.Stat
Hbase开发
1.Hbase增删改查2.Hbase的基础get,scanner等命令
Hadoop
hadoop的前世今生
1.大数据背景及hadoop出现的契机2.hadoop概述3.hadoop生态系统4.hadoop分布式文件系统HDFS5.hadoop计算框架MapReduce6.hadoop版本发展历史7.hadoop行业应用案例分析8.hadoop与云计算和大数据的关系
hadoop的前世今生
1.hadoop 核心组件简单介绍2.hadoop 部署角色简单介绍3.hadoop 试验集群的部署结构4.hadoop 安装依赖关系5.hadoop 生产环境的部署结构6.hadoop 集群部署7.hadoop 高可用配置方法8.hadoop 集群简单测试方法9.hadoop 集群异常debug方法
hadoop YARN架构设计和核心概念
1.YARN的出现的背景2.YARN的设计思想和背景3.YARN的基础架构4.YARN的工作流程5.YARN的基础类库详解6.YARN的核心模块ApplicationMaster详解7.YARN的核心模块ResourseManager剖析8.YARN的核心模块NodeManager详解9.YARN 资源调度器详细介绍
Spark
Spark的发展历程
1.大数据背景及sPARK出现的契机2.Spark概述3.Spark生态系统4.Spark核心组件原理和架构5.Spark分布式文件系统HDFS6.Spark计算核心算法7.Spark部署角色8.Spark版本发展历史9.Spark行业应用案例分析
安装Spark
1.Spark 核心组件简单介绍2.Spark 部署角色简单介绍3.Spark 试验集群的部署结构4.Spark 安装依赖关系5.Spark 生产环境的部署结构6.Spark 集群部署7.Spark 高可用配置方法8.实战内容(现场实验环节)
Spark 部署模式剖析
1.Spark的工作流程2.Spark的多种调度模式区别3.Spark的调度通信机制
Spark 高级编程,Spark Streaming高级编程
1.Spark 核心API介绍2.Suffle 算法介绍3.Spark异常回滚机制介绍4.Spark Sql剖析5.Spark Streaming剖析6.Spark RDD剖析7.实战内容(现场实验环节)
Spark 及Spring搭配
1.Spark和Spring集成2.实战内容(现场实验环节)
Spark编程模型及调优
1.Spark编程模型及调优2.实战内容(现场实验环节)
storm
Storm基础知识
1.包括storm基本概念2.storm应用场景3.应用现状和发展趋势4.storm与hadoop的区别
Storm的架构与原理
1.Nimbus进程与Supervisor进程2.storm集群环境搭建3.zookeeper集群的搭建4.storm配置文件配置项讲解5.storm常用组件和编程API6.Topology、Spout、Bolt、Storm分组策略7.(Stream Groupings)8.storm项目maven环境的搭建9.实战内容(现场实验环节)
storm可靠性机制
1.消息处理的含义2.storm的ack/fail机制3.storm如何保证可靠性4.storm如何实现可靠性
storm高并发策略
1.工作进程、执行器与任务的区别2.配置topology的并行度3.topology实例4.如何改变运行中topology的并行度
流分组
1.什么是流分组2.6种不同的流分组方式
组件详解
1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类
storm批处理事务处理
1.storm批处理详解2.storm事务工作原理深入讲解3.storm事务相关API详解4.storm事务案例分析5.storm分区事务与不透明分区事务
Kafka
kafka概述
1.kafka是什么:kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。2.kafka的应用场景3.kafka的体系架构与设计原理
kafka的安装部署
1.kafka集群环境的搭建2.kafka配置项的配置与讲解3.分布与订阅的原理4.分布与订阅的接口
kafka使用zookeeper进行协调管理
1.zookeeper在kafka中的作用2.zookeeper如何进行协调管理