大连中山区Java大数据软件工程师班哪家专业
大连迪派教育:每周不同课程的培训、涉及计算机、微信营销、外语、会计、拓展等各各个方面;迪派教育开设PHP网站后台开发(Webstrom、Html、div、CSS、JS、JQ、PHP、SQL数据库等);Java软件开发;
大连学习java+大数据,可从事哪些方面呢?
课程大纲
Zebra 项目实战
"NIO 入门、Buffer、Channel_Selector、NIO 通信实现、NIO 粘包问;
序列化实现 RPC、GoogleProtobuf 实现 RPC、BlockingQueue、Concurrent;
Zebra 项目介绍、单机实现 Zebra、Zebra 文件收集;
Zebra 数据收集、Zebra 网络模块开发、ZebraRPC 实现、二级引擎开发 _ 一级引
擎测试、二级引擎开发 _ 数据聚合 _ 数据持久化、多机演示、ZooKeeper 在 Zebra
中的应用。"
Hadoop
基于 Hadoop 的 RPC 通信机制、Hadoop 的配置;Hadoop 的启动、
shell 脚本操作 HDFS、Java API 操作 HDFS、HDFS 的 CRUD 的原理;
SecondaryNameNode、MapReducer 的概念、MapReducer 之 WordCount;
解析电信流量实例:Sort、Partition、Combiner;InputFormat、Split 组件、
RecordReader、RecordWrite 组件
跨Split的数据处理、Hadoop的性能统计工具Counter、Hadoop小文件的处理方式。
电商数据分析
Hive、Pig、Flume、Sqoop、Ooize、电商项目数据分析。
Scala 语言
1) scala 表达式,def 定义方法,如何返回值,Unit 类型,函数的定义,函数与方
法的区别,函数的本质;2)class,object 定义,继承,trait 语法,实现原理,case
class,match case 语法,偏函数,闭包,Currying 化,StringContext,Option
Some None,Tuple;3) 集合方法和运算,隐式参数,隐式转换,future 对象
同步处理和异步处理返回结果,并发集合,串行 future 结果,并行 future 结果。
Spark
1) SparkCore:单机 Spark,Spark-shell 的使用,Spark-submit 提交应用,
RDD,RangePartitioner 和 HashPartitioner,优选位置(数据本地化),全依赖、
部分依赖,函数,调试工具类;
2)RDD 的常见高阶函数,Action 方法,cache,persist,coalesce,
reparation,cartesian;
3)DataFrame,Colume,列式存储,注册临时表,创建长期表,使用 sqlContext
执行查询,缓存中间结果,分区处理,数据落地,与 Hive 结合;
4)创建 DStream,流式 WordCount,有状态 DStream;
5)窗口 DStream,Transform,Spark 的优化手段,以及相关的配置参数,Spark案例应用。
课程特色
基础薄弱学习
拒绝只讲几天C语言,不注重编程基础教学;拒绝只讲简单编程。C、C++、0C语言的学习,iOS框架系统、应用、游戏开发学习。
教学方式
拒绝培养**型软件开发人员;拒绝只知语言基础不会做项目软件开发。语言基础+大型项目实战相结合,近30组软件商业级项目。
更多培训课程,学习资讯,课程优惠等学校信息,请进入大连迪派教育网站详细了解,免费咨询电话:400-998-6158