2017年大数据三期完整版

时间:2017-06-04

原价:1698   

购买请联系相关老师 QQ 1412213822 


第1部分  Java

【IT十八掌徐培成】Java基础第1天

01.计算机基础

02.Java简介-DOS命令

03.环境变量

04.helloworld-classpath-javac-java



【IT十八掌徐培成】Java基础第2天

01.关键字-注释

02.补码原理-数据类型-计算法则

03.运算符


【IT十八掌徐培成】Java基础第3天

01.三元运算符

02.switch语句-while语句

03.for循环-break-continue-嵌套for


【IT十八掌徐培成】Java基础第4天

01.作业-空心三角形

02.函数-递归

03.数组

04.数组-冒泡排序

05.冒泡2-选择排序-折半查找



【IT十八掌徐培成】Java基础第5天

01.OOP-Stack-Heap

02.OOP2-成员变量-成员函数-封装

03.heap-stack

04.构造函数-构造代码块

05.this-static-构造函数


【IT十八掌徐培成】Java基础第6天

01.继承1

02.super-super()-对象内存中结构划分

03.final-内部类

04.abstrac


【IT十八掌徐培成】Java基础第7天

01.作业

02.接口

03.接口-多态.接口

04.多态2


【IT十八掌徐培成】Java基础第8天

01.作业-异常

02.异常定义-异常处理-trycatchfinally

03.异常定义-runtimeException

04.runtimeException2

05.package-权限修饰符-编译运行


【IT十八掌徐培成】Java基础第9天

01.作业

02.jar命令使用

03.jar使用2

04.Thread-yield

05.Thread-join-daemon

06.thread-同步代码块-同步方法


【IT十八掌徐培成】Java基础第10天

01.多线程-生产消费关系

02.多线程-生产消费关系-编程实现

03.多线程生产消费关系-死锁(wait时间片-notifyAll)

04.优先级-runnable-内部类-线程状态变换


【IT十八掌徐培成】Java基础第11天

01.作业

02.eclipse安装-使用

03.eclipse-junit-debug

04.String-构造-length

05.Charset-StringBuffer-StringBuilder


【IT十八掌徐培成】Java基础第12天

01.作业

02.进制转换-包装类

03.集合类-List-Collection

04.集合类-List-add-get-性能评测

05.集合类-equals方法


【IT十八掌徐培成】Java基础第13天

01.int与byte数组转换

02.HashSet-HashMap

03.HashSet-HashMap-原理-实现-遍历访问

04.TreeMap-TreeSet-对别器


【IT十八掌徐培成】Java基础第14天

01.作业

02.集合嵌套

03.io流

04.字符流FileReader-复杂文件字符处理问题

05.缓冲区流-BufferedReader-归档解档


【IT十八掌徐培成】Java基础第15天

01.作业

02.归档器

03.解归档器-文件名提取-追加文件到归档-测试类

04.设计模式-单例

05.设计模式-适配器-装饰模式

06.设计模式-Factory-builder

07.流的体系-File


【IT十八掌徐培成】Java基础第16天

01.作业

02.递归输出目录结构-复制文件夹

03.随机访问文件

04.java串行化-ObjectOutputStream-ObjectInputStream

05.java串行化-深度复制-ByteArrayInputStream-ByteArrayOutputStream

06.java GUI


【IT十八掌徐培成】Java基础第17天

01.作业-多线程加载文本编辑器

02.作业-tcpip-OSI-UDP-TCP

03.ServerSocket-端口绑定

04.ServerSocket-基于console发送消息

05.ServerSocket-服务器端多线程收发控制

06.URL-URI

07.多线程下载器(单条跟踪)


【IT十八掌徐培成】Java基础第18天

01.多线程下载改造

02.多线程下载改造2

03.多线程-暂停改造

04.多线程-断点续传

05.多线程-断点续传-元文件保存

06.Rose


【IT十八掌徐培成】Java基础第19天

01.QQ通信分析

02.QQ基础实现类

03.QQ消息解析-组装

04.QQ通信-server处理

05.QQ通信-client接受消息-好友列表

06.QQ通信-client实现-测试


【IT十八掌徐培成】Java基础第20天

01.私聊实现

02.私聊实现2

03.UDP协议

04.UDP屏幕广播


【IT十八掌徐培成】Java基础第21天

01.作业

02.屏广程序学生端实现

03.JDBC-MySQL安装

04.JDBC-SQL基础-JDBC介绍

05.JDBC应用-delete


【IT十八掌徐培成】Java基础第22天

01.jdbc-tx-保存点

02.jdbc-sql注入-批量插入

03.jdbc-操纵blob对象-pic-text

04.jdbc-操纵存储过程-函数


【IT十八掌徐培成】Java基础第23天

01.JDBC-mysql连接

02.JDBC-mysql分组-统计-聚集函数

03.JDBC-mysql事务隔离级别-并发现象

04.JDBC-mysql串行化隔离级别-悲观锁-乐观锁

05.JDBC-表级锁-连接池

06.JDBC-自定义连接池-c3p0-dbcp


【IT十八掌徐培成】Java基础第24天

01.JVM-1

02.JVM-jvisualvm-jconsole

03.JVM-参数调整

04.JVM-类加载过程

05.反射-Class-Method

06.反射-Field-基本类型-数组类型


【IT十八掌徐培成】Java基础第25天

01.内省

02.动态代理模式

03.反射-读取文件-动态构建对象

04.垃圾回收演示

05.堆内存-bytebuffer


【IT十八掌徐培成】Java基础第26天

01.NIO-ServerSocketChannel-SocketChannel-Selector

02.NIO-ServerSocketChannel-2

03.NIO-ServerSocketChannel-3


【IT十八掌徐培成】Java基础第27天

01.MappedByteBuffer-GoogleProtoBuf

02.ProtoBuf使用

03.ProtoBuf和java串行化对比

04.java知识总结

05.java知识总结2



第二部分  Linux

Linux第01天

01.vmware安装-centos安装

02.CentOS基本命令


Linux第02天

01.centos命令基础

02.centos命令-文件类型-权限

03.centos网络连接模式-虚拟网络编辑

04.centos网路配置-域名解析-光驱挂载

05.centos虚拟机增强工具的安装-文本模式的安装


Linux第03天

01.符号连接-sudoers

02.进程查看-主机名-dirname-basename-磁盘分区

03.hostname-hosts-useradd-userdel

04.nc

05.nc传输文件-centosmin安装


Linux第04天

01.CentOS-yum源修改-yum命令

02.CentOS-iso文件制作

03.CentOS-min版虚拟机增强


第三部分  Hadoop

Hadoop第01天

01.大数据介绍

02.hadoop介绍-jdk安装

03.hadoop安装-配置(独立模式-伪分布)


Hadoop第02天

01.伪分布式启动-fs格式化-webui

02.完全分布式-准备工作-虚拟机克隆

03.完全分布式-搭建

04.完全分布式-调错2

05.完全分布式-编写脚本-xcall-xsync


Hadoop第03天

01.脚本分析-单个进程启动

02.hdfs常用操作

03.hadoop基础-hdfs-block

04.hadoop API-网络拓扑


Hadoop第04天

01.maven初始

02.maven私服搭建-archetype使用

03.eclipse配置maven-使用maven项目-源代码关联

04.hdfs块设置-最小块设置-副本指定

05.hdfs写入过程剖析


Hadoop第05天

Hadoop第05天-01.hadoop hdfs写入rose时序图分析

Hadoop第05天-02.hadoop hdfs写入rose时序图分析2

Hadoop第05天-03.hadoop hdfs写入rose时序图分析3

Hadoop第05天-04.hadoop hdfs写入rose时序图分析4

Hadoop第05天-05.hadoop hdfs写入rose时序图分析5

Hadoop第05天-06.hadoop机架感知


Hadoop第06天

Hadoop第06天-01.机架感知-fileStatus-文件归档-distcp

Hadoop第06天-02.校验和处理-忽略校验和

Hadoop第06天-03.文件压缩-解压缩

Hadoop第06天-04.综合文件压缩-解压缩测试

Hadoop第06天-05.Centos7 snappy-lzo


Hadoop第07天

Hadoop第07天-01.解决Snappy和lzo压缩编解码器

Hadoop第07天-02.压缩编解码性能比对

Hadoop第07天-03.hadoop串行化writable

Hadoop第07天-04.hadoop串行化ObjectWritable-ArrayWritable

Hadoop第07天-05.hadoop rawcomparator-avro


Hadoop第08天

Hadoop第08天-01.hadoop avro串行化

Hadoop第08天-02.hadoop sequencefile


Hadoop第09天

Hadoop第09天-01.hadoop mapfile读写

Hadoop第09天-02.hadoop管理-安全模式-编辑日志-镜像文件查看-名字空间保存-日志滚动

Hadoop第09天-03.配额管理-多目录设置

Hadoop第09天-04.回收站-快照管理-均衡器

Hadoop第09天-05.数据节点服役和退役


Hadoop第10天

Hadoop第10天-01.MR原理介绍

Hadoop第10天-02.最高气温MR实现以及运行

Hadoop第10天-03.word count分析

Hadoop第10天-04.MR细节

Hadoop第10天-05.MR-Combiner


Hadoop第11天

Hadoop第11天-01.MR Local作业剖析

Hadoop第11天-02.MR Local作业剖析2

Hadoop第11天-03.MR切片计算法则-分析

Hadoop第11天-04.eclipse远程调试

Hadoop第11天-05.eclipse远程调试完全分布式作业提交过程

Hadoop第11天-06.Hadoop RPC-IPC


Hadoop第12天

Hadoop第12天-01.使用nc跟踪mr作业执行情况

Hadoop第12天-02.mr切片原理考察

Hadoop第12天-03.map磁盘溢出-分区-数据倾斜


Hadoop第13天

Hadoop第13天-01.数据倾斜-inputformat

Hadoop第13天-02.自定义数据格式-wholeInputFormat

Hadoop第13天-03.SeqFileFormat-MultipleInputs-KeyValueInputFormat

Hadoop第13天-04.DBInputFormat


Hadoop第14天

Hadoop第14天-01.hadoop outputformat

Hadoop第14天-02.DBOuputformat-counter计数器-排序1

Hadoop第14天-03.hadoop全排序

Hadoop第14天-04.hadoop全排序2


Hadoop第15天

Hadoop第15天-01.全排序-二次排序

Hadoop第15天-02.二次排序2

Hadoop第15天-03.join-map端join-分布式缓存

Hadoop第15天-04.join-reduce端连接

Hadoop第15天-05.join-reduce端连接2


Hadoop第16天

Hadoop第16天-01.mapreduce reduce端连接


第四部分 Hive

Hive第01天

Hive第01天-02.hive介绍-安装

Hive第01天-03.hive介绍-mysql元数据存储

Hive第01天-04.hive介绍-基础

Hive第01天-05.hive介绍-基本操作


Hive第02天

Hive第02天-01.外部表-分区表

Hive第02天-02.动态分区表

Hive第02天-03.beeline客户端连接-hiveserver2

Hive第02天-04.beeline 外联接操作-beeline客户端访问


Hive第03天

Hive第03天-01.map端连接-reduce个数指定-全排序-部分排序

Hive第03天-02.桶表-采样

Hive第03天-03.索引-

Hive第03天-04.优化-本地模式-JVM(Uber)重用-并发执行

Hive第03天-05.优化-数据倾斜-分析统计内容analyze


Hive第04天

Hive第04天-01.hive事务支持-复杂类型-array

Hive第04天-02.hive集合类型-array-struct-map-explode-wc实现

Hive第04天-03.hive ncdc气温统计hive实现-自定义udf函数


第五部分 Hbase

Hbase第01天

Hbase第01天-01.hbase简介-安装

Hbase第01天-02.hbase伪分布式


Hbase第02天

Hbase第02天-01.hbase zk外部化配置-进程命令管理

Hbase第02天-02.hbase命令使用

Hbase第02天-03.hbase Client API

Hbase第02天-04.hbase Client API调试2

Hbase第02天-05.hbase架构分析


Hbase第03天

Hbase第03天-01.表切割-区域切割

Hbase第03天-02.WAL-快照

Hbase第03天-03.版本数-按照时间戳范围扫描-raw扫描

Hbase第03天-04.count-批量插入

Hbase第03天-05.过滤器


Hbase第04天

HBase第04天-01.过滤器组合使用-coprocessor

HBase第04天-02.coprocessor-RegionObserver

HBase第04天-03.VERSIONS-MINVERSIONS-TTL-KEEPDELETECELL-预切割

HBase第04天-04.hbase hive集成


Hbase第05天

Hbase第05天-01.yarn资源调整

Hbase第05天-02.kundera-JPA

Hbase第05天-03.phoenix安装-命令使用

Hbase第05天-04.phoenix view

Hbase第05天-05.NN HA配置

Hbase第05天-06.hadoop NN自动容灾


Hbase第06天

Hbase第06天-01.RM HA

Hbase第06天-02.HBase Master HA配置


第六部分 ZooKeeper

zk第01天

zk第01天-01.zk简介-安装

zk第01天-02.zk cli API

zk第01天-03.zk CLI API

zk第01天-04.zk watcher-代码分析

zk第01天-05.zk 伪分布式集群

zk第01天-06.zk安全分布式集群



第七部分 Pig

Pig第01天

Pig-01.介绍-安装

Pig-02.基本操作

Pig-03.过滤-连接-分页-排序

Pig-04.avg-count-size



第八部分 Sqoop

Sqoop-01.sqoop-安装-使用

Sqoop-02.sqoop-export-import

Sqoop-03.Sqoop导入数据到hive和hbase


第九部分 Flume

flume第01天

01.flume安装-配置

02.flume安装-配置2

03.flume-avrosource-exec-spooldir-zk存储conf


flume第02天

flume第02天-01.hdfssink-hivesink

flume第02天-02.hivesink

flume第02天-03.avrosink-hop-远程调试-源代码查看

flume第02天-04.FileChannel-SpillMemoryChannel

flume第02天-05.通道选择器-replicating-multiplexing


第十部分 kafka

第01天 kafka

Kafka-01.集群考察

Kafka-02.zk节点上kafka数据排布

Kafka-03.kafka分区和副本

Kafka-04.sed编辑器

Kafka-05.消费者偏移量

Kafka-06.自定义消费者-生产者-带分区生产者


第02天 kafka

kafka-01.flume集成kafka-sink集成

kafka-02.flume集成kafka-source集成-channel集成


第十一部分 Scala

第01天 Scala

Scala-01.函数def-递归-变长参数-默认参数-命名参数

Scala-02.构成-延迟初始化-异常-定长数组-变长数组

Scala-03.数组-变长数组-Array-ArrayBuffer-操纵数组

Scala-04.类-集合-元组-对偶-map

Scala-05.构造-辅助构造-object-伴生对象


第02天 Scala

01-Scala包-继承-抽象-重写

02-Scala-idea插件-项目

03-IDEA操纵文件-进程访问

04-特质-操作符-中置操作符-右结合-左结合

05-高阶函数

06-高级函数-参数-返回值是函数


第03天 Scala

01-.高级函数-map-foreach

02-.高级函数-reduceLeft

03-.高级函数-柯里化

04-柯里化-控制抽象

05-调用函数-集合

06-折叠-化简avi

07-zipWithIndex-for循环


第04天 Scala

01-stream-lazyview-par计算-java互操作性

02-模式匹配-集合-正则

03-样例类-样例对象-模式匹配

04-Option-Some-None-PartialFunction

05-泛型-上下界-型变-逆变

06-单例-投影-通配-类型约束


第05天 Scala

01-隐式转换

02-隐式参数-隐式值-type别名

03-akka-介绍-安装

04-akka-pi值计算-运行

05-akka-activator-ui创建项目-导入项目


第06天 Scala

01-akka源代码1

02-akka源代码2

03-akka流程图3

04-akka-术语-Pi计算

05-akka-sbt-ide


第十二部分Spark

Spark第01天

01-idea的akka项目配置处理-wc实现

02-idea的word count实现

03-idea的远程访问

04-spark安装-基础

05-spark库模型-take-count-collect

06-spark脚本分析


Spark第02天

01-spark RDD介绍

02-spark WordCount Java实现和scala实现

03-spark WordCount Java实现和scala实现2

04-spark源代码跟踪-textFile

05-spark源代码_DAG调度器分析

06-spark源代码_DAG调度器分析2


Spark第03天

01-Spark job提交源代码考察

02-Spark本地并发度设置

03-Spark分区切片计算

04-Spark job提交过程分析

05-Spark job提交过程分析2


Spark第04天

01-Spark提交作业图形化

02-Spark提交作业2

03-Spark提交作业3


Spark第05天

spark第05天-01.提交作业过程回顾分析

spark第05天-02.提交作业过程回顾分析2与完全分布式下的wc程序

spark第05天-03.多玩密码分析-first-take

spark第05天-04.RDD常见操作


Spark第06天

Spark第06天-01.RDD操作-分区-再分区-cache-persist-持久化

Spark第06天-02.RDD存储级别-抽象描述

Spark第06天-03.RDD map分区-协分组-distinct-union

Spark第06天-04.RDD分区凝聚-再分区-共享变量

Spark第06天-05.广播变量-累加器-rdd广播两变量方式应用


Spark第07天

Spark第07天-01.DAG图-SparkSQL初步

Spark第07天-02.SparkSQL-DF编程

Spark第07天-03.SparkSQL-DF编程聚合

Spark第07天-04.SparkSQL-DataFrameAPI-类SQL-聚合函数

Spark第07天-05.SparkSQL-DataFrameAPI-word count-嵌套子查询

Spark第07天-06.SparkSQL-DataFrame-DataSet-聚合-多数据源-catalog


Spark第08天

01.rdd.toDF问题-dataframe数据输出打印问题

02.Spark SQL读取外部mysql数据

03.Spark SQL将DataFrame写入外部mysql数据与外部脚本化操作

04.Spark SQL将DataFrame API编程完成jdbc访问

05.Spark SQL访问Hive操作

06.Spark SQL访问Hive介绍与准备工作

07.Spark SQL作为分布式查询引擎进行访问

08.Spark Stream计算介绍

09.Spark Stream计算实现word count

10.Spark Stream计算word count集群上运行

11.Spark Stream 文档解读


Spark第09天

01.Spark Streaming FileStreaming

02.Spark Streaming集成kafka

03.Spark Streaming集成flume

04.Spark+Kafka+flume整合

05.Spark streaming windows化操作

06.Spark streaming 中应用DataFrame操作

07.Spark streaming 中应用DataFrame操作2


Spark第10天

01.机器学习-监督学习

02.机器学习-非监督学习

03.机器学习-mahout介绍

04.机器学习-mahout推荐案例

05.机器学习-mahout推荐系统rose图分析

06.机器学习-mahout推荐程序源代码查看

07.机器学习-mahout皮尔森关联相似度代码考察

08.机器学习-mahout最近N个用户近邻类

09.机器学习-mahout Cluster聚类准备工作

10.机器学习-mahout自带cluster-reuters.sh案例

11.机器学习-mahout路透社案例-reuters.sh脚本分析-关键步骤提取处理


Spark第11天

01.Pearson和cosine关联相似度公式推导过程

02.mahoutcanopy聚类

03.朴素贝叶斯公式原理

04.mahout贝叶斯分类

05.Spark机器学习介绍

06.Spark机器学习-红酒质量预测

07.Spark机器学习-红酒线性回归分析简化

08.Spark机器学习-白酒逻辑回归


Spark第12天

01.Spark spamFilter机器学习

02.Spark spam filter API编程实现

03.Spark Word2Vec

04.Spark Word2Vec-2


Spark第13天

05.Spark graphx基本概念-案例

06.Spark graphx基本操作

07.Spark graphx基本操作2

08.Spark graphx边映射-航空旅游价格处理案例

09.Spark图计算应用


第十三部分 R语言基础

R第01天

Spark第14天01.R生成散点图-attach关联变量

Spark第14天02.R数据输入-edit文本框

Spark第14天03.R数据从xslx文件读取数据

Spark第14天04.RMysql读取数据

Spark第14天05.R常用函数

Spark第14天06.R折线图-饼图

Spark第14天07.R轴参数-柱状图

Spark第14天08.R centos安装R-图片生成与保存

Spark第14天09.SparkR的使用-json-图片-数据框转换

Spark第14天10.SparkR常见数据框操作-API


R第02天

Spark第15天01.sparkmaster模式之yarn-部署模式client与cluster


第十四部分 Storm基础

Storm第01天

01.storm简介-术语

02.storm安装-配置

03.storm编程Toplogy-Spout-Bolt-App

04.storm编程App调试分析

05.storm Topology完全分布式提交处理

06.storm Topology完全分布式配置指导


Storm第02天

01.Storm完全分布式部署

02.Storm并发度设置以及测试

03.Storm再平衡

04.Storm任务分组-shuffle-global-all-fields-custom

05.Storm消息的可靠性处理

06.Storm集成kafka


第十五部分 Redis基础

01.redis安装和测试

02.redis String类型操作

03.redis hash-list操作

04.redis api操纵redis-保护模式关闭

04.redis set-sortedset

05.redis 事务处理

06.redis发布订阅模式(API编程)

07.redis集群配置(伪分布模式)

08.redis集群配置(测试)


第十六部分 项目

项目第01天

第01天-01.项目阐述

第01天-02.项目在idea中的初始化

第01天-03.项目在model创建和hibernate类库引入以及配置

第01天-04.项目Spring依赖项引入与spring配置文件与c3p0数据源配置

第01天-05.测试数据源和连接

第01天-06.编写Dao接口和基本实现类

第01天-07.编写Service和基本service实现

第01天-08.编写Service与beans配置-事务管理回顾-jvm结构回顾

第01天-09.编写tx事务管理

第01天-10.编写webmvc部分代码-controller程序


项目第02天

第02天-01.idea的web项目库配置-类找不到问题

第02天-02.idea的web中用户注册于登录

第02天-03.idea的web中完善User信息-验证注册过程

第02天-04.idea的web用户信息显示

第02天-05.web程序的用户编辑和修改

第02天-06.web nginx服务器centos安装启动停止


项目第03天

第03天-01.集群上安装tomcat

第03天-02.配置win7 nginx反向代理&centos nginxweb服务器配置

第03天-03.配置nginxweb服务器的日志格式以及切割注意事项

第03天-04.配置pom.xml项目打成war与war插件依赖设置

第03天-05.web项目打包成war在tomcat集群上进行分发

第03天-06.通过反向代理服务器访问web静态资源-查看日志记录情况

第03天-07.通过apache ab测试软件模拟高并发访问产生大量的日志信息

第03天-08.数据收集模式分析-flume-kafka模式收集

第03天-09.nginx实现logs滚动


项目第04天

第04天-01.flume+kafka集成-flume日志收集

第04天-02.kafka集群配置

第04天-03.kafka消费者编程-hdfs启动

第04天-04.web项目中使用curl标签部署web项目到tomcat集群

第04天-05.测试hdfs单元测试-读取hdfs文件数据

第04天-06.hdfs写入-工具类-日志解析格式处理

第04天-07.hdfs输出流池化处理


项目第05天

第05天-01.数据输出流池化以及优化处理(重用)

第05天-02.池化模式测试数据存储

第05天-03.使用TimerTask实现流池中的流周期性关闭

第05天-04.使用cron调度周期性添加hive分区表

第05天-05.导出消费者成jar到centos运行

第05天-06.hive清洗消费者

第05天-07.hive清洗消费者测试清洗过程


项目第06天

第06天-01.Hive使用load加载数据并进行数据topN统计

第06天-02.使用sqoop将Hive统计算出的结果导出到mysql

第06天-03.编写hive脚本和bash脚本实现统计数据的处理和导出

第06天-04.编写bash脚本动态等成hive脚本并执行批处理任务

第06天-05.前端读取mysql存放的统计生成图表

第06天-06.用户推荐系统处理-web部分

第06天-07.spark模型训练与模型存储与外部推荐系统集成

第06天-08.spark推荐


战略合作伙伴