电信运营商通话数据存储与查询大数据解决方案

时间:2017-06-11

xmhd.jpg

原价:2980   

购买请联系相关老师 QQ 1412213822 


课程介绍:

企业真实项目,让学生快速掌握企业大数据开发流程,帮助学生建立企业大数据应用思维,成为真正的企业级大数据应用开发工程师。

完全掌握本套教程内容,完全可以胜任目前企业的大数据开发岗位。


适合人群:

适合有一定大数据基础的学员,想通过项目来进一步提升的学员。


课程大纲

hadoop+hbase+flume+zookeeper实现电信级海量通话日志数据的存储,随机

访问与实时读写。通过hash技术对rowkey进行分析处理,解决hbase的热点问题,协同

coprocessor,解决系统的高吞吐量和查询负载问题以及如何避免中间结果导致通知风暴或

死递归问题,让同学们体验到大数据技术在企业中实战应用


1.整体架构分析

  hadoop体系架构与ha配置方案。

  hbase体系架构与ha配置方案

  flume实时收集架构方案。

  SSM实现前端web实现以及与后端HBase的交互架构方案。

  hive+oozie实现的周期任务调度。

  Spark streaming实现窗口化敏感词实时监控方案。


2.hbase中callLogs表的设计与实现。

  通话信息的内容分析与常用场景分析以及对rowkey的设计与实现。

  重点讲解盐析的原理与热点问题的解决。rowkey的设计原则与实战

  中的技巧。


3.协处理原理与应用实战讲解。

  被叫通话记录的设计思想讲解,以及通过协处理器方式实现callog日志主叫记录

  被主换位与同步写入。在callog是表中数据的存储序列与双向查询方方式的一致

  性透明结果处理。


4.Hadoop以及HBase的HA集群配置与实战。

  hadoop的使用QJM的高可用架构配置讲解,ResourceManager的高可用架构配置讲解。

  zookeeper的工作原理以及配置、实操演练,hbase与Hadoop HA集成注意事项以及客户端

  API编程细节处理。



第01章-01.通话记录系统架构分析

第01章-02.通话记录模拟生成程序

第01章-03.通话记录模拟生成程序生成jar部署到centos运行

第01章-04.部署数据生成程序到centos运行-编写执行脚本-生成测试数据

第01章-05.启动zk集群和kafka集群

第01章-06.创建kafka主题-并查看主体列表

第01章-07.创建flume配置文件-启动收集程序-F持续收集-从头收集

第01章-08.启动数据生成程序,查看数据收集状况

第01章-09.启动hadoop的hdfs集群-进行容灾切换-查看状态

第01章-10.启动hbase集群-双master节点做HA容灾处理-容器切换

第01章-11.创建hbase名字空间和表

第01章-12.编写HbaseDao实现数据的hbase写入-配置文件外部化-kafka消费者

第01章-13.编使用maven命令下载工件需要的所有第三方类库到指定目录下

第01章-14.导出消费者jar组织安装目录-编写运行脚本-执行程序

第01章-15.编写centos下的脚本-运行程序-查看消费数据

第01章-16.导入IDEA中其他模块到新项目中-调整配置

第01章-17.web项目集成-hbase数据查询展示

      

第02章-01.按照时间段查询通话记录

第02章-02.实现CallLogController查询页面和接受参数

第02章-03.编写jsp查询通话记录页面

第02章-04.查询时间段的通话记录分析

第02章-05.计算时间范围

第02章-06.实现范围时段查询

第02章-07.实现范围时段查询2

第02章-08.创建CallLog日志表的协处理器-完成被叫数据的保存

第02章-09.打包CallLog日志表的协处理器并进行部署-测试web程序

第02章-10.重写postGetOp方法,实现被叫查询返回主叫结果

第02章-11.web程序集成协处理器实现被叫查询返回主叫结果

第02章-12.重写CallLogRegionObserver的postScannerNext方法实现scan时数据的主被叫处理

    

第03章-01.启动yarn的集群-HA

第03章-02.启动hive-完成hive到hbase表映射-实现最近通话信息查询

第03章-03.SSM集成hive查询-交互与hiveserver2服务器-jdbc方式访问

第03章-04.SSM集成hive查询-修改pom依赖使用hive-jdbc-1.2.1依赖库

第03章-05.SSM集成hive-jdbc访问hiveser2时bug解决

第03章-06.通话记录增加名字信息

第03章-07.通话记录增加名字信息-准备数据

第03章-08.测试SSMWEB部分关联名字信息展示数据

第03章-09.修改物理内存和虚拟内存对MR的限制,否则Hive查询无法执行

第03章-10.使用Fastjson返回json的数据串-web集成ajax访问后台数据

第03章-11.集成jQuery库实现ajax访问-动态刷新通话记录

第03章-12.集成jQuery实现周期性刷新页面-javascript

第03章-13.全流程数据链演示

第03章-14.真正分布式配置指导

    

第04章-01.kafka存活时间设置

第04章-02.hive中substr的方法-按照年份统计指定人各月的通话次数

第04章-03.hive查询统计指标-controller实现

第04章-04.hive查询统计指标-jsp页面实现

第04章-05.linux awk命令批量按照java进程名称kill进程

第04章-06.ssh远程命令解决命令找不到-改造xcall.sh文件

第04章-07.编写管理脚本-hive查询统计结果数据

第04章-08.hive中查询所有用户的每个月的通话次数

第04章-09.ajax异步访问服务器中文数据乱码问题

第04章-10.使用echarts脚本库实现数据展现-柱状图

第04章-11.json数据后台查询-字符串处理-echart图表展示

第04章-12.使用ganglia进行集群监控-安装-注意事项-权限问题

第04章-13.yum源安装问题-cdh源使用

第04章-14.使用udp协议实现进程监控

第04章-15.使用udp协议实现接收方-发送方代码实现

第04章-16.使用udp协议实现接收方-发送方代码实现2


战略合作伙伴