您好!欢迎来到搜库源码网!本站资源24小时自动发货,请放心购买,有问题请提交工单!
搜库源码网 精品源码
广告!请自辨真伪
广
广告!请自辨真伪
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
广
这是广告!真假请自辩!
也想出现在这里?联系我们
也想出现在这里?联系我们
这是广告!真假请自辩!
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
广
广告!请自辨真伪
广
吴超Hadoop7天视频教程(基于CZ7天hadoop课程) 最后编辑:2019-01-25 10:43:09

吴超Hadoop7天视频教程(基于CZ7天hadoop课程)

2019-01-25 10:43:09 大数据时代 已浏览2163次 我要投稿 您当前为普通用户
搜库网广告招租
广
特别提示:源码100%完整,但我们不免费提供任何技术咨询。小白请慎重下单!
搜库网广告招租
广

资源文字介绍:

    吴超Hadoop7天视频教程(基于CZ7天hadoop课程)

    本课程是在传智7天hadoop课程基础上拓展的。限于传智只有我一人讲课,课程排不开,只有7天,实在太少,我打算通过YY讲学的内容更多,

    把自己想讲的一些内容加进去.课程只多,不会少.

    课程中会贯穿一个电信项目的例子讲个各个知识点。最后会用黑马论坛日志作为项目讲述。本次课程不加入特别综合的大型的hadoop项目。

    适用人群:hadoop零基础,或者转行做hadoop的人士。

    预期目标:通过该课程的学习,我期望达到以下三个目标:

    1、对hadoop、zookeeper、hbase、hive、sqoop、flume、pig的理论体系有个系统掌握,对核心知识能够掌握;阅读市面上的各种图书和各种文章不再有困难;

    2、能够在linux环境搭建hadoop、hbase等的伪分布和分布模式,进入公司后可以自己搭建环境;

    3、能够使用java语言、shell命令行两种方式操作hadoop、zookeeper、hbase、hive、sqoop等,进入公司可以直接上手工作,不需要二次培训。

    课程时长:初级班414分钟,中级班408分钟,高级版322分钟,项目实战221分钟。总课时1365分钟,是全国hadoop网络培训课时最长的。

    试听视频:可以从超人学院官网下载,下载地址是:http://www.crxy.cn/channel/videodown

    培训效果:吴超老师是传智的北京、上海、广州校区和黑马程序员的唯一hadoop讲师。通过在20多个班级、大约1000小时的讲课时长的磨练,本课程已经非常适合零基础入门和提高,能够让仅具有java基础的大学毕业生可以上手工作。

    课程安排:

    01) Linux基础操作

    本节讲解linux基础操作,主要是在命令行下进行文件系统的操作,这是hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容。

    02) 搭建伪分布实验环境

    本节是最基本的课程,属于入门级别,主要讲述在linux单机上面安装hadoop的伪分布模式,在linux集群上面安装hadoop集群。对于不熟悉linux的同学, 课程中会简单的讲解常用的linux命令。这两种是必须要掌握的。通过现在的教学发现,很多同学并不能正确的配置集群环境。

    知识点简单罗列:

    Ø Hadoop概念、版本、历史

    Ø Hadoop和核心组成介绍及hdfs、mapreduce体系结构

    Ø Hadoop的集群结构

    Ø Hadoop伪分布的详细安装步骤

    Ø 如何通过命令行和浏览器观察hadoop

    03) 介绍HDFS体系结构及shell、java操作方式

    本节是对hadoop核心之一——hdfs的讲解。hdfs是所有hadoop操作的基础,属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中,我们会讲述hdfs的体系结构,以及使用shell、java不同方式对hdfs的操作。在工作中,这两种方式都非常常用。学会了本节内容,就可以自己开发网盘应用了。在本节学习中,我们不仅对理论和操作进行讲解,也会讲解hdfs的源代码,方便部分学员以后对hadoop源码进行修改。最后,还要讲解hadoop的RPC机制,这是hadoop运行的基础,通过该节学习,我们就可以明白hadoop是怎么明白的了,就不必糊涂了,本节内容特别重要。

    知识点简单罗列:

    Ø Hdfs体系结构详述

    Ø NameNode、DataNode、SecondaryNameNode体系结构

    Ø 如果保证namenode的高可靠

    Ø Datanode中block的划分原理和存储方式

    Ø 如何修改namenode、datanode数据存储位置

    Ø 如何使用命令行操纵hdfs

    Ø 如何使用java操作hdfs

    Ø 介绍rpc机制

    Ø 通过查看源码,知晓hadoop是建构在rpc之上的

    Ø 通过查看hdfs源码,知晓客户端是如何与Namenode通过rpc通信的

    04) 介绍MapReduce体系结构及各种算法(1)

    本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop的核心,是以后各种框架运行的基础,这是必须掌握的。在本次讲解中,掌握mapreduce执行的详细过程,以单词计数为例,讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型,并使用自定义类型实现电信日志信息的统计。

    知识点简单罗列:

    Ø Mapreduce原理

    Ø Mapreduce执行的八大步骤

    Ø 详细讲述如何使用mapreduce实现单词计数功能

    Ø 详细讲述如何覆盖Mapper功能、如何覆盖Reducer功能。在各种hadoop认证中,这是考察重点

    Ø 详细讲述hadoop的自定义类型Writable接口

    Ø 通过电信上网日志实例讲述如何自定义hadoop类型

    Ø 通过源码讲述hadoop是如何读取hdfs文件,并且转化为键值对,供map方法调用的

    05) 介绍MapReduce体系结构及各种算法(2)

    本节继续讲解mapreduce,会把旧api的用法、计数器、combiner、partitioner、排序算法、分组算法等全部讲解完毕。通过这两次课程学习,学员可以把整个mapreduce的执行细节搞清楚,把各个可扩展点都搞明白。本节内容在目前市面可见的图书、视频中还没有发现如此全面的哪。

    知识点简单罗列:

    Ø 讲解新旧api的区别,如何使用旧api完成操作

    Ø 介绍如何打包成jar,在命令行运行hadoop程序

    Ø 介绍hadoop的内置计数器,以及自定义计数器

    Ø 介绍了合并(combiner)概念、为什么使用、如何使用、使用时有什么限制条件

    Ø 介绍了hadoop内置的分区(partitioner)概念、为什么使用、如何使用

    Ø 介绍了hadoop内置的排序算法,以及如何自定义排序规则

    Ø 介绍了hadoop内置的分组算法,以及如何自定义分组规则

    Ø 介绍了mapreduce的常见应用场景,以及如何实现mapreduce算法

    06) 介绍Hadoop集群

    hadoop就业主要是两个方向:hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的,主要讲述集群管理的知识。

    知识点简单罗列:

    Ø 如何搭建hadoop集群

    Ø 如何动态增加hadoop从节点

    Ø 如何动态修改hdfs的副本数

    Ø 如何使用一些常用管理命令

    Ø 如何理解安全模式

    Ø 如何查看日志等

    07) 介绍zookeeper操作

    本节内容与hadoop关系不大,只是在hbase集群安装时才用到。但是,zookeeper在分布式项目中应用较多。

    知识点简单罗列:

    Ø Zookeeper是什么

    Ø 搭建zookeeper集群环境

    Ø 如何使用命令行操作zookeeper

    Ø 如何使用java操作zookeeper

    08) 介绍HBase体系结构及基本操作

    hbase是个好东西,在以后工作中会经常遇到,特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装,讲解基本理论和各种操作。我们通过对hbase原理的讲解,让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构,这是hbase优化的重点。

    知识点简单罗列:

    Ø Hbase是什么

    Ø Hbase数据模型

    Ø Hbase存储模型

    Ø Hbase的命令行操作

    Ø Hbase的java操作

    Ø 如何使用mapreduce向hbase批量导入数据

    09) 介绍pig操作

    Pig是另一套hadoop处理大数据的方法,底层调用的是mapreduce,但是入门的门槛低,书写自由灵活,书写效率与java代码相比非常高,在企业中有较多应用。本节hadoop讲解pig的理论、操作。

    知识点简单罗列:

    Ø Pig是什么

    Ø Pig的数据类型、操作

    Ø 使用pig完成前面的电信上网日志的统计工作

    10) 介绍Hive体系结构及基本操作

    Hive作为hadoop领域的数据仓库,支持sql功能,类似于mysql操作,非常好用,在企业中应用非常广泛。

    知识点简单罗列:

    Ø Hive是什么

    Ø Hive的体系结构,hive中的表在hdfs中是如何存储的

    Ø 讲解如何在linux安装mysql,如何使用mysql作为hive的metastore

    Ø 通过实例详细讲述hive的内部表、分区表、外部表、桶表

    Ø 介绍视图

    Ø 介绍hive的自定义函数

    11) 介绍Sqoop操作

    sqoop适用于在关系数据库与hdfs之间进行双向数据转换的,在企业中,非常常用。

    知识点简单罗列:

    Ø Sqoop是什么

    Ø 通过实例讲解Sqoop如何把mysql中的数据导入到hdfs中

    Ø 通过实例讲解Sqoop如何把hdfs中的数据导出到mysql中

    Ø Sqoop如何做成job,方便以后快速执行

    12) Flume操作

    Flume是cloudera公布的分布式日志收集系统,是用来把各个的服务器中数据收集,统一提交到hdfs或者其他目的地,是hadoop存储数据的来源,企业中非常流行。

    知识点简单罗列:

    Ø Flume是什么

    Ø 详细Flume的体系结构

    Ø 讲述如何书写flume的agent配置信息

    Ø 讲述flume如何动态监控文件夹中文件变化

    Ø 讲述flume如何把数据导入到hdfs中

    Ø 通过实例讲解如何通过flume动态监控日志文件变化,然后导入到hdfs中

    13) 论坛日志分析项目

    该项目的数据来自于黑马程序员论坛的日志,该项目是为本课程量身定做的,非常适合我们hadoop课程学习。有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。大家写过这个项目后,就对hadoop的各个框架在项目中是如何使用的,有个比较清晰的认识,对hadoop与javaEE结合有个比较清晰的认识了。



    小象学院Hadoop进阶教程 第一期

资源图片介绍

下一篇:

上一篇:

售后服务:

  • 售后服务范围 1、服务器配置及主机购买推荐
    2、模板使用范围内问题免费咨询
    3、单价超过200元的模板免费一次安装,需提供服务器信息。(游戏源码、PHP以外的源码不含免费技术支持)
    付费增值服务 1、提供WordPress主题、插件汉化、优化等服务请详询在线客服
    2、承接 WordPress、DedeCMS、ThinkPHP 等系统建站、仿站、开发、定制等服务
    3、服务器环境配置(一般 ¥50-300)
    4、网站中毒处理(需额外付费,500元/次/质保三个月)
    售后服务时间 周一至周五(法定节假日除外) 9:00-23:00
    免责声明 本站所提供的模板(主题/插件)等资源仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担,有部分资源为网上收集或仿制而来,若模板侵犯了您的合法权益,请来信通知我们(Email: yuanma8@88.com),我们会及时删除,给您带来的不便,我们深表歉意!

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系作者
  • 搜库源码网拥有海量网站模板及源码,站长亲测干净无后门。

  • 注册即能下载免费模板栏目资源,帮您更快的完成网站建设。

  • 每日更新模板资源,每日精品推荐,及时获取最新模板资源流行去向。

  • 完美的售后服务,帮助草根站长、企业等成功建站。

  • 将您最爱的资源收藏,建立自己的资源库,并与朋友分享。