您好!欢迎来到搜库源码网!本站资源24小时自动发货,请放心购买,有问题请提交工单!
搜库源码网 精品源码
广告!请自辨真伪
广
广告!请自辨真伪
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
广
这是广告!真假请自辩!
也想出现在这里?联系我们
也想出现在这里?联系我们
这是广告!真假请自辩!
也想出现在这里?联系我们
也想出现在这里?联系我们
广告!请自辨真伪
广
广告!请自辨真伪
广
《Hadoop/Spark企业应用实战》11月份班 最后编辑:2019-01-26 16:49:53

《Hadoop/Spark企业应用实战》11月份班

2019-01-26 16:49:53 大数据时代 已浏览2190次 我要投稿 您当前为普通用户
搜库网广告招租
广
特别提示:源码100%完整,但我们不免费提供任何技术咨询。小白请慎重下单!
搜库网广告招租
广

资源文字介绍:

    《Hadoop/Spark企业应用实战》11月份班

    本课程会介绍 Hadoop / Spark 各组件的架构,但不会涉及任何安装的内容,安装的教程、录像视频什么的网上到处都是,讲安装太浪费时间~ Hadoop/Spark环境的安装请大家自行解决,建议用Cloudera CDH或者Hortonworks HDP

    本课程目标是:给大家分享一些在网上不能随便就搜到的内容和窍门,展示企业线上生产系统中应用 Hadoop、Spark 的成功案例,以及与现有企业BI平台整合的方案

    第一周:企业级Hadoop/Spark应用概述,Hadoop/Spark生态系统与现有企业级应用的整合

    企业级集群部署、数据管理、任务调度、集群监控

    Hadoop架构介绍、Spark / Shark 介绍

    Spark与Hadoop的关系

    现有Hadoop架构的种种问题和限制,HA

    企业数据仓库的选型,Hadoop世界与EDW世界中的TPC(TPC DS与TPC H)

    Hadoop世界中的DBA

    成本考量 —— 人?物?物是人非……

    第二周:Hadoop Eco System 进阶应用基础知识

    HDFS / MapReduce / Yarn / Hive / Impala / Oozie 进阶应用、资源分配及调优

    玩转Hive ETL高级应用:权限管理、external table、partition、中文支持、HiveServer2 JDBC接口

    Hive的Windowing and Analytics Functions

    Hive 0.13的新功能

    Impala与Hive对比,各种Hints:Hive的Map Join,Impala的SHUFFLE Join(partitioned join)

    第三周:进阶应用实例 — 物流/广告/电商/零售/互联网行业Hadoop大数据应用

    企业级应用实例1:物流行业 — 订单跟踪

    —〉 Hive通过external table、partition、动态partition与NFS结合使用创建数据表,避免LOAD DATA

    —〉 Hive和Impala的Join优化Hints,MapJoin、Shuffle Join 实例

    企业级应用实例2:广告行业 — 基于用户行为分析的用户归类标签 (客户画像)

    —〉 Hive复合数据类型array

    —〉 array与collect_set、collect_list、array_contains、sort_array

    —〉 impala的group_concat

    —〉 array与lateral view、LATERAL VIEW OUTER

    企业级应用实例3:电商/零售行业 — 简单的推荐系统 Recommender System 实现 (基于用户标签/客户画像)

    —〉 Hive复合数据类型map、str_to_map、map_keys、map_values,map与lateral view

    —〉 通过Hive、Impala转换函数进行数据保护,确保企业应用信息安全(通过translate进行简单数据脱敏Data Masking)

    —〉 HiveServer2 JDBC接口实例应用、中文支持Bug纠错

    —〉 Hive的窗口和分析函数入门(row_number、rank、dense_rank等)

    企业级应用实例4:互联网行业 — 访问量业绩报表

    —〉 Hive的窗口和分析函数进阶(NTILE、CUME_DIST、PERCENT_RANK、LEAD、LAG、FIRST_VALUE、LAST_VALUE等)

    —〉 ROWS BETWEEN ... AND ... (CURRENT ROW,rows PRECEDING,rows FOLLOWING)

    本周总结 —— 物流/广告/电商/零售/互联网行业Hadoop企业级大数据应用方案经验教训总结

    第四周:Hadoop & Spark / Shark 进阶应用基础知识

    HBase / ZooKeeper / Sqoop / Graphite / Ganglia 进阶应用及调优,Spark / Spark SQL / Shark 简介

    HBase Shell 与 HBase REST API 应用

    HBase的Region进阶应用Compact、Split与Merge

    HBase进阶脚本应用:jruby script

    HBase与Hive的整合高级应用:binary(byte) value,lateral view explode

    Hive 0.13:posexplode

    Spark / Spark SQL / Shark 架构介绍、Spark Scala / Python 开发介绍

    第五周:进阶应用实例 — Hadoop/Spark平台企业级开发框架

    Hadoop生态系统中为企业级开发提供的测试框架应用实例

    Spark实现“物流行业 — 订单跟踪 SLA”的实例,Scala语言及Python语言实现,Spark SQL + Parquet文件实现,Spark Scala Maven项目实例

    HBase开发实例:REST API使用、JRuby脚本编写、Region进阶应用

    与Continuous Integration系统整合的可能

    —— 软件/互联网行业Hadoop企业级开发框架

    第六周:Hadoop & Spark / Shark 企业级应用整合

    HBase与Hive整合的大坑

    HBase Python 客户端 happybase 使用介绍、编程实例

    HBase Coprocessor与HBase + Hive 特征特点比较、分别适用的场景

    企业中应用 HBase,Hive,Impala,Spark / Shark 的注意事项,资源分配方案

    Hadoop与现有企业级BI平台的整合

    Pentaho PDI / Kettle

    Oracle or In-Memory Database

    MicroStrategy / Tableau

    第七周:进阶应用实例 — Hadoop / Spark 企业级大数据BI应用整合

    互联网行业时间序列(time series data)数据处理实例 —— 整合 HBase 与 Hive:增量数据与全量数据,冷数据与热数据分治

    互联网行业时间序列(time series data)数据处理实例 —— 整合 Spark 与 HBase

    Spark 访问 HBase 数据实例:通过 Spark 对 HBase 表进行 scan,Scala语言处理 HBase 返回值 Result 类中 KeyValue 对象的 ByteBuffer / ByteArray

    通过 Kettle / Spoon 工具整合Hadoop与现有RDBMS的企业级BI解决方案

    其它整合Hadoop与RDBMS构建企业级BI应用平台的可能(如使用PostgreSQL FDW,使用Presto的JDBC connector等)

    —— 互联网行业Hadoop企业级大数据BI应用整合方案

    第八周:总结与展望

    企业级大数据应用总结

    构建企业大数据团队探讨

    Hadoop方面工作面试秘籍:应用开发方向、数据分析方向、技术架构方向、团队带头人

    现有几大Hadoop平台比较:Cloudera CDH,Hortonworks HDP,MapR

    Hadoop大数据还能干什么?通过Spark整合Streaming与Batch processing?

    金融 / 工业 / 能源 / 智慧城市 / 医疗行业 / Smart Data

    德国汽车、新能源行业的大数据创新项目分享

    德国医疗行业大数据应用现状

    Hadoop大数据企业应用面临的问题



    Hadoop大数据第一季:真实电商数据仓库全流程开发详解

资源图片介绍

下一篇:

上一篇:

售后服务:

  • 售后服务范围 1、服务器配置及主机购买推荐
    2、模板使用范围内问题免费咨询
    3、单价超过200元的模板免费一次安装,需提供服务器信息。(游戏源码、PHP以外的源码不含免费技术支持)
    付费增值服务 1、提供WordPress主题、插件汉化、优化等服务请详询在线客服
    2、承接 WordPress、DedeCMS、ThinkPHP 等系统建站、仿站、开发、定制等服务
    3、服务器环境配置(一般 ¥50-300)
    4、网站中毒处理(需额外付费,500元/次/质保三个月)
    售后服务时间 周一至周五(法定节假日除外) 9:00-23:00
    免责声明 本站所提供的模板(主题/插件)等资源仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担,有部分资源为网上收集或仿制而来,若模板侵犯了您的合法权益,请来信通知我们(Email: yuanma8@88.com),我们会及时删除,给您带来的不便,我们深表歉意!

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系作者
  • 搜库源码网拥有海量网站模板及源码,站长亲测干净无后门。

  • 注册即能下载免费模板栏目资源,帮您更快的完成网站建设。

  • 每日更新模板资源,每日精品推荐,及时获取最新模板资源流行去向。

  • 完美的售后服务,帮助草根站长、企业等成功建站。

  • 将您最爱的资源收藏,建立自己的资源库,并与朋友分享。