大數(shù)據分析（Hadoop）與云計算實踐

開課地點：	成都
授課時間：	6天
授課顧問：	錢興會等
開課時間：	2014-05-21
市場報價：	4500
購買價格：	3600
課程排期	開課城市 開課日期 授課周期   四川成都 2014-05-21 6天   山東青島 2014-07-24 6天
審核時間：	我要報名2014-03-17 17:23:47

　　

　　課程背景

　　本課程以大數(shù)據架構與案例為驅動，采用一個完整地案例貫穿整個課程，讓學員體驗大數(shù)據架構的企業(yè)價值。在課程中學員將被賦予企業(yè)架構師角色，通過剖析企業(yè)對大數(shù)據的主要需求，使學員感悟大數(shù)據架構設計的過程與價值。

　　培訓收益

　　1. 全面掌握Hadoop的架構原理和使用場景

　　2. 全程項目實戰(zhàn)訓練

　　3. 徹底掌握使用Hadoop進行MapReduce程序開發(fā)

　　4. 熟悉分布式計算領域的常用算法

　　5. 掌握Hive、HBase使用與優(yōu)化技巧

　　6. 了解云計算的發(fā)展歷史

　　7. 掌握云計算的實踐應用

　　8. 學習云計算的核心技術

　　9. 通曉云計算的商業(yè)價值

　　課程大綱

　　第一天

　　一、云計算概述

　　1. 云的理想

　　2. 云的挑戰(zhàn)

　　3. 發(fā)展的趨勢

　　4. 云是什么

　　5. 不同工作負載適用不同的云

　　6. 選擇合適的云平臺

　　7. 幾個云應用案例

　　8. 我們身邊的云

　　二、云架構

　　1. 云多層架構視圖

　　2. IaaS、PaaS與SaaS的定位與異同

　　3. 云平臺的發(fā)展現(xiàn)狀

　　4. 云數(shù)據中心技術架構

　　三、IAAS云層的原理與應用

　　1. IaaS的基礎：虛擬化

　　2. 虛擬化相關技術

　　3. Power云部署方案介紹

　　4. VMWare云部署方案介紹

　　5. OpenStack云部署方案介紹

　　6. SONAS云存儲方案介紹

　　7. 應用實例

　　第二天

　　一、PaaS云層的原理與應用

　　1. PaaS的架構原理

　　2. 基于WebSphere的PaaS設計實踐

　　二、SaaS云層的原理與應用

　　1. SaaS的架構原理

　　2. 一個公有云SaaS的設計實踐

　　三、云計算的性能管理與容量規(guī)劃

　　1.什么是性能容量管理

　　2.性能容量管理參考案例

　　3.壓力測試基本理論

　　4.系統(tǒng)性能設計與調優(yōu)

　　第三天

　　一、大數(shù)據云的原理與架構

　　1. 存儲子系統(tǒng)

　　2. 傳統(tǒng)文件系統(tǒng)

　　3. 松耦合網絡文件系統(tǒng)

　　4. 共享存儲文件系統(tǒng)

　　5. 基于對象的存儲子系統(tǒng)

　　6. 大數(shù)據存儲子系統(tǒng)

　　7. Google GFS

　　8. Facebook Haystack

　　9. Amazon Dynamo

　　10. Yahoo PNUTS

　　11.Google BigTable

　　12. 云存儲服務

　　13. Amazon Simple Storage Service

　　14. Google Storage for Developers

　　第四天

　　一、Hadoop的來源和動機

　　1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問題

　　2.對一種新的解決方案的需求

　　3.Hadoop應用案例解析

　　4.Hadoop 版本介紹

　　5.Hadoop與傳統(tǒng)分布式環(huán)境的區(qū)別

　　二、Hadoop安裝和部署準備

　　1.Hadoop系統(tǒng)模塊組件概述

　　2.Hadoop試驗集群的部署結構

　　3.Hadoop 安裝依賴關系

　　4.Hadoop 生產環(huán)境的部署結構

　　三、Hadoop集群安裝和部署

　　四、Hadoop組件詳解

　　1. Hadoop HDFS 基本結構

　　2. Hadoop HDFS 副本存放策略

　　3. Hadoop NameNode 詳解

　　4. Hadoop SecondaryNameNode 詳解

　　5. Hadoop DataNode 詳解

　　6. Hadoop JobTracker 詳解

　　7. Mapper

　　8. Reducer

　　9. API 使用Eclipse進行快速開發(fā)

　　10. 新MapReduce API

　　五、Hadoop 核心代碼剖析

　　1. Hadoop Mapper 類核心代碼剖析

　　2. Hadoop Reducer 類核心代碼剖析

　　六、HDFS分布式文件系統(tǒng)編程

　　1. Hadoop HDFS 剖析

　　2. Hadoop NameNode 剖析

　　3. Hadoop DataNode 剖析

　　4. hadoop I/O 操作

　　5. 使用Hadoop HDFS API對HDFS編程

　　第五天

　　一、Hadoop MapReduce

　　1. Hadoop JobTracker 剖析

　　2.Hadoop TaskTracker 剖析

　　3.Hadoop 任務提交流程剖析

　　二、Hadoop MapReduce Streaming編程

　　1. Hadoop Streaming 和 Java MapReduce Api 差異

　　2. 使用 MapReduce 實現(xiàn)數(shù)據庫功能

　　三、MapReduce分布式程序

　　1. MapReduce流程

　　2.剖析一個MapReduce程序

　　3.基本MapReduceAPI 概念

　　4.驅動代碼

　　四、Hadoop Mapreduce高級編程

　　1.ToolRunner介紹

　　2.使用MRUnit進行測試

　　3.利用Combiners來減少中間數(shù)據

　　4.使用Configure和Close方法來進行Map/Reduce設置和關閉

　　5.編寫Partitioner來優(yōu)化負載平衡

　　6.直接訪問Hadoop分布式文件系統(tǒng)(HDFS)

　　7.使用分布式緩存(Distributed Cache)

　　五、MapReduce的優(yōu)化

　　1. map優(yōu)化

　　2. reduce優(yōu)化

　　3. 小文件優(yōu)化

　　六、MapReduce的任務調度

　　1. Queue調度的使用

　　2. 公平調度的使用

　　3. 能力調度的使用

　　七、Hadoop 生態(tài)系統(tǒng)介紹

　　1. 分布式管理組件-Zookeeper

　　2.分布式數(shù)據倉庫-Hive

　　3. 分布式數(shù)據庫-HBase

　　4. 數(shù)據導入導出-Sqoop

　　5. 工作流管理- Ozzie

　　6. Hadoop數(shù)據倉庫-Hive

　　7. Hive基礎

　　8. Hive的作用和原理說明

　　9. Hadoop倉庫和傳統(tǒng)數(shù)據倉庫的協(xié)作關系

　　10.Hive與傳統(tǒng)數(shù)據庫的對接使用

　　11. Hadoop/Hive倉庫數(shù)據數(shù)據流

　　第六天

　　一、Hadoop數(shù)據倉庫-Hive

　　1. Hadoop 分布式數(shù)據倉庫-HBase

　　2. Hbase概念與架構

　　3. hbase核心知識點

　　4. hbase安裝、部署

　　5. HBase配置優(yōu)化綜述

　　6. 表設計優(yōu)化相關參數(shù)

　　7. 監(jiān)控工具使用方法及注意事項

　　8. 常見異�，F(xiàn)象級處理方法

　　二、Hive Cli 的基本用法

　　三、HQL基本語法

　　四、行編寫數(shù)據庫與Hadoop相互ETL工具的思路

　　講師簡介

　　錢興會

　　中國培訓網高級講師，大數(shù)據專家。

　　在電信、電力、金融行業(yè)從事Java開發(fā)和架構設計的工作;資深云計算研發(fā)工程師。作為項目的主要成員和負責人參與并領導完成了多個大型復雜項目，并成功應用于行業(yè)解決方案，如海量數(shù)據匹配系統(tǒng)、電力行業(yè)實時數(shù)據采集分析系統(tǒng)等。設計并實現(xiàn)了實時索引系統(tǒng)-云搜，成功應用與某國企知識庫系統(tǒng)。并可應用與互聯(lián)網行業(yè)的搜索等應用。完成多個云計算解決方案的架構，涉及到金融韓行業(yè)海量數(shù)據分析與數(shù)據處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計系統(tǒng)等，獲得業(yè)界認可。

　　朱永春

　　中國培訓網高級講師

　　十余年IT行業(yè)經驗，IBM企業(yè)數(shù)據分析與大數(shù)據專家，數(shù)據中心系統(tǒng)架構設計，性能管理與容量評估專家，主要專業(yè)特長包括基礎架構云平臺設計、服務器及存儲虛擬化、數(shù)據庫優(yōu)化、性能管理、容量評估等領域。具有豐富的教學和實踐經驗，對IT職業(yè)培訓有深刻的理解。曾參與多家大型銀行系統(tǒng)架構設計，在高可用性高性能大容量系統(tǒng)領域的虛擬化和大數(shù)據處理有深入的研究，能夠結合實際,在復雜的應用環(huán)境中選擇適合的分析技術來降低運維風險、縮短停機時間、提高系統(tǒng)及數(shù)據庫性能。多次全國巡講。授課過程理論與實踐并重，深入淺出，講課詼諧幽默、氣氛活躍，深受廣大學員好評。