课程培训
Hadoop原理、应用与优化培训与咨询

 

培训目标:

 

  • 大数据存储概览
  • 大数数据平台Hadoop概览
  • Hadoop集群规划
  • Hadoop简介和生态系统介绍
  • Hadoop安装和主要配置文件介绍
  • Hadoop组件介绍
  • Hadoop的HDFS模块
  • MapReducer入门和高级开发实战
  • Hive的使用和实战
  • Hbase使用
  • Hadoop集群配置介绍和维护
  • 数据抽取工具Sqoop使用
  •  
  • 大数据存储概览
    • 大数据的产生、引用、存储与应用
    • 大数据存储的特点
    • 大数据库的基本元素
    • 海量数据库的开发特性
    • 数据库的数据分析与挖掘应用
    • 数据仓库与数据集市
    大数数据平台Hadoop概览
    • 传统大规模系统存在的问题
    • Hadoop概述
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 分布式协调系统—Zookeeper
    • 数据抽取工具Sqoop使用
    • Hadoop分布式文件系统
    • MapReduce工作原理
    • Hadoop集群剖析
    • Hadoop生态系统对一种新的解决方案的需求
    • Hadoop的行业应用案例分析
    • Hadoop在云计算和大数据的位置和关系
    Hadoop集群规划
    • Hadoop 集群内存要求
      • Namenode的机器配置
      • Datanode的机器配置
      • SNN的机器配置
    • Hadoop集群磁盘分区
    • 集群和网络拓扑要求
    • 集群软件的端口配置
    Hadoop简介和生态系统介绍
    • 传统大规模数据分析存在的问题
    • Hadoop概述
    • Hadoop与分布式文件系统
    • Hadoop生态系统
    • Hadoop的行业应用案例分析
    • Hadoop在云计算和大数据的位置和关系
    • Hadoop版本介绍
    • Hadoop与Google FS的关系
    • Hadoop在国内的使用情况和未来
    Hadoop安装和主要配置文件介绍
    • Hadoop安装所需软件介绍
    • Hadoop单机安装
    • Hadoop伪分布式安装
    • Hadoop完全分布式安装
    • Hadoop三个节点安装的配置介绍
    • Hahoop多节点ssh配置
    • Hadoop格式化详解
    • Hadoop核心配置文件介绍
    • 核心配置文件core-site.xml
    • HDFS配置文件hdfs-site.xml
    • Mapreduce配置文件mapred-site.xml
    • master文件配置详解
    • slave文件配置详解
    • Hadoop启动和停止方法一
    • —start-all.sh详解
    • —stop-all.sh详解
    • Hadoop的启动和停止方法二
    • —hadoop-deamon.sh详解
    • Hadoop安装的常见错误介绍和解决方案
    • 使用自带的wordcount和pi测试集群安装是否成功
    • 使用Streaming来测试集群安装是否成功
    Hadoop组件介绍
    • Hadoop NameNode 介绍
    • Hadoop SecondaryNameNode 介绍
    • Hadoop DataNode 介绍
    • Hadoop JobTracker 介绍
    • Hadoop TaskTracker 介绍
    Hadoop的HDFS模块
    • HDFS架构介绍
    • HDFS原理介绍
    • NameNode功能详解
    • DataNode功能详解
    • SecondaryNameNode功能详解
    • HSFD的fsimage和editslog详解
    • HDFS的block详解
    • HDFS的block的备份策略
    • Hadoop的机架感知配置
    • HDFS的shell命令介绍
    • HDFS的thrift server服务介绍
    • HDFS的API接口介绍
    • HDFS的权限详解
    • Hadoop的客服端接入案例
    MapReducer入门和高级开发实战
    • Mapreduce原理
    • MapReduce流程
    • 剖析一个MapReduce程序
    • Mapper和Reducer抽象类详解
    • Mapreduce的最小驱动类
    • MapReduce自带的类型
    • 自定义Writables和WritableComparables
    • Mapreduce的输入InputFormats
    • MapReduce的输出OutputFormats
    • 自定义InputFormat
    • 自定义InputSPlits
    • 自定义RecorderReader
    • Combiner详解
    • Partitioner详解
    • DistributeFileSystem详解
    • Hadoop Tools工具介绍
    • Counter计数器详解
    • 自定义Counter计数器
    • 基于Hadoop二次开发实战
    • MapReduce的优化
    • Map和Reduce的个数设置
    • Hadoop小文件优化
    • 任务调度
    • 默认的任务调度
    • 公平任务调度
    • 能力任务调度
    • 使用 Hadoop MapReduce Streaming 编程
    • MapReduce的单元测试
    Hive的使用和实战
    • Hive和Pig基础
    • Hive、Impala和presto的比较
    • Hive的作用和原理说明
    • Hadoop仓库和传统数据仓库的协作关系
    • Hadoop/Hive仓库数据数据流
    • Hive 部署和安装
    • Hive Cli 的基本用法
    • Hive的server启动
    • HQL基本语法
    • Hive的加载数据本地加载和HDFS加载
    • Hive的partition详解
    • Hive的存储方式详解
    • RCFILE、TEXTFILE和SEQUEUEFILE
    • Hive的UDF和UDAF
    • Hive的transform详解
    • Hive的JDBC连接
    Hbase使用
    • Hbase原理
    • Hmaster详解
    • RegionServer详解
    • Zookeeper介绍
    • Hbase安装
    • Hbase逻辑视图介绍
    • Hbase物理视图介绍
    • Hbase的二级索引介绍
    • Hbase 的DDL和DML
    • Hbase表的设计案例
    • Hbase的import功能介绍
    • MapReduce操作Hbase
    • Hbase的 thrift Server介绍
    • Hbase 的API介绍
    • Hbase案例分析
    Hadoop集群配置介绍和维护
    • Hadoop集群的部署要点
    • NameNode和SecondaryNameNode和JobTracker机器的配置要求
    • dataNode与tasktracker机器的配置要求
    • Hadoop集群管理的工具介绍
    • Ganglia和nigos监控Hadoop集群介绍
    • Ambri介绍
    • 添加和删除节点演示
    • Namenode的单点解决方案
    • NameNode的NFS备份介绍
    • 集群所有dataNode挂掉的故障介绍
    • 集群NameNode的fsimage丢掉恢复方法
    • Hadoop集群维护的注意点
    数据抽取工具Sqoop使用
    • Sqoop是什么
    • Sqoop安装
    • Sqoop把mysql数据导入HDFS
    • Sqoop把HDFS数据导入Mysql
    • Sqoop吧Mysql数据导入Hive
    • Sqoop吧Mysql数据导入Hive分区
    • 执行脚本的解析
    • 数据导入过程中的典型问题和解决办法 
     



如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>
技术支持:帮做网络