Hadoop性能调优培训
培训大纲
|
模块
|
课程内容
|
案例及实验
|
|
Hadoop参数调优
|
l 选择适合Hadoop的硬件配置
l Hadoop配置项优化
l 网络带宽参数调优
l 选择正确的JDK
l Hadoop作业调优
l Linux操作系统优化
l 其他配置和参数调优
|
l Hadoop硬件优化
l 不是所有的硬件都合适拿来直接使用
l 硬件为什么不做raid？
l 设置网络的注意事项
l 中间结果压缩对磁盘和网络的优化
l 常见异常现象及处理方法
|
|
Hive性能优化
|
l Hive参数优化
l Hive其他优化
l 自有软件Phphiveadmin的介绍及使用
|
l 对group，join的优化
l 其他参数设计
l 设定并行执行嵌套sql
l 为什么使用外部表和partition
l Phphiveadmin带来的优势和便利
|
|
精彩案例解析
|
案例一：那namenode 被重新格式化，datanode无法连接
案例二：硬盘损坏
案例三：错误用户启动hadoop
案例四：tasktracker重启后假死
案例五：jobtracker无故宕机
|
|
HBASE调优
|
l HBase配置优化综述
l 读优化中需要调整的参数
l 写优化中需要调整的参数
l Hbase-site.xml参数调优
l JVM优化中需要调整的参数
l Split & compact优化相关参数
l 表设计优化相关参数
l Hbase客户端优化相关参数
l 监控工具使用方法及注意事项
|
l Memstore合并设置的时机选择
l Mslab使用设置
l 合并storefile策略设置技巧
l Memstore flush 设置时机选择
l Hbase-env.sh、Single、multi-thread、CMS使用及参数调用
l GC回收垃圾时机、GC日志打印设置
l GC阶段，region无法提供服务如何如何处理
l 安装、使用步骤、主要监控参数，如何根据参数进行调优设置
|
|
精彩案例解析
|
案例1：hot region造成读请求瓶颈
现象：某台机器的某个region读请求非常频繁，大量读请求集中在一台机器的某个region会造成该机器的压力陡增，JVM内存居高不下，load很高，使得client读取数据上达到瓶颈值。
|
|
Mapreduce的性能调优
|
Mapreduce中需要调优的相关参数
Ø Dfs.block.size
Ø Mapreduce
Ø Io.sort.mb
Ø Io.sort.spill.percent
Ø Mapred.local.dir
Ø Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
Ø Mapred.reduce. tasksmapred. Sktracker.reduce.tasks. sktracker
|
l Map中选择合理的块大小
l Reduce并行复制线程的调优
l Map/reduce内存配置的原则及方法
l 槽位数计算方法
l 调度器的选择集调优
|
|
精彩案例解析
|
案例1：控制map & reduce个数
现象：map个数取决于split个数，如果源文件使用压缩存储，则不可分割，一个文件一个map。非压缩文件使用默认block.size进行切分。对reduce因为是中间数据，可以控制reduce数量。
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
