分类:HADOOP 底层技术

[转]hadoop hbase metric名全解释

[转]hadoop hbase metric名全解释
系统参数监控metrics load_one            每分钟的系统平均负载 load_fifteen        每15分钟的系统平均负载 load_five           每5分钟的系统平均负载 boottime            系统启动时间,精确到...

liz 4年前 (2014-12-22) 997℃ 0评论 0喜欢

Hadoop2.2 YARN之ApplicationMaster

Hadoop2.2 YARN之ApplicationMaster
1、概念 ApplicationMaster(AM):当用户提交一个应用程序时,需要提供一个用于跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManager启动可以占用一定资源的任务。 2、管理AM生命周期服...

liz 4年前 (2014-11-14) 1184℃ 0评论 0喜欢

Hadoop2.2 YARN之NodeManager

Hadoop2.2 YARN之NodeManager
1、概述 NodeManager(NM):每个节点上的资源和任务管理器。 1.1、定时向RM汇报本节点上的资源使用情况和各个Container的运行状态。 1.2、接收并处理来自AM的Container启动/停止等各种请求。 2、管理NM生命周期服务 2.1、NMLiveline...

liz 4年前 (2014-11-14) 1283℃ 0评论 0喜欢

JVM GC (Garbage Collection)

JVM GC (Garbage Collection)
1、在讲GC之前,先说明几个概念。 1.1、堆(Heap) JVM管理的内存叫堆。 JVM初始分配的内存由-Xms指定,-Xms96g JVM最大分配的内存由-Xmx指定,-Xmx96g 服务器一般设置-Xms、-Xmx相等以避免在每次GC 后调整堆的大小 1.2、分代 根据对象...

liz 4年前 (2014-11-04) 1204℃ 0评论 0喜欢

Hadoop fsimage和edits合并实现

Hadoop fsimage和edits合并实现
1、概念 1.1、fsimage文件:Hadoop文件系统元数据的一个永久性的检查点(checkpoint),其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息。 对于文件来说,包含的信息有修改时间、访问时间、块大小和组成一个文件块信息等;而对于目录来说,包含...

liz 4年前 (2014-10-28) 2144℃ 0评论 0喜欢