2014年11月的内容

HADOOP 底层技术

Hadoop2.2 YARN之ApplicationMaster

Hadoop2.2 YARN之ApplicationMaster
1、概念 ApplicationMaster(AM):当用户提交一个应用程序时,需要提供一个用于跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManager启动可以占用一定资源的任务。 2、管理AM生命周期服...

liz 4年前 (2014-11-14) 1184℃ 0评论 0喜欢

HADOOP 底层技术

Hadoop2.2 YARN之NodeManager

Hadoop2.2 YARN之NodeManager
1、概述 NodeManager(NM):每个节点上的资源和任务管理器。 1.1、定时向RM汇报本节点上的资源使用情况和各个Container的运行状态。 1.2、接收并处理来自AM的Container启动/停止等各种请求。 2、管理NM生命周期服务 2.1、NMLiveline...

liz 4年前 (2014-11-14) 1283℃ 0评论 0喜欢

LINUX

shell awk 列处理

shell awk 列处理
与sed 用于一整个行的处理不同,awk 倾向于一行当中分成数列来处理。 1、命令格式:awk 选项 ‘条件类型1{动作1} 条件类型2{动作2} …’ file1,file2… 选项:-F 指定分隔符,默认是空格或者tab制表符 ...

liz 4年前 (2014-11-10) 1644℃ 0评论 0喜欢

LINUX

shell sed文本编辑器

shell sed文本编辑器
sed是文本编辑器,以行为单位,可以将数据行进行替换、删除、新增、选取等操作。 sed只是对缓存区中原始文件的副本进行编辑,并不编辑原始文件。如果需要保存更改内容,需要将输出重定向到另一个文件。 1、命令格式:sed [选项] ‘sed命令’ 输入文件 2...

liz 4年前 (2014-11-05) 1085℃ 0评论 0喜欢

HADOOP 底层技术

JVM GC (Garbage Collection)

JVM GC (Garbage Collection)
1、在讲GC之前,先说明几个概念。 1.1、堆(Heap) JVM管理的内存叫堆。 JVM初始分配的内存由-Xms指定,-Xms96g JVM最大分配的内存由-Xmx指定,-Xmx96g 服务器一般设置-Xms、-Xmx相等以避免在每次GC 后调整堆的大小 1.2、分代 根据对象...

liz 4年前 (2014-11-04) 1204℃ 0评论 0喜欢