2014年10月的内容

HADOOP 底层技术

Hadoop fsimage和edits合并实现

Hadoop fsimage和edits合并实现
1、概念 1.1、fsimage文件:Hadoop文件系统元数据的一个永久性的检查点(checkpoint),其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息。 对于文件来说,包含的信息有修改时间、访问时间、块大小和组成一个文件块信息等;而对于目录来说,包含...

liz 4年前 (2014-10-28) 2144℃ 0评论 0喜欢

HADOOP 底层技术

Hadoop 2.2 HA

Hadoop 2.2 HA
Hadoop 0.20 存在单点故障,只有一个NameNode,如果NN所在的机器出现故障或者硬件软件需要升级,将导致整个集群无法工作,直到集群重启。 Hadoop 2.2 HA(High Availability),即启用双NameNode,每个namenode是一个单独的服务...

liz 4年前 (2014-10-27) 2079℃ 0评论 0喜欢

LINUX

shell find命令

shell find命令
1、find命令格式:find pathname -options [-print -exec -ok ...] 描述:-print:对匹配的文件输出到标准输出。 -exec:对匹配文件执行 exec对应的shell命令,command {} \; -ok: 与-exec作用相同...

liz 4年前 (2014-10-26) 1211℃ 0评论 0喜欢

LINUX

常用shell grep 行过滤命令

常用shell grep 行过滤命令
grep 是linux下文件内的行过滤命令,即将符合pattern的行输出。 1、命令格式:grep [options] pattern [file] 2、命令选项 2.1、正则表达式选择与解释: -e, –regexp=PATTERN 用 PATTERN 来进...

liz 4年前 (2014-10-25) 1367℃ 0评论 0喜欢

HIVE

HIVE 小文件合并方案

HIVE 小文件合并方案
1、方案提出背景: 1.1、map输入:map在输入文件时,每个文件都启动一个map任务,文件过小,会导致资源的浪费。 1.2、reduce输出:每一个reduce计算完,输出一个文件,有时候会产生大量的小文件。小文件过多,消耗namenode大量内存,对namenode也造成很...

liz 4年前 (2014-10-16) 3448℃ 2评论 0喜欢