分类:数据仓库运维

HADOOP集群版本升级迁移方案

HADOOP集群版本升级迁移方案
业务扩展加剧,小机房换大机房 公司飞速发展,业务扩展加剧,运营过程中产生和处理的数据呈现出爆炸式增长的态势,而当前集群的存储容量和运算性能已不能满足,而围绕集群的生态系统对各类多维度数据的消费却日益加剧。因此,需要迁移至容量更大、网速更快的大机房,集群迁移项目随之应运而生。 引领...

liz 4年前 (2014-09-15) 2342℃ 0评论 0喜欢

数据仓库拉链表

数据仓库拉链表
1、概念 拉链表是数据仓库中表存储历史数据的一种方式。即存储一个事物从开始,一直到当前状态的所有变化的信息。 2、拉链原理 2.1、2014/06/20 抽取A表全量数据放到ACT,start_date 为2014/06/20, end_date为 2099-01-01。 2.2...

liz 5年前 (2014-06-21) 14273℃ 7评论 0喜欢

无读写权限的用户数据推送HBASE集群方案

无读写权限的用户数据推送HBASE集群方案
背景: 1、B、C 用户的数据推送到HBASE集群,但没有推送集群的HDFS权限及运行job的mapreduce权限, A用户有读写权限。 2、集市架构:主用户A,其他用户B、C数据目录映射到A用户,实现物理存储一份公共的数据,解决数据冗余及各用户资源隔离,数据目录隔离。 方案一...

liz 5年前 (2014-05-29) 122520℃ 196评论 0喜欢

客户端定制..

客户端定制..
最近做大集群迁移,借此机会解决掉,此前因危害性命令,导致的数据误删等问题 1、方案的提出背景 小手一抖,hadoop fs -rmr ,dfs -rmr ,drop,delete 和truncate等高危命令,把HDFS的数据删掉了或把表删了,后面就是亲爱的小伙伴们,拼命的加班...

liz 5年前 (2014-05-19) 135395℃ 90评论 0喜欢

数据仓库监控预测那些事…

数据仓库监控预测那些事…
数据仓库监控预测,搞了一个月了,留下点东西,吐吐槽。。。 1、方案的提出背景: 在搞预测之前,做了大半年监控的工作,从开始零散的做报表,那时我称它为’提数’,到   后面做成了BI4BDP项目。 出了很多的监控报表,但都是事后监控。到Q1结束后,监控基本稳定。都说’每件事情达到一...

liz 5年前 (2014-05-19) 78969℃ 42评论 0喜欢