业务扩展加剧,小机房换大机房
公司飞速发展,业务扩展加剧,运营过程中产生和处理的数据呈现出爆炸式增长的态势,而当前集群的存储容量和运算性能已不能满足,而围绕集群的生态系统对各类多维度数据的消费却日益加剧。因此,需要迁移至容量更大、网速更快的大机房,集群迁移项目随之应运而生。
引领...
liz
4年前 (2014-09-15) 2409℃ 0评论
0喜欢
1、概念
拉链表是数据仓库中表存储历史数据的一种方式。即存储一个事物从开始,一直到当前状态的所有变化的信息。
2、拉链原理
2.1、2014/06/20 抽取A表全量数据放到ACT,start_date 为2014/06/20, end_date为 2099-01-01。
2.2...
liz
5年前 (2014-06-21) 14360℃ 7评论
0喜欢
背景:
1、B、C 用户的数据推送到HBASE集群,但没有推送集群的HDFS权限及运行job的mapreduce权限,
A用户有读写权限。
2、集市架构:主用户A,其他用户B、C数据目录映射到A用户,实现物理存储一份公共的数据,解决数据冗余及各用户资源隔离,数据目录隔离。
方案一...
liz
5年前 (2014-05-29) 122786℃ 196评论
0喜欢
最近做大集群迁移,借此机会解决掉,此前因危害性命令,导致的数据误删等问题
1、方案的提出背景
小手一抖,hadoop fs -rmr ,dfs -rmr ,drop,delete 和truncate等高危命令,把HDFS的数据删掉了或把表删了,后面就是亲爱的小伙伴们,拼命的加班...
liz
5年前 (2014-05-19) 135604℃ 90评论
0喜欢
数据仓库监控预测,搞了一个月了,留下点东西,吐吐槽。。。
1、方案的提出背景:
在搞预测之前,做了大半年监控的工作,从开始零散的做报表,那时我称它为’提数’,到 后面做成了BI4BDP项目。
出了很多的监控报表,但都是事后监控。到Q1结束后,监控基本稳定。都说’每件事情达到一...
liz
5年前 (2014-05-19) 79023℃ 42评论
0喜欢