业务扩展加剧，小机房换大机房
公司飞速发展，业务扩展加剧，运营过程中产生和处理的数据呈现出爆炸式增长的态势，而当前集群的存储容量和运算性能已不能满足，而围绕集群的生态系统对各类多维度数据的消费却日益加剧。因此，需要迁移至容量更大、网速更快的大机房，集群迁移项目随之应运而生。
引领...
liz
4年前 (2014-09-15) 2409℃ 0评论
0喜欢
1、概念
拉链表是数据仓库中表存储历史数据的一种方式。即存储一个事物从开始，一直到当前状态的所有变化的信息。
2、拉链原理
2.1、2014/06/20 抽取A表全量数据放到ACT，start_date 为2014/06/20, end_date为 2099-01-01。
2.2...
liz
5年前 (2014-06-21) 14360℃ 7评论
0喜欢
背景：
1、B、C 用户的数据推送到HBASE集群，但没有推送集群的HDFS权限及运行job的mapreduce权限，
A用户有读写权限。
2、集市架构：主用户A，其他用户B、C数据目录映射到A用户，实现物理存储一份公共的数据，解决数据冗余及各用户资源隔离，数据目录隔离。
方案一...
liz
5年前 (2014-05-29) 122786℃ 196评论
0喜欢
最近做大集群迁移，借此机会解决掉，此前因危害性命令，导致的数据误删等问题
1、方案的提出背景
小手一抖，hadoop fs -rmr ,dfs -rmr ,drop,delete 和truncate等高危命令，把HDFS的数据删掉了或把表删了，后面就是亲爱的小伙伴们，拼命的加班...
liz
5年前 (2014-05-19) 135604℃ 90评论
0喜欢
数据仓库监控预测，搞了一个月了，留下点东西，吐吐槽。。。
1、方案的提出背景：
在搞预测之前，做了大半年监控的工作，从开始零散的做报表，那时我称它为’提数’，到 后面做成了BI4BDP项目。
出了很多的监控报表，但都是事后监控。到Q1结束后，监控基本稳定。都说’每件事情达到一...
liz
5年前 (2014-05-19) 79023℃ 42评论
0喜欢
