2014年05月的内容

数据仓库运维

无读写权限的用户数据推送HBASE集群方案

无读写权限的用户数据推送HBASE集群方案
背景: 1、B、C 用户的数据推送到HBASE集群,但没有推送集群的HDFS权限及运行job的mapreduce权限, A用户有读写权限。 2、集市架构:主用户A,其他用户B、C数据目录映射到A用户,实现物理存储一份公共的数据,解决数据冗余及各用户资源隔离,数据目录隔离。 方案一...

liz 5年前 (2014-05-29) 122520℃ 196评论 0喜欢

LINUX

数据安全之数据误删反思

数据安全之数据误删反思
基于上篇文章讲到的定制客户端,对误删数据的应对方案,而这只是基于HDFS的数据保护,在linux层面的误删,定制客户端就无能为力了。。 可linux层面的误删平凡出现,对此我们提出的一些设想,请牛人们纠错,补充。。 1、误删的应对措施 1.1、对删除等高危命令进行alias处理,...

liz 5年前 (2014-05-27) 36492℃ 30评论 0喜欢

数据仓库运维

客户端定制..

客户端定制..
最近做大集群迁移,借此机会解决掉,此前因危害性命令,导致的数据误删等问题 1、方案的提出背景 小手一抖,hadoop fs -rmr ,dfs -rmr ,drop,delete 和truncate等高危命令,把HDFS的数据删掉了或把表删了,后面就是亲爱的小伙伴们,拼命的加班...

liz 5年前 (2014-05-19) 135395℃ 90评论 0喜欢

数据仓库运维

数据仓库监控预测那些事…

数据仓库监控预测那些事…
数据仓库监控预测,搞了一个月了,留下点东西,吐吐槽。。。 1、方案的提出背景: 在搞预测之前,做了大半年监控的工作,从开始零散的做报表,那时我称它为’提数’,到   后面做成了BI4BDP项目。 出了很多的监控报表,但都是事后监控。到Q1结束后,监控基本稳定。都说’每件事情达到一...

liz 5年前 (2014-05-19) 78969℃ 42评论 0喜欢

建站

架设博客平台…

架设博客平台…
1、域名注册 www.godaddy.com     国外最大的域名注册商 www.ename.cn            易名_国内信誉较好的域名注册商 简单说明国内国外注册域名的区别 国内:需要实名认证,访问速度快,网站是中文 国外:无需实名认证,第一年费用便宜,但访问速度较...

liz 5年前 (2014-05-16) 40196℃ 17评论 0喜欢