发布时间:2014-11-04 19:59:01
昨天晚上EMR 节点挂掉3台,今天中午又LOST了6台, 本来就二三十台的小集群,LOST了三分之一的机器处理方法:1 EMR namenode 和datanode节点 之间没有做免登陆的配置 ssh的时候必须带私钥 如: ssh -i ~/XXX.pem username@ip 登陆到dat.........【阅读全文】
发布时间:2014-03-21 21:08:45
刚刚开始全部使用亚马逊的boto sdk 的api去使用s3后来发现awscli 非常的好用现在经常使用的cp命令进行下总结总结1 单个文件的cp aws s3 cp s3://bucket/path/ .2 多个文件的down aws s3 cp s3://bucket/path/.........【阅读全文】
发布时间:2014-03-21 21:00:53
1 如果安装pip, 则很简单 直接一句话就可以了 pip install awscli --user2 如果没有安装pip就比较悲剧了, 我就是属于比较悲剧的。 下面是安装pip的过程2.1 安装ez_setup.py &n.........【阅读全文】
发布时间:2014-03-21 20:48:10
公司现在使用亚马逊的emr和存储服务,因此决定写写亚马逊的一些使用心得,方便初学者。完全没有安装其他软件的情况下安装awscli 1 安装ruby awscli要求ruby的版本比较低,如果ruby的版本高于1.8.7 ,一定要再装一个1.8.7版本的。&.........【阅读全文】