最近测试了下hadoop读写数据的情况，将结果分享给大家，
datanode
mem：128G
cup：2cpu 26** 4核 共8核
namenode
mem：192G
cup：2cpu 26** 4核 共8核
datanode15台
namenode2台
单个文件2G 使用-put方式
data block repliction =3
3副本put（默认）7分钟
2副本put（指定）2分钟
1副本put（指定）25秒
hdfs dfs -D dfs.replication=1 -put hello125.txt /tmp
ambari查看network usge 一直处于(各IN/OUT)500M/秒
之后调整
data block repliction =2
2副本put（默认）30秒
1副本put（指定）10秒
看来hadoop群集设置block副本，对于数据传输还是很有影响的，安全与速度的选择问题。
希望可以帮助一些朋友，少走弯路。
阅读(2113) | 评论(0) | 转发(0) |
