Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6814990
  • 博文数量: 1662
  • 博客积分: 16831
  • 博客等级: 上将
  • 技术积分: 12554
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-25 07:23
个人简介

柔中带刚,刚中带柔,淫荡中富含柔和,刚猛中荡漾风骚,无坚不摧,无孔不入!

文章分类

全部博文(1662)

文章存档

2021年(8)

2020年(24)

2019年(4)

2018年(19)

2017年(66)

2016年(60)

2015年(49)

2014年(201)

2013年(221)

2012年(638)

2011年(372)

分类: 系统运维

2014-01-07 17:35:13

MooseFS使用问题分析总结

2012-09-11 16:09 cnblogs.com cnblogs.com 字号: | 
一键收藏,随时查看,分享好友!

随着数据量越来越大,MFS的使用中也出现过一些问题,这里做了一些分析和总结,下面和大家分享一下。

AD:


随着数据量越来越大,MFS的使用中也出现过一些问题,这里做了一些分析和总结,下面和大家分享一下:

先提一下MFS出问题时出现比较频繁的两个信息:

  • 连接中断
  • 坏块问题

连接中断问题在Master端会出现如下错误:

		
  1. mfsmaster[15861]: connection with client(ip:10.11.18.175) has been closed by peer  
  2. 表示客户端和master的连接中断  
  3. mfsmaster[15861]: connection with ML(10.11.19.76) has been closed by peer  
  4. 表示Metalogger和Master的连接中断  
  5. mfsmaster[15861]: connection with CS(10.11.18.199) has been closed by peer  
  6. 表示ChunkServer和Master的连接中断 

原因分析可能如下:

  1. 网络闪断 - 正常现象,MFS本身可自动重连,不会造成问题
  2. Clinet或ChunkServer主动断开连接,如Kill进程,也会引起这种错误
  3. ChunkServer或Client到Master的连接超时,也会断开连接,引起超时可能有两个原因:
  • Client请求过多,引起Master请求队列已满,导致的连接超时
  • 网络响应慢引起的超时(和网络闪断区分)

解决办法:

  • 对于1、3出现引起的中断可不加理会,重点需关注2引起的问题:
  • 针对2-a:Client控制请求,如超高并发的读写删除,另需注意的操作是ls,大家知道Linux系统本身对一个目录下文件个数的显示是有限制的(如10W,那么涉及到的需遍历指令就会报错,list too long),同样,我们MFS中遍历目录下文件时也要注意,要遍历的文件数过多会导致超时引起连接被中断等问题。
  • 针对2-b: 合理分配带宽资源,优化网络环境解决。

备注:

Client或Chunk到Master的连接中断之后,会由Client或Chunk自动发出重连(Reconnection)和注册(Register)操作。

坏块问题在Master端会出现如下错误:

		
  1. mfsmaster[3250]: chunkserver has nonexistent chunk (000000000002139F_00000001), so create it for future deletion  
  2. mfsmaster[3250]: (10.11.18.199:9422) chunk: 000000000002139F creation status: 20  
  3. mfsmaster[3250]: chunk 000000000002139F has only invalid copies (1) – please repair it manually  
  4. mfsmaster[3250]: chunk 000000000002139F_00000001 – invalid copy on (10.11.18.199 – ver:00000000)  
  5. mfsmaster[3250]: currently unavailable chunk 000000000002139F (inode: 135845 ; index: 23) 

上述日志的意思是:有一个块在Master中有元数据信息,但ChunkServer中没有这个块,系统会自动在ChunkServer上创建此块为了后续删除,因为没有内容,所以是非法的copy,我们也无法访问到此块。

出现的原因可能有很多,如:

  • Client端大文件传输过程中,强制拔下master主机电源,造成master非法关闭,使用mfsmetarestore -a修复后,master日志报告有坏块
  • ChunkServer的csstats.mfs存放位置空间不足,导致文件块无法写入,也会引起块错误
  • 手动删除ChunkServer上的块文件
  • 删除文件后,Master非正常结束后重启,但没有结果changelog.mfs进行恢复,也会引起坏块

原因应该还有很多,后续有遇到再补充。

解决办法:

Client端使用mfsfilerepair对文件进行修复。

我理解坏块分为两种:

  • 一种是没有任何一个trunk节点有数据(修复工作其实就是生成chunk,在需要补充内容的地方填充0,这种块事后要删除)
  • 另一种是存在有数据块的节点(从存在的数据块copy,这里的块不需要删除)

修复之后可能出现如下日志信息:

		
  1. mfsmaster[3250]: chunk hasn’t been deleted since previous loop – retry  
  2. mfsmaster[3250]: (10.11.18.199:9422) chunk: 000000000002139F deletion status: 13 

Client端执行一个mv或rm 操作,master将不会再显示此信息,如:

		
  1. mv 80499644316259743_s.jpg 80499644316259743_s_1.jpg 


【编辑推荐】

阅读(656) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~