Chinaunix首页 | 论坛 | 博客
  • 博客访问: 104574280
  • 博文数量: 19283
  • 博客积分: 9968
  • 博客等级: 上将
  • 技术积分: 196062
  • 用 户 组: 普通用户
  • 注册时间: 2007-02-07 14:28
文章分类

全部博文(19283)

文章存档

2011年(1)

2009年(125)

2008年(19094)

2007年(63)

分类: C/C++

2008-05-18 13:51:14

作者: emerald  出自:
读写文件时的缓存机制与windows不同,以致于读写大文件时cached值非常大且居高不下。

近几天用oracle,发现oracle狂用内存,经常内存小到10M的规模。汗一个,赶快让经理买了新的1G内存来装,上去后发现根本认不出来。加班一多小时才发现386内核根本不认高端内存(HIGHMEM),所以内存极限一直是896M。以前是1G内存,所以看不出来,现在换了1.5G,看出来了。

赶快上了一个2.6.12-1-686的内核,然后重启,认出来了。不过free还是只有32M左右,我们大惊小怪的打电话到oracle那里去咨询,得到的答复是要安装完整的补丁,并且要用oracle认证过的服务器。oracle认证了啥服务器?RedHatEnterpriseAS3/4,那个东西要收费的,而且绝对不便宜。最后无奈,做了一次不启动oracle的测试。出乎我们意料的,mysql吃了多数的内存。具体造成这种状况的原因是啥呢?

偶查阅了linux内存管理资料,发现linux的内存管理计数上讲的东西和windows讲的有很大差异。下面具体列举下几种计数、查看方式和含义。

total mem,可以用top free查看出来。
free mem,可以用top free vmstat查看出来。
used mem,可以用top free查看出来.
buffer mem,可以用top free vmstat查看出来。
shared mem,可以用free查看出来。
swap mem,可以用top查看出来。
swap used,可以用top vmstat查看出来。
cached mem,可以用top free vmstat查看出来。
active mem,可以用free vmstat -a查看出来,即cached used。
inactive mem,可以用free vmstat -a查看出来,即cached free。

其中total mem是除去系统外的可用内存,系统大约占1M多。然后分配给free mem和used mem。used mem又包括了内核表使用(例如GDT),程序使用,buffer,cached。所以

cached mem=active mem+inactive mem
total mem=free mem+used mem
used mem=内核表使用+程序使用物理内存+buffer mem+cached mem

略去内核表使用,这个式子可以变形成这样:

程序使用总内存=swap used+程序使用物理内存
=swap used+used mem-buffer mem-cached mem
=total mem-free mem+swap used-buffer mem-cached mem

根据所有系统内存管理的恒等式:
程序使用总内存+一次可申请内存=total mem+swap used

我们可以计算出:
一次可申请内存=free mem+buffer mem+cached mem(事实上要略小于这个值)

程序使用的部分swap出去部分,占用total部分,剩下的就是一次可以申请的最大值。多次申请造成这个值太小就继续向swap里面交换。

首先解释buffer和cached区别。通俗的讲,buffer中放的是对象数据结构,而cached中放的是无结构的块数据。cached可以缓冲任何标准的块设备,而不用管是什么东西。其中涉及写通和写回的概念,大家自己看去吧。

然后是程序使用物理内存的概念。程序的总内存等于交换出去的部分加上程序使用物理内存。而程序使用的总内存和各个程序的内存占用是什么关系呢?这个又要涉及共用页面的问题。

windows中也有类似概念,如果两个页面内容相同,那么在内存中保留一份就可以了。这个是动态链接库/动态共享库的理论基础。所以所有进程的shared mem只有一份copy。进程使用的Data+Stack是数据空间,code是代码空间,两者和减去shared mem是私有空间,也就是俗称的进程内存占用。将所有内存占用求和加上shared mem的和,就得到了程序的总内存。

Linux的cached和windows的一个很大差异在于,windows的磁盘缓存是读写缓存队列。写入操作和预读取操作在队列中排序。完了就释放了,主要用于平缓读写瓶颈。读取预测机制才是增加命中的重头。linux的cached读写完了一直不释放,直到内存不足再释放。释放的速度来说应该是没有问题的,毕竟数据已经写入了,只差一个数据结构标志位修改而已。这种机制主要对应高命中率,如果重复使用相同文件(应该说是相同块设备的相同offset)。那么缓存机制永远只要读一次,写入次数也远远小于应当的写入次数。

根据上面一次可申请内存的计算公式,可以知道这次偶死在哪里了吧。
阅读(338) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~