Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4218496
  • 博文数量: 291
  • 博客积分: 8003
  • 博客等级: 大校
  • 技术积分: 4275
  • 用 户 组: 普通用户
  • 注册时间: 2010-10-30 18:28
文章分类

全部博文(291)

文章存档

2017年(1)

2013年(47)

2012年(115)

2011年(121)

2010年(7)

分类: LINUX

2011-05-21 16:36:37

我在项目设计时设计系统容量计算出
当一个域名使用10个IP段时,4G的内存应该能支持到150个域名,但是写完代码后发现实际测试最多只是支持到90个。经过计算发现实际申请的内存总和达不到4G,其他的内存消耗在哪里呢?
最后发现消耗在malloc的次数上。
下面是我做的一个实验:《多次申请小块内存和少量申请大块内存比较测试》
1.被测试程序many_malloc.c :
  1. #include<stdio.h>
  2. #include<stdlib.h>
  3. #include<math.h>
  4. int main(int argc,char**argv){
  5.         if(argc < 3){
  6.                 printf("need malloc size and per malloc size");
  7.                 return 1;
  8.         }
  9.         //内存申请总量
  10.         int total_size=atoi(argv[1]);
  11.         //每次申请的大小
  12.         int per_size=atoi(argv[2]);
  13.         //申请的次数
  14.         int n=(int)total_size/per_size;
  15.         int i=0;
  16.         printf("malloc %d block\n",n);
  17.         //malloc memory
  18.         char**p=(char**)malloc(sizeof(char*)*n);
  19.         for(i=0;i<n;i++){
  20.            p[i]=(char*)malloc(sizeof(char)*per_size);
  21.         }
  22.         //这里等待10秒,这段时间,可以测试程序实际占用内存大小
  23.         sleep(10);
  24.         //free memory
  25.         for(i=0;i<n;i++){
  26.            free(p[i]);
  27.         }
  28.         free(p);
  29. }
2.测试内存使用大小shell脚本,其中$!是上一个程序的pid
  1. $1 &
  2. echo "$1 pid:$!"
  3. sleep 3
  4. pmap $!|grep total|awk -v pid="$!" '{print "pid",pid," memory:",$2}'
3.测试结果
4.结果分析
 1)申请内存总量相同的情况下,申请的次数越多,则要申请的指针越多,因而占用的内存就更大,甚至比要申请的总量还大,例如每次申请1字节的时候,就得申请1M个指针(而在32位下每个指针为4B),也就多出了4MB的内存。
 2)每次申请1字节的时候,按照上面的计算应该是多出4MB,但是时间测试时,却多出了21MB,这样还差17MB没有找到
   我找了malloc.c的源码,里面定义了
   
  1. #define MINSIZE (sizeof(struct malloc_chunk) + SIZE_SZ) /* MUST == 16! */
也就是说malloc里最小占用的是16字节,也就是说malloc每次申请的大小不是按照申请的大小来申请的,而是多申请了额外的16字节。还差的17MB应该是这个原因导致的。
3)理论上申请一块内存应该是占用最小的,但是上面出现一次申请1MB反而比4096小,这个目前尚未找到原因。
5.结论
 1)写程序时(无论是那种语音),申请内存时,最好一次申请好需要使用的内存,不要一次次申请内存。可以一次申请一块大内存,用偏移访问。
 2)不要申请过多的指针,指针可以加快访问速度,但是同时也占用了内存,最好反复使用。
 3)申请内存时,最好申请大小为2的幂的内存块,这样可以尽量减少内存碎片,而最大限度地降低潜在的malloc性能丧失。也就是说,所分配的内存块大小最好为4字节、8字节、16字节,尽管看起来这好像浪费了空间,但也容易看出浪费的空间永远不会超过50%。最好的是每次分配的大小是系统页的大小的整数倍,那就更好。


end



阅读(3558) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~