我在项目设计时设计系统容量计算出
当一个域名使用10个IP段时,4G的内存应该能支持到150个域名,但是写完代码后发现实际测试最多只是支持到90个。经过计算发现实际申请的内存总和达不到4G,其他的内存消耗在哪里呢?
最后发现消耗在malloc的次数上。
下面是我做的一个实验:《多次申请小块内存和少量申请大块内存比较测试》
1.被测试程序many_malloc.c :
- #include<stdio.h>
-
#include<stdlib.h>
-
#include<math.h>
-
int main(int argc,char**argv){
-
if(argc < 3){
-
printf("need malloc size and per malloc size");
-
return 1;
-
}
-
//内存申请总量
-
int total_size=atoi(argv[1]);
-
//每次申请的大小
-
int per_size=atoi(argv[2]);
-
//申请的次数
-
int n=(int)total_size/per_size;
-
int i=0;
-
printf("malloc %d block\n",n);
-
//malloc memory
-
char**p=(char**)malloc(sizeof(char*)*n);
-
for(i=0;i<n;i++){
-
p[i]=(char*)malloc(sizeof(char)*per_size);
-
}
-
//这里等待10秒,这段时间,可以测试程序实际占用内存大小
-
sleep(10);
-
//free memory
-
for(i=0;i<n;i++){
-
free(p[i]);
-
}
-
free(p);
-
}
2.测试内存使用大小shell脚本,其中$!是上一个程序的pid
- $1 &
-
echo "$1 pid:$!"
-
sleep 3
-
pmap $!|grep total|awk -v pid="$!" '{print "pid",pid," memory:",$2}'
3.测试结果
4.结果分析
1)申请内存总量相同的情况下,申请的次数越多,则要申请的指针越多,因而占用的内存就更大,甚至比要申请的总量还大,例如每次申请1字节的时候,就得申请1M个指针(而在32位下每个指针为4B),也就多出了4MB的内存。
2)每次申请1字节的时候,按照上面的计算应该是多出4MB,但是时间测试时,却多出了21MB,这样还差17MB没有找到
我找了malloc.c的源码,里面定义了
- #define MINSIZE (sizeof(struct malloc_chunk) + SIZE_SZ) /* MUST == 16! */
也就是说malloc里最小占用的是16字节,也就是说malloc每次申请的大小不是按照申请的大小来申请的,而是多申请了额外的16字节。还差的17MB应该是这个原因导致的。
3)理论上申请一块内存应该是占用最小的,但是上面出现一次申请1MB反而比4096小,这个目前尚未找到原因。
5.结论
1)写程序时(无论是那种语音),申请内存时,最好一次申请好需要使用的内存,不要一次次申请内存。可以一次申请一块大内存,用偏移访问。
2)不要申请过多的指针,指针可以加快访问速度,但是同时也占用了内存,最好反复使用。
3)申请内存时,最好申请大小为2的幂的内存块,这样可以尽量减少内存碎片,而最大限度地降低潜在的malloc性能丧失。也就是说,所分配的内存块大小最好为4字节、8字节、16字节,尽管看起来这好像浪费了空间,但也容易看出浪费的空间永远不会超过50%。最好的是每次分配的大小是系统页的大小的整数倍,那就更好。
end
阅读(3534) | 评论(0) | 转发(0) |