linux下内存释放问题

 总有很多朋友对于Linux的内存管理有疑问,之前一篇[转]理解Linux的性能 日志似乎也没能清除大家的疑虑。而在新版核心中,似乎对这个问题提供了新的解决方法,特转出来给大家参考一下。最后,还附上我对这方法的意见,欢迎各位一同讨论。

当在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。这个问题,貌似有不少人在问,不过都没有看到有什么很好解决的办法。那么我来谈谈这个问题。

一、通常情况

先来说说free命令:
引用
[root@server ~]# free -m

totalusedfreesharedbufferscached

Mem:2491638601094

-/+buffers/cache:58191

Swap: 511 0 511

其中:

引用
total 内存总数

used已经使用的内存数

free空闲的内存数

shared多个进程共享的内存总额

buffersBufferCache和cachedPageCache磁盘缓存的大小

-buffers/cache的内存数:used-buffers-cached

+buffers/cache 的内存数:free + buffers + cached

可用的memory=freememory+buffers+cached。

有了这个基础后,可以得知,我现在used为163MB,free为86MB,buffer和cached分别为10MB,94MB。

那么我们来看看,如果我执行复制文件,内存会发生什么变化.
引用
[root@server ~]# cp -r /etc ~/test/

[root@server~]#free-m

totalusedfreesharedbufferscached

Mem:249244408174

-/+buffers/cache:62187

Swap: 511 0 511

在我命令执行结束后,used为244MB,free为4MB,buffers为8MB,cached为174MB,天呐,都被cached吃掉了。别紧张,这是为了提高文件读取效率的做法。

为 了提高磁盘存取效率,Linux做了一些精心的设计,除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还采取了两种主要 Cache方式:Buffer Cache和Page Cache。前者针对磁盘块的读写,后者针对文件inode的读写。 这些Cache有效缩短了 I/O系统调用(比如read,write,getdents)的时间。

buffers与cached的区别。

buffers是指用来给块设备做的缓冲大小,他只记录文件系统的metadata以及trackingin-flightpages.

cached是用来给文件做缓冲。

那就是说:buffers是用来存储,目录里面有什么内容,权限等等。

而cached直接用来记忆我们打开的文件

那么有人说过段时间,linux会自动释放掉所用的内存。等待一段时间后,我们使用free再来试试,看看是否有释放?

引用
[root@server test]# free -m

totalusedfreesharedbufferscached

Mem:249244508174

-/+buffers/cache:61188

Swap: 511 0 511

似乎没有任何变化。(实际情况下,内存的管理还与Swap有关)

那么我能否手动释放掉这些内存呢?回答是可以的!

二、手动释放缓存

/proc 是一个虚拟文件系统,我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件,来对当前 kernel的行为做出调整。那么我们可以通过调整/proc/sys/vm/drop_caches来释放内存。操作如下:
引用
[root@server test]# cat /proc/sys/vm/drop_caches0

首先,/proc/sys/vm/drop_caches的值,默认为0。

引用
[root@server test]# sync

手动执行sync命令(描述:sync 命令运行 sync 子例程。如果必须停止系统,则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件)

引用
[root@server test]# echo 3 > /proc/sys/vm/drop_caches

[root@servertest]#cat/proc/sys/vm/drop_caches

3

将/proc/sys/vm/drop_caches值设为3

引用
[root@server test]# free -m

totalusedfreesharedbufferscached

Mem:249661820011

-/+buffers/cache:55194

Swap: 511 0 511

再来运行free命令,会发现现在的used为66MB,free为182MB,buffers为0MB,cached为11MB。那么有效的释放了buffer和cache。

◎ 有关/proc/sys/vm/drop_caches的用法在下面进行了说明
引用
/proc/sys/vm/drop_caches (since Linux 2.6.16) 

Writingtothisfilecausesthekerneltodropcleancaches,

dentriesandinodesfrommemory,causingthatmemorytobecome

free.

To free pagecache, use echo 1 > /proc/sys/vm/drop_caches;
to free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;

tofreepagecache,dentriesandinodes,useecho3>/proc/sys/vm/drop_caches.

Becausethisisanon-destructiveoperationanddirtyobjects

are not freeable, the user should run sync first.

三、我的意见

上述文章就长期以来很多用户对Linux内存管理方面的疑问,给出了一个比较“直观”的回复,我更觉得有点像是核心开发小组的妥协。

对于是否需要使用这个值,或向用户提及这个值,我是有保留意见的:
引用
1、从man可以看到,这值从2.6.16以后的核心版本才提供,也就是老版的操作系统,如红旗DC 5.0、RHEL 4.x之前的版本都没有;2、若对于系统内存是否够用的观察,我还是原意去看swap的使用率和si/so两个值的大小;

用户常见的疑问是,为什么free这么小,是否关闭应用后内存没有释放?

但实际上,我们都知道这是因为Linux对内存的管理与Windows不同,free小并不是说内存不够用了,应该看的是free的第二行最后一个值:
引用
-/+ buffers/cache: 58 191

这才是系统可用的内存大小。

实际项目中告诉我们,如果因为是应用有像内存泄露、溢出的问题,从swap的使用情况是可以比较快速可以判断的,但free上面反而比较难查看。

相反,如果在这个时候,我们告诉用户,修改系统的一个值,“可以”释放内存,free就大了。用户会怎么想?不会觉得操作系统“有问题”吗?

所以说,我觉得既然核心是可以快速清空buffer或cache,也不难做到(这从上面的操作中可以明显看到),但核心并没有这样做(默认值是0),我们就不应该随便去改变它。

一般情况下,应用在系统上稳定运行了,free值也会保持在一个稳定值的,虽然看上去可能比较小。

当发生内存不足、应用获取不到可用内存、OOM错误等问题时,还是更应该去分析应用方面的原因,如用户量太大导致内存不足、发生应用内存溢出等情况,否则,清空buffer,强制腾出free的大小,可能只是把问题给暂时屏蔽了。

    我觉得,排除内存不足的情况外,除非是在软件开发阶段,需要临时清掉buffer,以判断应用的内存使用情况;或应用已经不再提供支持,即使应用对内存的时 候确实有问题,而且无法避免的情况下,才考虑定时清空buffer。 (可惜,这样的应用通常都是运行在老的操作系统版本上,上面的操作也解决不了)。 O(∩_∩)O哈哈~ 

我的结论:正常情况,不用处理!

参考1、http://www.wujianrong.com/archives/2007/09/linux_free.html

参考2、http://www.linuxfly.org/post/320/

Linux内存使用量查看free结果分析

Linux的内存管理,实际上跟windows的内存管理有很相像的地方,都是用虚拟内存这个的概念,

说到这里不得不骂MS,为什么在很多时候还有很大的物理内存的时候,却还是用到了pagefile.

所以才经常要跟一帮人吵着说Pagefile的大小,以及如何分配这个问题,

在Linux大家就不用再吵什么swap大小的问题,我个人认为,swap设个512M已经足够了,如果你问说512M的SWAP不够用怎么办?

只能说大哥你还是加内存吧,要不就检查你的应用,是不是真的出现了memoryleak.

夜也深了,就不再说废话了。

在Linux下查看内存我们一般用free

[root@nonamelinux~]#free

totalusedfreesharedbufferscached

Mem:3860243771168908021280155468

-/+buffers/cache:200368185656

Swap:3935520393552

下面是对这些数值的解释:

第二行(mem):

total:总计物理内存的大小。

used:已使用多大。

free:可用有多少。

Shared:多个进程共享的内存总额。

Buffers/cached:磁盘缓存的大小。

第三行(-/+buffers/cached):

used:已使用多大。

free:可用有多少。

第四行就不多解释了。

区别:

第二行(mem)的used/free与第三行(-/+buffers/cache)used/free的区别。

这两个的区别在于使用的角度来看,第一行是从OS的角度来看,因为对于OS,buffers/cached都是属于被使用,所以他的可用内存是8908KB,已用内存是377116KB,其中包括,内核(OS)使用+Application(X,oracle,etc)使用的+buffers+cached.

第三行所指的是从应用程序角度来看,对于应用程序来说,buffers/cached是等于可用的,因为buffer/cached是为了提高文件读取的性能,当应用程序需在用到内存的时候,buffer/cached会很快地被回收。

所以从应用程序的角度来说,可用内存=系统freememory+buffers+cached.

如上例:

185656=8908+21280+155468

接下来解释什么时候内存会被交换,以及按什么方交换。

当可用内存少于额定值的时候,就会开会进行交换.

如何看额定值(RHEL4.0):

#cat/proc/meminfo

交换将通过三个途径来减少系统中使用的物理页面的个数: 

1.减少缓冲与页面cache的大小,

2.将系统V类型的内存页面交换出去, 

3.换出或者丢弃页面。(Application占用的内存页,也就是物理内存不足)。

事实上,少量地使用swap是不会影响到系统性能的。

Linux 内存管理机制简介

 在Linux中经常发现空闲内存很少,似乎所有的内存都被系统占用了,表面感觉是内存不够用了,其实不然。这是Linux内存管理的一个优秀特性,在这方面,区别于 Windows的内存管理。主要特点是,无论物理内存有多大,Linux都将其充份利用,将一些程序调用过的硬盘数据读入内存,利用内存读写的高速特性来提高Linux系统的数据访问性能。而Windows是只在需要内存时,才为应用程序分配内存,并不能充分利用大容量的内存空间。换句话说,每增加一些物理内存,Linux都将能充分利用起来,发挥了硬件投资带来的好处,而Windows只将其做为摆设,即使增加8GB甚至更大。

Linux的这一特性,主要是利用空闲的物理内存,划分出一部份空间,做为cache和buffers,以此提高数据访问性能。

  1、什么是cache?

页高速缓存(cache)是Linux内核实现的一种主要磁盘缓存。它主要用来减少对磁盘的I/O操作。具体地讲,是通过把磁盘中的数据缓存到物理内存中,把对磁盘的访问变为对物理内存的访问。

磁盘高速缓存的价值在于两个方面:第一,访问磁盘的速度要远远低于访问内存的速度,因此,从内存访问数据比从磁盘访问速度更快。第二,数据一旦被访问,就很有可能在短期内再次被访问到。

页高速缓存是由内存中的物理页组成的,缓存中每一页都对应着磁盘中的多个块。每当内核开始执行一个页I/O操作时(通常是对普通文件中页大小的块进行磁盘操作),首先会检查需要的数据是否在高速缓存中,如果在,那么内核就直接使用高速缓存中的数据,从而避免访问磁盘。

举个例子,当使用文本编辑器打开一个源程序文件时,该文件的数据就被调入内存。编辑该文件的过程中,越来越多的数据会相继被调入内存页。最后,当你编译它的时候,内核可以直接使用页高速缓存中的页,而不需要重新从磁盘读取该文件了。因为用户往往会反复读取或操作同一个文件,所以页高速缓存能减少大量的磁盘操作。

  2、cache如何更新?

由于页高速缓存的缓存作用,写操作实际上会被延迟。当页高速缓存中的数据比后台存储的数据更新时,那么该数据就被称做脏数据。在内存中累积起来的脏页最终必须被写回磁盘。在以下两种情况发生时,脏页被写回磁盘:

◆当空闲内存低于一个特定的阈值时,内核必须将脏页写回磁盘,以便释放内存。

◆当脏页在内存中驻留时间超过一个特定的阈值时,内核必须将超时的脏页写回磁盘,以确保脏页不会无限期地驻留在内存中。

在2.6内核中,由一群内核线程—pdflush后台回写例程统一执行两种工作。

首先,pdflush线程在系统中的空闲内存低于一个特定的阈值时,将脏页刷新回磁盘。该后台回写例程的目的在于在可用物理内存过低时,释放脏页以重新获得内存。特定的内存阈值可以通过dirty_background_ratiosysctl系统调用设置。当空闲内存比阈值:dirty_background_ratio还低时,内核便会调用函数wakeup_bdflush()唤醒一个pdflush线程,随后pdflush线程进一步调用函数background_writeout()开始将脏页写回磁盘。函数background_writeout()需要一个长整型参数,该参数指定试图写回的页面数目。函数background_writeout()会连续地写出数据,直到满足以下两个条件:

◆已经有指定的最小数目的页被写出到磁盘。

◆空闲内存数已经回升,超过了阈值dirty_background_ratio。

上述条件确保了pdflush操作可以减轻系统中内存不足的压力。回写操作不会在达到这两个条件前停止,除非pdflush写回了所有的脏页,没有剩下的脏页可再被写回了。

  为了满足第二个目标,pdflush后台例程会被周期性唤醒(和空闲内存是否过低无关),将那些在内存中驻留时间过长的脏页写出,确保内存中不会有长期存在的脏页。如果系统发生崩溃,由于内存处于混乱之中,所以那些在内存中还没来得及写回磁盘的脏页就会丢失,所以周期性同步页高速缓存和磁盘非常重要。在系统启动时,内核初始化一个定时器,让它周期地唤醒pdflush线程,随后使其运行函数wb_kupdate()。

Linux C 编程内存泄露检测工具(一):mtrace

Linux C 编程内存泄露检测工具(二):memwatch

构建高性能web之路------工具和环境准备篇

2)strace

strace能跟踪某个命令或进程的实际调用情况,会统计出它调用所有底层命令,如:

strace ll

会运行ll命令,并统计这次调用的全过程

strace -p 11234

会跟踪进程号11234,只到此进程结束为止

strace -c -p 11234

会跟踪进程号11234,只到此进程结束为止,并以统计视图展现

[root@B2Cmonitor ~]# ps -ef | grep nmon

root87657434016:50pts/100:00:00/nmon/nmon_x86_rhel45

root88448801016:51pts/200:00:00grepnmon

[root@B2Cmonitor~]#strace-c-p8765

Process8765attached-interrupttoquit

[ProcessPID=8765runsin32bitmode.]

Process8765detached

Systemcallusagesummaryfor32bitmode:

%timesecondsusecs/callcallserrorssyscall

--------------------------------------------------------------

nan0.00000001restart_syscall

nan0.000000044read

nan0.000000013write

nan0.00000001open

nan0.00000008time

nan0.000000017ioctl

nan0.00000008gettimeofday

nan0.000000021_llseek

nan0.000000044select

nan0.0000000161nanosleep

nan0.000000048rt_sigaction

nan0.000000032rt_sigprocmask

nan0.00000001mmap2

nan0.00000001fstat64

--------------------------------------------------------------

100.00    0.000000                   255         1 total

end