标签：malloc memory free new-operator linux

我们有一个运行许多CORBA Server进程的linux系统(kubuntu 7.10).
服务器软件使用glibc库进行内存分配.
linux PC具有4G物理内存.由于速度原因,交换被禁用.

收到处理数据的请求后,其中一个服务器进程将分配一个大数据缓冲区(使用标准C运算符“ new”).缓冲区大小取决于许多参数,但通常约为1.2G字节.最多可以达到1.9G字节.请求完成后,使用“删除”释放缓冲区.

这对于分配了相同大小的缓冲区的多个连续请求,或者该请求分配的大小小于前一个请求的连续请求,效果很好.
内存似乎没问题-否则,仅在几个请求之后,缓冲区分配尝试最终将失败.
无论如何,我们可以看到使用KSysGuard等工具为每个请求分配和释放了缓冲存储器.

当请求所需的缓冲区大于前一个缓冲区时,就会出现问题.
在这种情况下,运算符“ new”会引发异常.
好像已经从第一次分配中释放出来的内存似乎无法重新分配,即使有足够的可用物理内存.

如果我在第一次操作后终止并重新启动服务器进程,那么第二次请求更大缓冲区的请求成功.即终止进程似乎将释放的内存完全释放回系统.

任何人都可以对这里发生的事情提供解释吗？
可能是某种碎片或映射表大小的问题吗？
我正在考虑用malloc / free替换new / delete,并使用mallopt来调整将内存释放到系统的方式.

顺便说一句-我不确定这是否与我们的问题有关,但是服务器使用在每个处理请求中创建和销毁的Pthread.

解决方法:

如果这是一台32位计算机,则将拥有3Gb的地址空间供您使用-1Gb是为内核保留的,其中相当一部分地址空间将被共享库,exe文件,数据段等占用您应该查看/ proc / pid / maps以了解地址空间的布局.

很难知道有多少物理地址空间可用,您的所有系统进程,内核和其他进程都会吃掉它.假设这些总和不超过1Gb,您仍然可以使用3Gb.

可能正在发生碎片：

0Gb                                                     3Gb
---------------------~------------------------------------
|Stuff | Heap,1.2Gb allocated stuff | free heap   | Stack|
---------------------~------------------------------------

然后,您释放了大对象,但是在其他一些内存之间
分配,剩下的就是这个：

0Gb                                                         3Gb
---------------------~------------------------------------------
|Stuff | Heap,1.2Gb free |small object(s) | free heap   | Stack|
---------------------~------------------------------------------

如果您现在尝试分配更大的对象,则它将无法容纳在可用的1.2Gb空间中
而且也可能不适合自由堆空间,因为那可能没有足够的空间.

如果您大量使用堆栈,则可能是堆栈不断增长并占用了空间
否则可以用于堆空间-尽管默认情况下,大多数发行版将堆栈限制为8-10Mb.

使用malloc / realloc将无济于事.但是,如果您知道所需的最大对象的大小,则可以在启动时保留这么多的对象.该片永远都不应被释放/删除,而应该重新使用.但是,这是否会使您在其他地方陷入其他麻烦却很难确定-其他对象的可用空间会变小.

标签：malloc,memory,free,new-operator,linux
来源： https://codeday.me/bug/20191106/2000618.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。