<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">After stopping the load FS still hogs 22.1% of memory.<br>   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                        <br>

15995 freeswit  -2 -10 4677m 873m 5028 S    0 22.1 755:28.65 freeswitch     </blockquote><div><br></div>Until you test with the version you&#39;re building from master I would ignore the memory usage since you&#39;re running a version with known memory leaks.<br>

<br>-Steve<br><br><br><br>On 8 March 2013 18:15, bratner bratner &lt;<a href="mailto:ratner2@gmail.com">ratner2@gmail.com</a>&gt; wrote:<br>&gt; Here is sipp output and additional numbers for a test I ran with -nosql<br>
&gt; param.<br>
&gt;<br>&gt; The test ran 180CPS for ~3500seconds and the rest with 210cps.<br>&gt;<br>&gt; Trouble (as in higher system cpu% ) started to appear around 8591seconds<br>&gt; into the test.<br>&gt; As you can see below the problem started just before 9124sec into the test <br>

&gt; 210cps 5sec calls<br>&gt; should not give you a lot more then 1050 concurrent calls.<br>&gt;<br>&gt; ------------------------------ Scenario Screen -------- [1-9]: Change Screen<br>&gt; --<br>&gt;   Call-rate(length)   Port   Total-time  Total-calls  Remote-host<br>

&gt; 210.0(5000 ms)/1.000s   5061    9157.32 s      1834024 <br>&gt; 192.96.201.164:5060(UDP)<br>&gt;<br>&gt;   0 new calls during 0.000 s period      0 ms scheduler resolution<br>&gt;   0 calls (limit 2000)                   Peak was 2000 calls, after 9124 s<br>

&gt;   0 Running, 4640 Paused, 0 Woken up<br>&gt;   20 dead call msg (discarded)           0 out-of-call msg (discarded)       <br>&gt;   1 open sockets                       <br>&gt;<br>&gt;                                  Messages  Retrans   Timeout  <br>

&gt; Unexpected-Msg<br>&gt;       INVITE ----------&gt;         1834024   74        0                 <br>&gt;          100 &lt;----------         1834024   0         0         0       <br>&gt;          180 &lt;----------         1834024   0         0         0       <br>

&gt;          183 &lt;----------         0         0         0         0       <br>&gt;          500 &lt;----------         0         0         0         0       <br>&gt;          502 &lt;----------         0         0         0         0       <br>

&gt;          503 &lt;----------         0         0         0         0       <br>&gt;          408 &lt;----------         0         0         0         0       <br>&gt;          480 &lt;----------         0         0         0         0       <br>

&gt;          200 &lt;----------  E-RTD1 1834024   81        0         0       <br>&gt;<br>&gt;          ACK ----------&gt;         1834024   81                          <br>&gt;        Pause [   5000ms]         1834024                       0       <br>

&gt;          BYE ----------&gt;         1834024   7646      0                 <br>&gt;          503 &lt;----------         0         0         0         0       <br>&gt;          200 &lt;----------         1834024   0         0         0       <br>

&gt;<br>&gt; ------------------------------ Test Terminated<br>&gt; --------------------------------<br>&gt;<br>&gt;<br>&gt; ----------------------------- Statistics Screen ------- [1-9]: Change Screen<br>&gt; --<br>&gt;   Start Time             | 2013-03-08    15:22:18:204    1362756138.204833           <br>

&gt;   Last Reset Time        | 2013-03-08    17:54:55:535    1362765295.535214           <br>&gt;   Current Time           | 2013-03-08    17:54:55:535    1362765295.535437           <br>&gt; -------------------------+---------------------------+--------------------------<br>

&gt;   Counter Name           | Periodic value            | Cumulative value<br>&gt; -------------------------+---------------------------+--------------------------<br>&gt;   Elapsed Time           | 00:00:00:000              | 02:32:37:330            <br>

&gt;   Call Rate              |    0.000 cps              |  200.279 cps            <br>&gt; -------------------------+---------------------------+--------------------------<br>&gt;   Incoming call created  |        0                  |        0                <br>

&gt;   OutGoing call created  |        0                  |  1834024                <br>&gt;   Total Call created     |                           |  1834024                <br>&gt;   Current Call           |        0                  |                         <br>

&gt; -------------------------+---------------------------+--------------------------<br>&gt;   Successful call        |        0                  |  1834024                <br>&gt;   Failed call            |        0                  |        0                <br>

&gt; -------------------------+---------------------------+--------------------------<br>&gt;   Response Time 1        | 00:00:00:000              | 00:00:00:149            <br>&gt;   Call Length            | 00:00:00:000              | 00:00:05:158            <br>

&gt; ------------------------------ Test Terminated<br>&gt; --------------------------------<br>&gt;<br>&gt;<br>&gt; After stopping the load FS still hogs 22.1% of memory.<br>&gt;   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                       <br>

&gt; 15995 freeswit  -2 -10 4677m 873m 5028 S    0 22.1 755:28.65 freeswitch                                                                                                                                    <br>&gt;<br>
&gt;<br>
&gt; The symptoms of the crash are the same, just now with higher CPS and takes<br>&gt; more time (more calls ) before crashing.<br>&gt;<br>&gt; I will appreciate any suggestion.<br>&gt;<br>&gt; Regards,<br>&gt; Boris Ratner.<br>

&gt;<br>&gt;<br>&gt;<br>&gt; On Fri, Mar 8, 2013 at 6:22 PM, bratner bratner &lt;<a href="mailto:ratner2@gmail.com">ratner2@gmail.com</a>&gt; wrote:<br>&gt;&gt;<br>&gt;&gt; The original test was done on git master at the date mentioned. The sqlite<br>

&gt;&gt; core.db file was on /run/shm which is a tmpfs on unbuntu 12.04.<br>&gt;&gt; I will be recompiling from git master and test running with -nosql.<br>&gt;&gt;<br>&gt;&gt; Testing my existing setup with -nosql seems more stable now running at<br>

&gt;&gt; 210CPS for some time (500k calls already passed) with ~35% idle cpu.<br>&gt;&gt; But the free mem is slowly going down. I will let it run untill the kernel<br>&gt;&gt; will kill it to see how many calls it can handle.<br>

&gt;&gt;<br>&gt;&gt; During my tests i did not run FS with RT priority but according to htop<br>&gt;&gt; some of the threads are scheduled as RT.<br>&gt;&gt; My setup is doing bypass-media , thus FS handling only call establishment<br>

&gt;&gt; and teardown on both legs.<br>&gt;&gt;<br>&gt;&gt; cat /proc/&lt;FS pid&gt;/status<br>&gt;&gt;<br>&gt;&gt; Name:   freeswitch<br>&gt;&gt; State:  S (sleeping)<br>&gt;&gt; Tgid:   15995<br>&gt;&gt; Pid:    15995<br>

&gt;&gt; PPid:   1<br>&gt;&gt; TracerPid:      0<br>&gt;&gt; Uid:    999     999     999     999<br>&gt;&gt; Gid:    999     999     999     999<br>&gt;&gt; FDSize: 64<br>&gt;&gt; Groups:<br>&gt;&gt; VmPeak:  5002808 kB<br>

&gt;&gt; VmSize:  5002088 kB<br>&gt;&gt; VmLck:         0 kB<br>&gt;&gt; VmPin:         0 kB<br>&gt;&gt; VmHWM:    625900 kB<br>&gt;&gt; VmRSS:    624156 kB  &lt;-- this is going up<br>&gt;&gt; VmData:  4855788 kB<br>&gt;&gt; VmStk:       136 kB<br>

&gt;&gt; VmExe:        20 kB<br>&gt;&gt; VmLib:     18288 kB<br>&gt;&gt; VmPTE:      2352 kB<br>&gt;&gt; VmSwap:        0 kB<br>&gt;&gt; Threads:        1866<br>&gt;&gt; SigQ:   0/18446744073709551615<br>&gt;&gt; SigPnd: 0000000000000000<br>

&gt;&gt; ShdPnd: 0000000000000000<br>&gt;&gt; SigBlk: 0000000000000000<br>&gt;&gt; SigIgn: 0000000010003006<br>&gt;&gt; SigCgt: 0000000180014209<br>&gt;&gt; CapInh: 0000000000000000<br>&gt;&gt; CapPrm: 0000000000000000<br>

&gt;&gt; CapEff: 0000000000000000<br>&gt;&gt; CapBnd: ffffffffffffffff<br>&gt;&gt; Cpus_allowed:   ffffff<br>&gt;&gt; Cpus_allowed_list:      0-23<br>&gt;&gt; Mems_allowed:   00000000,00000003<br>&gt;&gt; Mems_allowed_list:      0-1<br>

&gt;&gt; voluntary_ctxt_switches:        1803<br>&gt;&gt; nonvoluntary_ctxt_switches:     23<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; output of &#39;top -H&#39; at 180CPS<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; top - 15:27:00 up 2 days,  5:32,  5 users,  load average: 8.19, 91.07,<br>

&gt;&gt; 65.03<br>&gt;&gt; Tasks: 2066 total,   3 running, 2063 sleeping,   0 stopped,   0 zombie<br>&gt;&gt; Cpu(s): 50.1%us,  3.9%sy,  0.0%ni, 45.9%id,  0.0%wa,  0.0%hi,  0.2%si, <br>&gt;&gt; 0.0%st<br>&gt;&gt; Mem:   4038512k total,  2282260k used,  1756252k free,   114112k buffers<br>

&gt;&gt; Swap:        0k total,        0k used,        0k free,  1165868k cached<br>&gt;&gt;<br>&gt;&gt;   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                       <br>

&gt;&gt; 16000 freeswit  RT -10 4885m 594m 4964 R   69 15.1   3:10.26 freeswitch                                                                                                                                    <br>&gt;&gt; 16009 freeswit  RT -10 4885m 594m 4964 S   33 15.1   1:26.20 freeswitch                                                                                                                                    <br>

&gt;&gt; 16008 freeswit  RT -10 4885m 594m 4964 S   28 15.1   1:17.30 freeswitch                                                                                                                                    <br>&gt;&gt; 16007 freeswit  RT -10 4885m 594m 4964 S    4 15.1   0:10.80 freeswitch                                                                                                                                    <br>

&gt;&gt; 16004 freeswit  RT -10 4885m 594m 4964 S    2 15.1   0:06.63 freeswitch                                                                                                                                    <br>&gt;&gt; 19171 root      20   0 18988 2948  944 R    2  0.1   0:00.64 top                                                                                                                                           <br>

&gt;&gt; 18735 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:00.29 freeswitch                                                                                                                                    <br>&gt;&gt; 16003 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:01.61 freeswitch                                                                                                                                    <br>

&gt;&gt; 16690 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:00.42 freeswitch                                                                                                                                    <br>&gt;&gt; 16730 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:00.42 freeswitch                                                                                                                                    <br>

&gt;&gt; 16750 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:00.45 freeswitch                                                                                                                                    <br>&gt;&gt; 16764 freeswit  -2 -10 4885m 594m 4964 S    1 15.1   0:00.44 freeswitch                                                                                                                                    <br>

&gt;&gt; &lt;more of the above&gt;<br>&gt;&gt; ....<br>&gt;&gt; ....<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Thanks to all of you ,<br>&gt;&gt; Boris Ratner.<br>&gt;&gt;<br>&gt;&gt; On Fri, Mar 8, 2013 at 4:22 AM, Dmitry Lysenko &lt;<a href="mailto:dvl36.ripe.nick@gmail.com">dvl36.ripe.nick@gmail.com</a>&gt;<br>

&gt;&gt; wrote:<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; I can&#39;t reproduce such cps load on my ARMv5TE system. )<br>&gt;&gt;&gt; bratner, please give us &#39;top -H&#39;. I guess freeswitch running at realtime<br>&gt;&gt;&gt; priority. <br>

&gt;&gt;&gt;<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; 2013/3/8 Ken Rice &lt;<a href="mailto:krice@freeswitch.org">krice@freeswitch.org</a>&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Sqlite is probably getting hammered... Trust me... Mount the fs db dir<br>

&gt;&gt;&gt;&gt; as tmpfs or use the –nosql flag when starting freeswitch<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; I routinely run dialer traffic at much higher CPS then that<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>

&gt;&gt;&gt;&gt; On 3/7/13 7:58 PM, &quot;Dmitry Lysenko&quot; &lt;<a href="mailto:dvl36.ripe.nick@gmail.com">dvl36.ripe.nick@gmail.com</a>&gt; wrote:<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; bi, bo and wa field is low, so it seems that is not disk subsystem.<br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; 2013/3/8 Ken Rice &lt;<a href="mailto:krice@freeswitch.org">krice@freeswitch.org</a>&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; You are probably hammering the disk subsystem... Keep in mind that FS<br>

&gt;&gt;&gt;&gt; uses multiple sqlite databases by default... Mount the fs db dir as tmpfs<br>&gt;&gt;&gt;&gt; and try again<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; On 3/7/13 7:35 PM, &quot;Dmitry Lysenko&quot; &lt;<a href="mailto:dvl36.ripe.nick@gmail.com">dvl36.ripe.nick@gmail.com</a><br>

&gt;&gt;&gt;&gt; &lt;<a href="http://dvl36.ripe.nick@gmail.com">http://dvl36.ripe.nick@gmail.com</a>&gt; &gt; wrote:<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Hm... But what about huge interrupt and context switching  number?<br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; ________________________________<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; _________________________________________________________________________<br>&gt;&gt;&gt;&gt; Professional FreeSWITCH Consulting Services:<br>

&gt;&gt;&gt;&gt; <a href="mailto:consulting@freeswitch.org">consulting@freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://www.freeswitchsolutions.com">http://www.freeswitchsolutions.com</a><br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>

&gt;&gt;&gt;&gt; <a href="http://www.cudatel.com">http://www.cudatel.com</a><br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Official FreeSWITCH Sites<br>&gt;&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>

&gt;&gt;&gt;&gt; <a href="http://wiki.freeswitch.org">http://wiki.freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://www.cluecon.com">http://www.cluecon.com</a><br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; FreeSWITCH-users mailing list<br>

&gt;&gt;&gt;&gt; <a href="mailto:FreeSWITCH-users@lists.freeswitch.org">FreeSWITCH-users@lists.freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>

&gt;&gt;&gt;&gt; UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>&gt;&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; --<br>&gt;&gt;&gt;&gt; Ken<br>&gt;&gt;&gt;&gt; <a href="http://www.FreeSWITCH.org">http://www.FreeSWITCH.org</a><br>&gt;&gt;&gt;&gt; <a href="http://www.ClueCon.com">http://www.ClueCon.com</a><br>

&gt;&gt;&gt;&gt; <a href="http://www.OSTAG.org">http://www.OSTAG.org</a><br>&gt;&gt;&gt;&gt; <a href="http://irc.freenode.net">irc.freenode.net</a> #freeswitch<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; _________________________________________________________________________<br>

&gt;&gt;&gt;&gt; Professional FreeSWITCH Consulting Services:<br>&gt;&gt;&gt;&gt; <a href="mailto:consulting@freeswitch.org">consulting@freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://www.freeswitchsolutions.com">http://www.freeswitchsolutions.com</a><br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>&gt;&gt;&gt;&gt; <a href="http://www.cudatel.com">http://www.cudatel.com</a><br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Official FreeSWITCH Sites<br>

&gt;&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://wiki.freeswitch.org">http://wiki.freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://www.cluecon.com">http://www.cluecon.com</a><br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; FreeSWITCH-users mailing list<br>&gt;&gt;&gt;&gt; <a href="mailto:FreeSWITCH-users@lists.freeswitch.org">FreeSWITCH-users@lists.freeswitch.org</a><br>&gt;&gt;&gt;&gt; <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>

&gt;&gt;&gt;&gt; UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>&gt;&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>

&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; _________________________________________________________________________<br>&gt;&gt;&gt; Professional FreeSWITCH Consulting Services:<br>&gt;&gt;&gt; <a href="mailto:consulting@freeswitch.org">consulting@freeswitch.org</a><br>

&gt;&gt;&gt; <a href="http://www.freeswitchsolutions.com">http://www.freeswitchsolutions.com</a><br>&gt;&gt;&gt;<br>&gt;&gt;&gt; FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>&gt;&gt;&gt; <a href="http://www.cudatel.com">http://www.cudatel.com</a><br>

&gt;&gt;&gt;<br>&gt;&gt;&gt; Official FreeSWITCH Sites<br>&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>&gt;&gt;&gt; <a href="http://wiki.freeswitch.org">http://wiki.freeswitch.org</a><br>

&gt;&gt;&gt; <a href="http://www.cluecon.com">http://www.cluecon.com</a><br>&gt;&gt;&gt;<br>&gt;&gt;&gt; FreeSWITCH-users mailing list<br>&gt;&gt;&gt; <a href="mailto:FreeSWITCH-users@lists.freeswitch.org">FreeSWITCH-users@lists.freeswitch.org</a><br>

&gt;&gt;&gt; <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>&gt;&gt;&gt; UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>

&gt;&gt;&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>&gt;&gt;&gt;<br>&gt;&gt;<br>&gt;<br>&gt;<br>&gt; _________________________________________________________________________<br>&gt; Professional FreeSWITCH Consulting Services:<br>

&gt; <a href="mailto:consulting@freeswitch.org">consulting@freeswitch.org</a><br>&gt; <a href="http://www.freeswitchsolutions.com">http://www.freeswitchsolutions.com</a><br>&gt;<br>&gt; FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>

&gt; <a href="http://www.cudatel.com">http://www.cudatel.com</a><br>&gt;<br>&gt; Official FreeSWITCH Sites<br>&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>&gt; <a href="http://wiki.freeswitch.org">http://wiki.freeswitch.org</a><br>

&gt; <a href="http://www.cluecon.com">http://www.cluecon.com</a><br>&gt;<br>&gt; FreeSWITCH-users mailing list<br>&gt; <a href="mailto:FreeSWITCH-users@lists.freeswitch.org">FreeSWITCH-users@lists.freeswitch.org</a><br>&gt; <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>

&gt; UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>&gt; <a href="http://www.freeswitch.org">http://www.freeswitch.org</a><br>

&gt;<br>