Hi,<br><br>I am having difficulty trying to figure out why there are bunch of zombie channels in my system.  It seems to me that these zombies come from apr_thread pool.  <br><br>Does anyone have any idea what may be the cause of these problems?<br>
<br><br>freeswitch@internal&gt; show channels<br>uuid,direction,created,created_epoch,name,state,cid_name,cid_num,ip_addr,dest,application,application_data,dialplan,context,read_codec,read_rate,write_codec,write_rate,secure<br>
b789468a-4412-490b-bc66-32f149ba4d1d,outbound,2009-11-13 20:15:35,1258114535,sofia/external/<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,CS_REPORTING,a88999001,a88999001,192.168.1.116,<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,,,XML,default,,,,,<br>
7e1ecaaa-b2d8-47a0-9982-25cd44186d4e,outbound,2009-11-13 20:15:35,1258114535,sofia/external/<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,CS_REPORTING,a88999001,a88999001,192.168.1.116,<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,,,XML,default,,,,,<br>
01fa2ff6-f807-4ef0-b988-70a9fe8c4536,outbound,2009-11-13 20:15:35,1258114535,sofia/external/<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,CS_EXCHANGE_MEDIA,a88999001,a88999001,192.168.1.116,<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,incre_call_stat,125 165 182 235 13 3184093 0,XML,default,,,,,<br>
0271541f-f0b5-482c-b05d-b196f85121be,inbound,2009-11-13 20:15:35,1258114535,sofia/external/<a href="http://88999001@192.168.1.116:7342">88999001@192.168.1.116:7342</a>,CS_EXECUTE,sipp,88999001,192.168.1.116,88999100,hangup,NORMAL_CLEARING,XML,default,,,,,<br>
7e4ccfec-a4ad-4817-9a82-f1166b34576f,outbound,2009-11-13 20:15:35,1258114536,sofia/external/<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,CS_CONSUME_MEDIA,a88999001,a88999001,192.168.1.116,<a href="http://999100@192.168.1.116:9342">999100@192.168.1.116:9342</a>,,,XML,default,,,,,<br>
<br>5 total.<br><br>freeswitch@internal&gt; uuid_kill b789468a-4412-490b-bc66-32f149ba4d1d<br>-ERR No Such Channel!<br><br>These channels actually do not exist in the system!<br><br><br>Here is my gcore output with 5 zombies out of 100K test calls :<br>
<br><br>Thread 21 (process 8946):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>    at time/unix/time.c:246<br>
        tv = {tv_sec = 0, tv_usec = 128000}<br>#2  0x00002b3cb3bfb8ca in switch_console_loop () at src/switch_console.c:819<br>        arg = 1<br>        thread = (switch_thread_t *) 0x2aaab00320d0<br>        thd_attr = (switch_threadattr_t *) 0x2aaab0032070<br>
        pool = (switch_memory_pool_t *) 0x2aaab0031f88<br>        __func__ = &quot;switch_console_loop&quot;<br>        __PRETTY_FUNCTION__ = &quot;switch_console_loop&quot;<br>#3  0x0000000000402884 in main (argc=1, argv=&lt;value optimized out&gt;)<br>
    at src/switch.c:753<br>        pid_path = &quot;/usr/local/freeswitch/log/freeswitch.pid&quot;, &#39;\0&#39; &lt;repeats 219 times&gt;<br>        pid_buffer = &quot;8946&quot;, &#39;\0&#39; &lt;repeats 27 times&gt;<br>
        old_pid_buffer = &#39;\0&#39; &lt;repeats 31 times&gt;<br>        pid_len = 4<br>        old_pid_len = 4198811<br>        err = 0x2b3cb3cec77d &quot;Success&quot;<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>
        nf = 0<br>        runas_user = &lt;value optimized out&gt;<br>        runas_group = &lt;value optimized out&gt;<br>        nc = 0<br>        pid = &lt;value optimized out&gt;<br>        x = &lt;value optimized out&gt;<br>
        opts = &lt;value optimized out&gt;<br>        opts_str = &#39;\0&#39; &lt;repeats 1023 times&gt;<br>        local_argv = {0x7ffff6f08c15 &quot;./freeswitch&quot;, 0x0 &lt;repeats 1023 times&gt;}<br>        arg_argv = {0x0 &lt;repeats 128 times&gt;}<br>
        alt_dirs = 0<br>        known_opt = &lt;value optimized out&gt;<br>        high_prio = 0<br>        flags = 65<br>        ret = &lt;value optimized out&gt;<br>        destroy_status = &lt;value optimized out&gt;<br>
        fd = (switch_file_t *) 0xb6293e0<br>        pool = (switch_memory_pool_t *) 0xb629368<br>        rlp = {rlim_cur = 245760, rlim_max = 245760}<br>        waste = 0<br>        __PRETTY_FUNCTION__ = &quot;main&quot;<br>
<br>Thread 20 (process 20699):<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>
    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 0}<br>#2  0x00002aaaab35e926 in read_packet (listener=0x2aaae7523d08, <br>    event=0x2aab3b5ab058, timeout=0) at mod_event_socket.c:1255<br>        do_sleep = 1 &#39;\001&#39;<br>
        mlen = 0<br>        bytes = 0<br>        mbuf = &#39;\0&#39; &lt;repeats 2047 times&gt;<br>        buf = &#39;\0&#39; &lt;repeats 1023 times&gt;<br>        len = 123<br>        status = SWITCH_STATUS_BREAK<br>        count = &lt;value optimized out&gt;<br>
        start = 1258117263<br>        pop = (void *) 0x2aaad12f6540<br>        ptr = 0x2aab3b5a98a0 &quot;&quot;<br>        crcount = 0 &#39;\0&#39;<br>        channel = (switch_channel_t *) 0x0<br>        clen = &lt;value optimized out&gt;<br>
        __func__ = &quot;read_packet&quot;<br>        __PRETTY_FUNCTION__ = &quot;read_packet&quot;<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#3  0x00002aaaab36347a in listener_run (thread=&lt;value optimized out&gt;, <br>
    obj=0x2aaae7523d08) at mod_event_socket.c:2093<br>        listener = (listener_t *) 0x0<br>        buf = &#39;\0&#39; &lt;repeats 1023 times&gt;<br>        len = 1024<br>        status = &lt;value optimized out&gt;<br>
        event = (switch_event_t *) 0x0<br>        reply = &quot;\000OK log level  [7]&quot;, &#39;\0&#39; &lt;repeats 493 times&gt;<br>        session = (switch_core_session_t *) 0x0<br>        channel = &lt;value optimized out&gt;<br>
        revent = (switch_event_t *) 0x0<br>        var = &lt;value optimized out&gt;<br>        __PRETTY_FUNCTION__ = &quot;listener_run&quot;<br>        __func__ = &quot;listener_run&quot;<br>#4  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>
No symbol table info available.<br>#5  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 19 (process 14505):<br>#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>
   from /lib64/libpthread.so.0<br>No symbol table info available.<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0x2aaaaaf49798, data=0x7afe0080)<br>
    at misc/apr_queue.c:276<br>        rv = 0<br>#2  0x00002b3cb3c206be in switch_event_dispatch_thread (<br>    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;)<br>    at src/switch_event.c:248<br>        pop = (void *) 0x0<br>
        event = (switch_event_t *) 0x0<br>        queue = (switch_queue_t *) 0x2aaaaaf49798<br>        my_id = 1<br>        __func__ = &quot;switch_event_dispatch_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>
No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 18 (process 9334):<br>#0  0x0000003054e0d2cb in read () from /lib64/libpthread.so.0<br>
No symbol table info available.<br>#1  0x00002b3cb3cd50c8 in read_char (el=0x2aaab0028180, cp=0x4027002f &quot;&quot;)<br>    at read.c:294<br>        num_read = 1076297860<br>        tried = 0<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>
#2  0x00002b3cb3cd4ceb in el_gets (el=0x2aaab0028180, nread=0x40270084)<br>    at read.c:241<br>        cmdnum = 112 &#39;p&#39;<br>        num = -1321754256<br>        ch = 0 &#39;\0&#39;<br>#3  0x00002b3cb3bfc4bb in console_thread (thread=&lt;value optimized out&gt;, <br>
    obj=&lt;value optimized out&gt;) at src/switch_console.c:464<br>        arg = 1<br>        count = 1<br>        line = 0x2aaab0034e70 &quot;\n&quot;<br>        pool = (switch_memory_pool_t *) 0x2aaab0031f88<br>        __func__ = &quot;console_thread&quot;<br>
        __PRETTY_FUNCTION__ = &quot;console_thread&quot;<br>#4  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#5  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 17 (process 9333):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>
    at time/unix/time.c:246<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        tv = {tv_sec = 0, tv_usec = 0}<br>#2  0x00002b3cb3c53895 in softtimer_runtime () at src/switch_time.c:464<br>        current_ms = 692<br>
        x = 690<br>        tick = 292<br>        ts = &lt;value optimized out&gt;<br>        last = 1258117283599783<br>        fwd_errs = 0<br>        rev_errs = 0<br>        __func__ = &quot;softtimer_runtime&quot;<br>#3  0x00002b3cb3c1a347 in switch_loadable_module_exec (thread=0x0, obj=0x0)<br>
    at src/switch_loadable_module.c:94<br>        status = &lt;value optimized out&gt;<br>        ts = (switch_core_thread_session_t *) 0x0<br>        module = (switch_loadable_module_t *) 0xb6c4e00<br>        __PRETTY_FUNCTION__ = &quot;switch_loadable_module_exec&quot;<br>
        __func__ = &quot;switch_loadable_module_exec&quot;<br>#4  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#5  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 16 (process 9332):<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#0  0x0000003054e0d4eb in accept () from /lib64/libpthread.so.0<br>No symbol table info available.<br>
#1  0x00002b3cb3c707a4 in apr_socket_accept (new=0x416b4020, sock=0xbcfde38, <br>    connection_context=0x2aaacda27718) at network_io/unix/sockets.c:187<br>No locals.<br>#2  0x00002aaaab35f889 in mod_event_socket_runtime ()<br>
    at mod_event_socket.c:2324<br>        pool = (switch_memory_pool_t *) 0xbcfdc88<br>        listener_pool = (switch_memory_pool_t *) 0x2aaacda27718<br>        rv = &lt;value optimized out&gt;<br>        sa = (switch_sockaddr_t *) 0xbcfdd68<br>
        inbound_socket = (switch_socket_t *) 0x2aaacda277f8<br>        listener = &lt;value optimized out&gt;<br>        x = &lt;value optimized out&gt;<br>        __func__ = &quot;mod_event_socket_runtime&quot;<br>#3  0x00002b3cb3c1a347 in switch_loadable_module_exec (thread=0x14f, <br>
    obj=0x2aaacda27948) at src/switch_loadable_module.c:94<br>        status = &lt;value optimized out&gt;<br>        ts = (switch_core_thread_session_t *) 0x2aaacda27948<br>        module = (switch_loadable_module_t *) 0x2aaaac0058c0<br>
        __PRETTY_FUNCTION__ = &quot;switch_loadable_module_exec&quot;<br>        __func__ = &quot;switch_loadable_module_exec&quot;<br>#4  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>
No symbol table info available.<br>#5  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 15 (process 9330):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>
No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 55000}<br>#2  0x00002aaab503cc4c in node_thread_run (thread=&lt;value optimized out&gt;, <br>
    obj=&lt;value optimized out&gt;) at mod_fifo.c:580<br>        val = (void *) 0x0<br>        var = (const void *) 0x0<br>        idle_consumers = &lt;value optimized out&gt;<br>        hi = (switch_hash_index_t *) 0x0<br>
        ppl_waiting = 0<br>        consumer_total = 1087699264<br>        node = &lt;value optimized out&gt;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br><br>Thread 14 (process 9329):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>
#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 100}<br>#2  0x00002aaab44d77be in sofia_profile_worker_thread_run (<br>    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;) at sofia.c:763<br>
        profile = (sofia_profile_t *) 0xbce2310<br>        ireg_loops = 18<br>        gateway_loops = 0<br>        loops = 72<br>        qsize = 4294966782<br>        pop = (void *) 0x0<br>        __PRETTY_FUNCTION__ = &quot;sofia_profile_worker_thread_run&quot;<br>
#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 13 (process 9328):<br>
#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>
    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 0}<br>#2  0x00002aaab44d77be in sofia_profile_worker_thread_run (<br>    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;) at sofia.c:763<br>
        profile = (sofia_profile_t *) 0x2aaab000eb10<br>        ireg_loops = 5<br>        gateway_loops = 0<br>        loops = 93<br>        qsize = 4294966782<br>        pop = (void *) 0x0<br>        __PRETTY_FUNCTION__ = &quot;sofia_profile_worker_thread_run&quot;<br>
#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 12 (process 9327):<br>
#0  0x00000030542d3368 in epoll_wait () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002aaab45c9c9c in su_epoll_port_wait_events (self=0xbce71c0, tout=1000)<br>    at su_epoll_port.c:495<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>
        j = 198076976<br>        n = 0<br>        events = 0<br>        index = 10922<br>        version = 3<br>        M = 4<br>        ev = 0x41204ef0<br>        __PRETTY_FUNCTION__ = &quot;su_epoll_port_wait_events&quot;<br>
#2  0x00002aaab45d1079 in su_base_port_run (self=0xbce71c0)<br>    at su_base_port.c:349<br>        tout = 1000<br>        tout2 = 0<br>        __PRETTY_FUNCTION__ = &quot;su_base_port_run&quot;<br>#3  0x00002aaab45c6c51 in su_port_run (self=0xbce71c0) at su_port.h:326<br>
        base = (su_virtual_port_t *) 0xbce71c0<br>#4  0x00002aaab45c6c29 in su_root_run (self=0xbce72a0) at su_root.c:819<br>        __PRETTY_FUNCTION__ = &quot;su_root_run&quot;<br>#5  0x00002aaab45d8d58 in su_pthread_port_clone_main (varg=0x404f7ac0)<br>
    at su_pthread_port.c:324<br>        arg = (struct clone_args *) 0x0<br>        task = {{sut_port = 0xbce71c0, sut_root = 0xbce72a0}}<br>        zap = 1<br>#6  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>
---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>No symbol table info available.<br>#7  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 11 (process 9326):<br>
#0  0x00000030542d3368 in epoll_wait () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002aaab45c9c9c in su_epoll_port_wait_events (self=0xbce78b0, tout=1000)<br>    at su_epoll_port.c:495<br>        j = -1342070512<br>
        n = 10922<br>        events = 0<br>        index = 10922<br>        version = 3<br>        M = 4<br>        ev = 0x411c8ef0<br>        __PRETTY_FUNCTION__ = &quot;su_epoll_port_wait_events&quot;<br>#2  0x00002aaab45d1079 in su_base_port_run (self=0xbce78b0)<br>
    at su_base_port.c:349<br>        tout = 1000<br>        tout2 = 0<br>        __PRETTY_FUNCTION__ = &quot;su_base_port_run&quot;<br>#3  0x00002aaab45c6c51 in su_port_run (self=0xbce78b0) at su_port.h:326<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>
        base = (su_virtual_port_t *) 0xbce78b0<br>#4  0x00002aaab45c6c29 in su_root_run (self=0x2aaab001a060) at su_root.c:819<br>        __PRETTY_FUNCTION__ = &quot;su_root_run&quot;<br>#5  0x00002aaab45d8d58 in su_pthread_port_clone_main (varg=0x404bbac0)<br>
    at su_pthread_port.c:324<br>        arg = (struct clone_args *) 0x0<br>        task = {{sut_port = 0xbce78b0, sut_root = 0x2aaab001a060}}<br>        zap = 1<br>#6  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>
No symbol table info available.<br>#7  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 10 (process 9325):<br>#0  0x00000030542d3368 in epoll_wait () from /lib64/libc.so.6<br>
No symbol table info available.<br>#1  0x00002aaab45c9c9c in su_epoll_port_wait_events (self=0xbce6c30, tout=1000)<br>    at su_epoll_port.c:495<br>        j = -1268971119<br>        n = 10922<br>        events = 0<br>        index = 0<br>
        version = 1<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        M = 4<br>        ev = 0x404f7c40<br>        __PRETTY_FUNCTION__ = &quot;su_epoll_port_wait_events&quot;<br>#2  0x00002aaab45d11d4 in su_base_port_step (self=0xbce6c30, tout=1000)<br>
    at su_base_port.c:467<br>        now = {tv_sec = 3467106082, tv_usec = 971475}<br>        __PRETTY_FUNCTION__ = &quot;su_base_port_step&quot;<br>#3  0x00002aaab45c6d6a in su_port_step (self=0xbce6c30, tout=1000)<br>    at su_port.h:340<br>
        base = (su_virtual_port_t *) 0xbce6c30<br>#4  0x00002aaab45c6d32 in su_root_step (self=0xbce4650, tout=1000)<br>    at su_root.c:858<br>        __PRETTY_FUNCTION__ = &quot;su_root_step&quot;<br>#5  0x00002aaab44e5c3a in sofia_profile_thread_run (<br>
    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;) at sofia.c:973<br>        profile = (sofia_profile_t *) 0xbce2310<br>        pool = &lt;value optimized out&gt;<br>        node = (sip_alias_node_t *) 0x0<br>
        s_event = (switch_event_t *) 0x0<br>        sanity = &lt;value optimized out&gt;<br>        worker_thread = (switch_thread_t *) 0xbce36a0<br>        st = SWITCH_STATUS_SUCCESS<br>        __func__ = &quot;sofia_profile_thread_run&quot;<br>
---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        __PRETTY_FUNCTION__ = &quot;sofia_profile_thread_run&quot;<br>#6  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>
#7  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 9 (process 9324):<br>#0  0x00000030542d3368 in epoll_wait () from /lib64/libc.so.6<br>No symbol table info available.<br>
#1  0x00002aaab45c9c9c in su_epoll_port_wait_events (self=0xbcdffb0, tout=1000)<br>    at su_epoll_port.c:495<br>        j = -1268971119<br>        n = 10922<br>        events = 0<br>        index = 0<br>        version = 1<br>
        M = 4<br>        ev = 0x404bbc40<br>        __PRETTY_FUNCTION__ = &quot;su_epoll_port_wait_events&quot;<br>#2  0x00002aaab45d11d4 in su_base_port_step (self=0xbcdffb0, tout=1000)<br>    at su_base_port.c:467<br>        now = {tv_sec = 3467106083, tv_usec = 525146}<br>
        __PRETTY_FUNCTION__ = &quot;su_base_port_step&quot;<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#3  0x00002aaab45c6d6a in su_port_step (self=0xbcdffb0, tout=1000)<br>    at su_port.h:340<br>
        base = (su_virtual_port_t *) 0xbcdffb0<br>#4  0x00002aaab45c6d32 in su_root_step (self=0xbcdfe00, tout=1000)<br>    at su_root.c:858<br>        __PRETTY_FUNCTION__ = &quot;su_root_step&quot;<br>#5  0x00002aaab44e5c3a in sofia_profile_thread_run (<br>
    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;) at sofia.c:973<br>        profile = (sofia_profile_t *) 0x2aaab000eb10<br>        pool = &lt;value optimized out&gt;<br>        node = (sip_alias_node_t *) 0x0<br>
        s_event = (switch_event_t *) 0x0<br>        sanity = &lt;value optimized out&gt;<br>        worker_thread = (switch_thread_t *) 0x2aaab000fea0<br>        st = SWITCH_STATUS_SUCCESS<br>        __func__ = &quot;sofia_profile_thread_run&quot;<br>
        __PRETTY_FUNCTION__ = &quot;sofia_profile_thread_run&quot;<br>#6  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#7  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 8 (process 8999):<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>
#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 444000}<br>#2  0x00002b3cb3c14e2a in switch_scheduler_task_thread (<br>    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;)<br>
    at src/switch_scheduler.c:171<br>        __func__ = &quot;switch_scheduler_task_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 7 (process 8998):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>
    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 100}<br>#2  0x00002b3cb3c054f5 in switch_core_sql_thread (<br>    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;)<br>    at src/switch_core_sqldb.c:220<br>
---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        pop = (void *) 0x2aaabf3d6220<br>        itterations = 0<br>        trans = 0 &#39;\0&#39;<br>        nothing_in_queue = 1 &#39;\001&#39;<br>        len = 100<br>
        sql_len = 4844546<br>        sqlbuf = 0x2aab135c7010 &quot;&quot;<br>        sql = &lt;value optimized out&gt;<br>        newlen = &lt;value optimized out&gt;<br>        lc = 0<br>        __PRETTY_FUNCTION__ = &quot;switch_core_sql_thread&quot;<br>
        __func__ = &quot;switch_core_sql_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 6 (process 8995):<br>#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>   from /lib64/libpthread.so.0<br>No symbol table info available.<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0xb64c158, data=0x40893088)<br>
    at misc/apr_queue.c:276<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        rv = 0<br>#2  0x00002b3cb3c48ff1 in log_thread (t=&lt;value optimized out&gt;, <br>    obj=&lt;value optimized out&gt;) at src/switch_log.c:288<br>
        pop = (void *) 0x0<br>        node = (switch_log_node_t *) 0x0<br>        binding = (switch_log_binding_t *) 0x0<br>        __func__ = &quot;log_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>
No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 5 (process 8951):<br>#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>
   from /lib64/libpthread.so.0<br>No symbol table info available.<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0x2aaaaac355a8, data=0x40bec070)<br>    at misc/apr_queue.c:276<br>        rv = 0<br>#2  0x00002b3cb3c1fb14 in switch_event_thread (thread=&lt;value optimized out&gt;, <br>
    obj=&lt;value optimized out&gt;) at src/switch_event.c:291<br>        pop = (void *) 0x0<br>        event = &lt;value optimized out&gt;<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        queue = (switch_queue_t *) 0x2aaaaac355a8<br>
        index = 0<br>        my_id = 2<br>        __func__ = &quot;switch_event_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>Thread 4 (process 8950):<br>#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>   from /lib64/libpthread.so.0<br>No symbol table info available.<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0x2aaaaab705a8, data=0x4060a070)<br>
    at misc/apr_queue.c:276<br>        rv = 0<br>#2  0x00002b3cb3c1fb14 in switch_event_thread (thread=&lt;value optimized out&gt;, <br>    obj=&lt;value optimized out&gt;) at src/switch_event.c:291<br>        pop = (void *) 0x0<br>
        event = &lt;value optimized out&gt;<br>        queue = (switch_queue_t *) 0x2aaaaab705a8<br>        index = 0<br>        my_id = 1<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>        __func__ = &quot;switch_event_thread&quot;<br>
#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 3 (process 8949):<br>
#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>   from /lib64/libpthread.so.0<br>No symbol table info available.<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0xb638fa8, data=0x405ce070)<br>    at misc/apr_queue.c:276<br>
        rv = 0<br>#2  0x00002b3cb3c1fb14 in switch_event_thread (thread=&lt;value optimized out&gt;, <br>    obj=&lt;value optimized out&gt;) at src/switch_event.c:291<br>        pop = (void *) 0x0<br>        event = &lt;value optimized out&gt;<br>
        queue = (switch_queue_t *) 0xb638fa8<br>        index = 0<br>        my_id = 0<br>        __func__ = &quot;switch_event_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>
---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br><br>Thread 2 (process 8948):<br>#0  0x0000003054e0a899 in pthread_cond_wait@@GLIBC_2.3.2 ()<br>
   from /lib64/libpthread.so.0<br>No symbol table info available.<br>#1  0x00002b3cb3c63b42 in apr_queue_pop (queue=0x2aaaaacfa5a8, data=0x40592080)<br>    at misc/apr_queue.c:276<br>        rv = 0<br>#2  0x00002b3cb3c206be in switch_event_dispatch_thread (<br>
    thread=&lt;value optimized out&gt;, obj=&lt;value optimized out&gt;)<br>    at src/switch_event.c:248<br>        pop = (void *) 0x0<br>        event = (switch_event_t *) 0x0<br>        queue = (switch_queue_t *) 0x2aaaaacfa5a8<br>
        my_id = 0<br>        __func__ = &quot;switch_event_dispatch_thread&quot;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>
No symbol table info available.<br><br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>Thread 1 (process 8947):<br>#0  0x00000030542cc4c2 in select () from /lib64/libc.so.6<br>No symbol table info available.<br>
#1  0x00002b3cb3c72df5 in apr_sleep (t=&lt;value optimized out&gt;)<br>    at time/unix/time.c:246<br>        tv = {tv_sec = 0, tv_usec = 451000}<br>#2  0x00002b3cb3c00c95 in pool_thread (thread=&lt;value optimized out&gt;, <br>
    obj=&lt;value optimized out&gt;) at src/switch_core_memory.c:490<br>        x = &lt;value optimized out&gt;<br>#3  0x0000003054e06367 in start_thread () from /lib64/libpthread.so.0<br>No symbol table info available.<br>
#4  0x00000030542d2f7d in clone () from /lib64/libc.so.6<br>No symbol table info available.<br>(gdb) <br>(gdb) <br>(gdb) <br><br>