<div dir="ltr"><div><div>In general I think it&#39;s true, but maybe at lest some of the cases may be covered by some automated scripts? Like knowing that version X of firmware for Y brand phones requires certain header to be present or shorter than X bytes or whatever could provide automated test case for all future versions.<br>

</div>Of course it won&#39;t cover new firmwares or new phones or some obscure cases but maybe at least most common cases of regressions in code could be caught using automated testing without phones.<br><br></div>Personally I don&#39;t believe in &quot;hook some Arduino to VoIP phone and check if some LED lights up&quot; to be supported by open-source community. It might be possible inside commercial company that would keep the stack of VoIP phones and custom-made hardware tailored for those phones, but it won&#39;t leverage community folks.<br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/1/23 Michael Collins <span dir="ltr">&lt;<a href="mailto:msc@freeswitch.org" target="_blank">msc@freeswitch.org</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

After 4 years of working on the CudaTel team and hearing about SLA and BLF failures I can tell you that you need to see what&#39;s actually displayed on the phone itself, so checking the SIP traffic is not sufficient for a thorough test. <br>


<br>If anyone is willing to crack open a phone and do some wiring they might be able to use a raspi or arduino and some components to monitor the phone. It&#39;s not the easiest thing in the world to do. That&#39;s why having a phone with an API would be so helpful. Autotesting would save enormous amounts of time in the long run. <br>


<br>-MC<br><br><div class="gmail_quote"><div class="im">On Wed, Jan 23, 2013 at 4:18 AM, Regis M <span dir="ltr">&lt;<a href="mailto:regis.freeswitch.org@tornad.net" target="_blank">regis.freeswitch.org@tornad.net</a>&gt;</span> wrote:<br>


</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im"><div dir="ltr"><div><div><div><div><div>Maybe It&#39;s could be done with some sip session record that we can playback to freeswitch ?<br>


<br>In this mode, sofia will ignore or bypass time announce and sequence number to anwer the correct/same thing as the first &quot;real&quot; recording sequence.<br>
</div><br>A sort of mod_sofia_test, one FS can read pcap or sip sequence and throw mod_sofia_test &quot;simulate&quot; the endpoint to another or itself.<br></div>It could allow to record all phone session (register, makecall, holdcall, transfer,...) and check FS still answer same things or corrects thing.<br>



</div><br></div>A little hard maybe ? :)<br>I&#39;m not a specialist of &quot;sequence&quot; or SIP change that occurs in a session dialog between 2 calls from exactly the same device.<br><br><br></div><div><div><br></div>



</div></div></div><div><div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/1/23 Marcin Gozdalik <span dir="ltr">&lt;<a href="mailto:gozdal@gmail.com" target="_blank">gozdal@gmail.com</a>&gt;</span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">
<div dir="ltr"><div><div>I&#39;d doubt there is any VoIP phone with such support.<br></div><br>But I&#39;d guess writing tests querying actual phones wouldn&#39;t be much more work than:<br>a) testing what kind of messages for BLF/MWI actually work on given phone<br>





</div>b) testing (in ESL?) if FS sends good messages when certain actions are done (leaving voicemail or making a call)<br><br><br></div></div><div class="gmail_extra"><div><div><div><div class="h5"><br><br><div class="gmail_quote">

2013/1/22 Michael Collins <span dir="ltr">&lt;<a href="mailto:msc@freeswitch.org" target="_blank">msc@freeswitch.org</a>&gt;</span><br>



<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">That begs the question: does anyone know of any SIP phones that have an API where you can poll the status of the lamps as well as what&#39;s on the display, whether MWI is on, etc.? That would be epic.<br>





<br>-MC<br><br><div class="gmail_quote">
On Mon, Jan 21, 2013 at 8:40 PM, Tim St. Pierre <span dir="ltr">&lt;<a href="mailto:fs-list@communicatefreely.net" target="_blank">fs-list@communicatefreely.net</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">






Hmm.  Good idea.<br>
<br>
I know that you can do this with Aastra phones, and possibly others.<br>
<br>
With the Aastra&#39;s, there is an XML API that you can use to push notifications, apps, etc.<br>
  You can push XML to the phone on an HTTP interface (there is an ACL to tell it where to<br>
allow it from), and you can initiate phone calls, as well as hang up, transfer, etc.<br>
There is also an action URI, so you can have the phone report what is coming in on caller<br>
ID, when it is ringing, hung up, etc.<br>
<br>
I don&#39;t know if you can get lamp status from this or not, but perhaps you could have a<br>
system where a pattern of calls is generated, and after many repetitions, the system calls<br>
or a human to check and see that the lights match an expected state.<br>
<br>
Just an idea anyway.<br>
<br>
-Tim<br>
<br>
Michael Collins wrote:<br>
&gt; This test suite does not presently exist. I would love to see some work<br>
&gt; done in this area.<br>
&gt;<br>
&gt; One challenge is that there are numerous kinds of devices that can<br>
&gt; interop with FS so the test suite will need to have some way to handle<br>
&gt; the various phone makes and models. Also, I don&#39;t know which hard<br>
&gt; phones, if any, support automated testing. I would *love* to see some<br>
&gt; sort of web/network API on various phones where you could poll the phone<br>
&gt; to see the state of each SLA/BLF key as well as what&#39;s in the display.<br>
&gt; That would make automated testing much cleaner. As it stands now,<br>
&gt; testing BLFs is a tedious process of watching phones and waiting to see<br>
&gt; if the lights do what they should be doing.<br>
&gt;<br>
&gt; If anyone has practical suggestions (nothing pie-in-the-sky, if you get<br>
&gt; my meaning) then by all means share with the group.<br>
&gt;<br>
&gt; -MC<br>
&gt;<br>
&gt; On Mon, Jan 21, 2013 at 10:03 AM, Yehavi Bourvine<br>
&gt; &lt;<a href="mailto:yehavi.bourvine@gmail.com" target="_blank">yehavi.bourvine@gmail.com</a> &lt;mailto:<a href="mailto:yehavi.bourvine@gmail.com" target="_blank">yehavi.bourvine@gmail.com</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     Hello,<br>
&gt;<br>
&gt;       We are running version 1.0.6; we did not upgrade for a long time<br>
&gt;     due to some problems (mainly stuck BLFs) with the newer versions<br>
&gt;     which have been corrected a few months ago.<br>
&gt;<br>
&gt;     A few weeks ago I pulled the latest GIT and did functional testings<br>
&gt;     on our development system; all was OK.<br>
&gt;<br>
&gt;     Yesterday I moved our production system to that version. After a few<br>
&gt;     hours the problems started: stuck BLFs, hangups, LUA scripts<br>
&gt;     sometimes do not run. I had to revert back to the old version.<br>
&gt;<br>
&gt;     My question: Is there some simple test suite which I can test<br>
&gt;     various scnarios on my development system? like, &quot;call XX, while<br>
&gt;     this call is active call YY which is monitored by XX and hangup&quot;,<br>
&gt;     etc. It is hard to cover all cases manually, so I would like<br>
&gt;     something automated.<br>
&gt;<br>
&gt;                        Thanks, __Yehavi:<br>
&gt;<br>
&gt;     _________________________________________________________________________<br>
&gt;     Professional FreeSWITCH Consulting Services:<br>
&gt;     <a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a> &lt;mailto:<a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a>&gt;<br>
&gt;     <a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
&gt;<br>
&gt;     FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
&gt;     <a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
&gt;<br>
&gt;     Official FreeSWITCH Sites<br>
&gt;     <a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
&gt;     <a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
&gt;     <a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
&gt;<br>
&gt;     FreeSWITCH-users mailing list<br>
&gt;     <a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
&gt;     &lt;mailto:<a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a>&gt;<br>
&gt;     <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
&gt;     UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
&gt;     <a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Michael S Collins<br>
&gt; Twitter: @mercutioviz<br>
&gt; <a href="http://www.FreeSWITCH.org" target="_blank">http://www.FreeSWITCH.org</a><br>
&gt; <a href="http://www.ClueCon.com" target="_blank">http://www.ClueCon.com</a><br>
&gt; <a href="http://www.OSTAG.org" target="_blank">http://www.OSTAG.org</a><br>
&gt;<br>
&gt;<br>
&gt; ------------------------------------------------------------------------<br>
&gt;<br>
&gt; _________________________________________________________________________<br>
&gt; Professional FreeSWITCH Consulting Services:<br>
&gt; <a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a><br>
&gt; <a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
&gt;<br>
&gt; FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
&gt; <a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
&gt;<br>
&gt; Official FreeSWITCH Sites<br>
&gt; <a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
&gt; <a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
&gt; <a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
&gt;<br>
&gt; FreeSWITCH-users mailing list<br>
&gt; <a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
&gt; <a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
&gt; UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
&gt; <a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<br>
<br>
_________________________________________________________________________<br>
Professional FreeSWITCH Consulting Services:<br>
<a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a><br>
<a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
<br>
FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
<a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
<br>
Official FreeSWITCH Sites<br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
<a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
<br>
FreeSWITCH-users mailing list<br>
<a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
<a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><span><font color="#888888"><br>
</font></span></blockquote></div><span><font color="#888888"><br><br clear="all"><br>-- <br>Michael S Collins<br>Twitter: @mercutioviz<br><a href="http://www.FreeSWITCH.org" target="_blank">http://www.FreeSWITCH.org</a><br>





<a href="http://www.ClueCon.com" target="_blank">http://www.ClueCon.com</a><br>
<a href="http://www.OSTAG.org" target="_blank">http://www.OSTAG.org</a><br><br>
</font></span><br>_________________________________________________________________________<br>
Professional FreeSWITCH Consulting Services:<br>
<a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a><br>
<a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
<br>
FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
<a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
<br>
Official FreeSWITCH Sites<br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
<a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
<br>
FreeSWITCH-users mailing list<br>
<a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
<a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<br></blockquote></div><br><br clear="all"><br></div></div><span class="HOEnZb"><font color="#888888">-- <br></font></span></div></div><span class="HOEnZb"><font color="#888888"><span><font color="#888888">Marcin Gozdalik
</font></span></font></span></div><div><div class="h5">
<br>_________________________________________________________________________<br>
Professional FreeSWITCH Consulting Services:<br>
<a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a><br>
<a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
<br>
FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
<a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
<br>
Official FreeSWITCH Sites<br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
<a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
<br>
FreeSWITCH-users mailing list<br>
<a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
<a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<br></div></div></blockquote></div><br></div>
</div></div><div><div class="h5"><br>_________________________________________________________________________<br>
Professional FreeSWITCH Consulting Services:<br>
<a href="mailto:consulting@freeswitch.org" target="_blank">consulting@freeswitch.org</a><br>
<a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
<br>
FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
<a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
<br>
Official FreeSWITCH Sites<br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
<a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
<br>
FreeSWITCH-users mailing list<br>
<a href="mailto:FreeSWITCH-users@lists.freeswitch.org" target="_blank">FreeSWITCH-users@lists.freeswitch.org</a><br>
<a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<br></div></div></blockquote></div><div class="HOEnZb"><div class="h5"><br><br clear="all"><br>-- <br>Michael S Collins<br>Twitter: @mercutioviz<br><a href="http://www.FreeSWITCH.org" target="_blank">http://www.FreeSWITCH.org</a><br>

<a href="http://www.ClueCon.com" target="_blank">http://www.ClueCon.com</a><br>
<a href="http://www.OSTAG.org" target="_blank">http://www.OSTAG.org</a><br><br>
</div></div><br>_________________________________________________________________________<br>
Professional FreeSWITCH Consulting Services:<br>
<a href="mailto:consulting@freeswitch.org">consulting@freeswitch.org</a><br>
<a href="http://www.freeswitchsolutions.com" target="_blank">http://www.freeswitchsolutions.com</a><br>
<br>
FreeSWITCH-powered IP PBX: The CudaTel Communication Server<br>
<a href="http://www.cudatel.com" target="_blank">http://www.cudatel.com</a><br>
<br>
Official FreeSWITCH Sites<br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<a href="http://wiki.freeswitch.org" target="_blank">http://wiki.freeswitch.org</a><br>
<a href="http://www.cluecon.com" target="_blank">http://www.cluecon.com</a><br>
<br>
FreeSWITCH-users mailing list<br>
<a href="mailto:FreeSWITCH-users@lists.freeswitch.org">FreeSWITCH-users@lists.freeswitch.org</a><br>
<a href="http://lists.freeswitch.org/mailman/listinfo/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/listinfo/freeswitch-users</a><br>
UNSUBSCRIBE:<a href="http://lists.freeswitch.org/mailman/options/freeswitch-users" target="_blank">http://lists.freeswitch.org/mailman/options/freeswitch-users</a><br>
<a href="http://www.freeswitch.org" target="_blank">http://www.freeswitch.org</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Marcin Gozdalik
</div>