I am also in favor of disabling them but maybe keep them running and have them as expected failure?<div>If ones write some code related to the corresponding tests , they might still provide some valuable info.</div><div>Is this possible?</div><div><br></div><div>If not I'd still be in favor of disabling them.</div><div><br></div><div>Cheers</div><div>Denis<br><br><div class="gmail_quote"><div dir="ltr">On Mon, 11 Mar 2019, 22:47 Nyall Dawson, <<a href="mailto:nyall.dawson@gmail.com">nyall.dawson@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
For a long time now we've been plagued by intermittently failing tests<br>
on Travis, which are making the whole QGIS development experience<br>
quite painful.<br>
<br>
I propose that we take an absolute hard line approach from now and<br>
disable all tests which are causing false positive failures. I've<br>
started here: <a href="https://github.com/qgis/QGIS/pull/9483" rel="noreferrer" target="_blank">https://github.com/qgis/QGIS/pull/9483</a><br>
<br>
This is obviously not ideal, as the failures may be revealing real<br>
bugs (and in the case of the two disabled above I believe they are<br>
symptoms of the same underlying bug), but I think now we've passed the<br>
point where leaving these tests enabled causes more damage then<br>
skipping them.<br>
<br>
Ideally someone would investigate these and fix either the tests or<br>
the underlying bugs... but it hasn't happened in 6+ months, so I don't<br>
expect that to happen shortly**. I did spend some time around a month<br>
ago to see if the fix for these two was trivial, but could not find it<br>
quickly.<br>
<br>
Is anyone opposed to a hard-line "disable if flaky" stance?<br>
<br>
Nyall<br>
<br>
** For full disclosure: next round of QGIS grants I plan on filing for<br>
a grant to investigate all tests disabled on Travis in depth and<br>
either fix underlying bugs or make the tests more stable. But that's<br>
grant dependant, and not a short term solution.<br>
_______________________________________________<br>
QGIS-Developer mailing list<br>
<a href="mailto:QGIS-Developer@lists.osgeo.org" target="_blank">QGIS-Developer@lists.osgeo.org</a><br>
List info: <a href="https://lists.osgeo.org/mailman/listinfo/qgis-developer" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/qgis-developer</a><br>
Unsubscribe: <a href="https://lists.osgeo.org/mailman/listinfo/qgis-developer" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/qgis-developer</a></blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">





<p class="inbox-inbox-inbox-inbox-p1"><span style="color:rgb(0,0,0);font-family:Verdana,sans-serif;font-size:10pt">Denis Rouzaud</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><a href="mailto:denis@opengis.ch" target="_blank" style="font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Verdana,sans-serif;font-size:8pt">denis@opengis.ch</span> </a><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Verdana,sans-serif;font-size:8pt"><a>+41 76 370 21 22</a></span></p><p class="inbox-inbox-inbox-inbox-p1"><span style="color:rgb(0,0,0);font-family:Verdana,sans-serif;font-size:8pt"><a><br></a></span></p></div></div>