<p dir="ltr">One issue I see here is we are mixing unit tests with integration tests.  The tests for QgsExpression are examples of unit tests and should flag a regression but stuff like rendering tests are more if a integration test and may or may not flag a regression.</p>

<div class="gmail_quote">On 19/02/2014 6:42 pm, "Martin Dobias" <<a href="mailto:wonder.sk@gmail.com">wonder.sk@gmail.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi<br>
<br>
On Wed, Feb 19, 2014 at 3:14 PM, Radim Blazek <<a href="mailto:radim.blazek@gmail.com">radim.blazek@gmail.com</a>> wrote:<br>
> On Sun, Feb 16, 2014 at 11:41 PM, Jürgen E. <<a href="mailto:jef@norbit.de">jef@norbit.de</a>> wrote:<br>
>> What I wanted to say is that there are a bunch of tests that fail because they<br>
>> are not up to date or fail for other reasons that are not related to actual<br>
>> bugs in qgis itself. For example render tests, which fail because of fonts or<br>
>> other differences (eg. removed renderers).  I think that are the majority of<br>
>> tests that currently fail.<br>
><br>
> Platform dependent tests (fonts) don't make sense for me and should be<br>
> disabled until get fixed (e.g. using font set shipped with QGIS).<br>
> Renderer test should be updated and only real bugs will remain and<br>
> those should be blockers, I think.<br>
<br>
Let me add that in case of tests it will most likely not even help to<br>
ship a common font with QGIS: on different platforms the text is<br>
rendered by different libraries (e.g. FreeType on linux, native<br>
backends on windows/mac).<br>
<br>
Also, renderer tests should IMHO have some tolerances instead a set of<br>
anomalies. For example, in multi-threading branch some tests started<br>
to fail because of some microscopic differences - this will require<br>
another set of reference images (and anomaly images) although there is<br>
no real difference. This looks like an interesting tool for comparing<br>
images:<br>
<a href="http://pdiff.sourceforge.net/" target="_blank">http://pdiff.sourceforge.net/</a><br>
<br>
Regards<br>
Martin<br>
_______________________________________________<br>
Qgis-developer mailing list<br>
<a href="mailto:Qgis-developer@lists.osgeo.org">Qgis-developer@lists.osgeo.org</a><br>
<a href="http://lists.osgeo.org/mailman/listinfo/qgis-developer" target="_blank">http://lists.osgeo.org/mailman/listinfo/qgis-developer</a><br>
</blockquote></div>