Vote for 2. Python is a lot easier to test in, and no building step.<br><br><div class="gmail_quote">On Sat, Nov 8, 2014, 11:30 PM Matthias Kuhn <<a href="mailto:matthias.kuhn@gmx.ch">matthias.kuhn@gmx.ch</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
While working on the test suite and trying to get all tests to pass I<br>
realized that there are a lot of tests that exist in two versions: C++<br>
and python (e.g. composerhtml, atlas composition). The problem with that<br>
is, that they work on the same set of reference images and either one or<br>
the other fails because of slight inconsistencies in the result (nothing<br>
we should worry about, see e.g. [1]). I don't know exactly, what the<br>
source of these is, I assume that either there are some<br>
rounding/floating point differences in the python API or that meanwhile<br>
one or the other test was modified but not both synchroneously.<br>
<br>
What can we do?<br>
<br>
(1) We could accept these deviations with anomalies or multiple<br>
reference images.<br>
<br>
(2) Or we could remove the C++ test in favor of the python test which<br>
will test the same functionality/codepath and the python binding in<br>
addition. That would have the advantage that maintainability will be<br>
easier, because not every of these tests needs to be written and<br>
adjusted twice. The only disatvantage I can see is that you then don't<br>
know if it's the python binding or the logic behind it that made a test<br>
fail. But that shouldn't make a big difference in the time one needs to<br>
debug a test.<br>
<br>
My favorite is (2).<br>
<br>
Are there any thoughts from other devs/authors of these tests?<br>
<br>
Best<br>
Matthias<br>
<br>
[1] <a href="http://dash.orfeo-toolbox.org/testDetails.php?test=26809858&build=162985" target="_blank">http://dash.orfeo-toolbox.org/<u></u>testDetails.php?test=26809858&<u></u>build=162985</a><br>
<br>
--<br>
Help getting QGIS to the next level of quality before November 15!<br>
<a href="http://blog.vitu.ch/10102014-1046/crowdfunding-initiative-automated-testing" target="_blank">http://blog.vitu.ch/10102014-<u></u>1046/crowdfunding-initiative-<u></u>automated-testing</a><br>
<br>
<br>
______________________________<u></u>_________________<br>
Qgis-developer mailing list<br>
<a href="mailto:Qgis-developer@lists.osgeo.org" target="_blank">Qgis-developer@lists.osgeo.org</a><br>
<a href="http://lists.osgeo.org/mailman/listinfo/qgis-developer" target="_blank">http://lists.osgeo.org/<u></u>mailman/listinfo/qgis-<u></u>developer</a><br>
</blockquote></div>