<div dir="ltr"><div>Hi Nyall,</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Dec 22, 2020 at 4:46 AM Nyall Dawson <<a href="mailto:nyall.dawson@gmail.com">nyall.dawson@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Can you open issue tracking on<br>
<a href="https://github.com/qcooperative/qgis-core-tests" rel="noreferrer" target="_blank">https://github.com/qcooperative/qgis-core-tests</a> please?<br>
<br></blockquote><div><br></div><div>Good catch. Done! And also for the qgis-tester-plugin repository.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
I'm wondering now what your next planned steps are. E.g.<br>
-  How are you planning on growing the testing user base? Will there<br>
be a media push for users to get involved, or will that be delayed<br>
till after the test suite is expanded?<br></blockquote><div><br></div><div>We were doing to do a media push right away (well, starting in January) to the developers/contributors community. Our aim, for now, is to provide enough examples of test cases and test plans. The test suite will never be finished, so it would be great to have a broader group of people discuss which tests make sense to do manually, and which don't. Also, which tests make sense to run in every release, etc...</div><div><br></div><div>Normal users (or power users) would be asked to be involved in the testing itself for the 3.20 release, where we expect to have some details ironed out.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
- Similarly, what's the plan to get the community involved in writing the tests?<br></blockquote><div><br></div><div>Ideally, we would recruit a small team of people (power users) that would be willing to write tests based on requests from developers.</div><div>Tests make sense when it's hard or impossible to implement unit tests. So I think we need to involve developers that will point the "testing team" to flaws in (unit) tests. We have started to write some proposed workflows that would lead to writing manual test cases. I still want to have more workflows examples.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
- Where does the division sit between writing a test in the plugin vs<br>
just adding a test in Kiwi? I noticed that there's some logic and<br>
pyqgis scripting involved in writing the tests in the plugin, which<br>
would definitely be a barrier of entry for non-developers. Is the<br>
intention that EVERY test in kiwi has a corresponding test in the<br>
plugin? Or could the bulk of the tests be added solely in kiwi (by non<br>
developers) and the plugin left as an optional "nice to have"?<br></blockquote><div><br></div><div>The idea is to have the tests written in kiwi, then, if we feel that a particular test case will be very used and could benefit from some automation, we will try to move it to the tester plugin, and remove or disable the test case from kiwi. There will be a test case in kiwi to run all the semi-automated tests in a specific category. We already have an example like that for regression tests:<br><br><a href="https://qgis.tenant.kiwitcms.org/case/8/">https://qgis.tenant.kiwitcms.org/case/8/</a><br></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
-  Who will be managing this service and pushing for community to run<br>
the test suites prior to releases? Has anyone formally taken on this<br>
responsibility yet?<br></blockquote><div><br></div><div>The grant proposal included running the example test suite for the next two releases 3.18 and 3.20. This will also be a way of improving the methodology. After that, I will gladly assume this responsibility out of my personal time.</div><div><br></div><div>Tomorrow morning I will be talking about what we did until now for QGIS Open Day. </div><div><br></div><div>Thanks for your questions and interest</div><div><br></div><div>Alexandre Neto</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Thanks for your hard work!<br>
Nyall<br>
<br>
<br>
<br>
<br>
<br>
><br>
> Alexandre Neto<br>
><br>
><br>
>><br>
>> Nyall<br>
>><br>
>> ><br>
>> ><br>
>> >><br>
>> >>> It covers all the steps needed to participate in the testing process, from setting up a clean environment to running tests and creating new test cases in the KIWI TCMS.<br>
>> >>><br>
>> >>><br>
>> >>> Thanks a lot for this opportunity, we hope it's a huge step forward for QGIS QA!<br>
>> >><br>
>> >> thanks to you!<br>
>> >> looking forward to see the first results<br>
>> ><br>
>> ><br>
>> > And we are curious to see what the community thinks of our proposal. All feedback is welcome!<br>
>> ><br>
>> > Thanks<br>
>> ><br>
>> > Alexandre Neto<br>
>> ><br>
>> >>><br>
>> >> cheers Marco<br>
>> >>><br>
>> >>><br>
>> >>> Best regards,<br>
>> >>><br>
>> >>><br>
>> >>> Alexandre Neto<br>
>> >>> Alexander Bruy<br>
>> >>> Giovanni Manghi<br>
>> >>> _______________________________________________<br>
>> >>> Qgis-psc mailing list<br>
>> >>> <a href="mailto:Qgis-psc@lists.osgeo.org" target="_blank">Qgis-psc@lists.osgeo.org</a><br>
>> >>> <a href="https://lists.osgeo.org/mailman/listinfo/qgis-psc" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/qgis-psc</a><br>
>> ><br>
>> > _______________________________________________<br>
>> > Qgis-psc mailing list<br>
>> > <a href="mailto:Qgis-psc@lists.osgeo.org" target="_blank">Qgis-psc@lists.osgeo.org</a><br>
>> > <a href="https://lists.osgeo.org/mailman/listinfo/qgis-psc" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/qgis-psc</a><br>
</blockquote></div></div>