<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 27 Nov 2023, 4:56 pm Alessandro Pasotti, <<a href="mailto:apasotti@gmail.com">apasotti@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Nyall,<br>
<br>
good news, thank you for this improvement!<br>
<br>
Just a quick question, in the linked PR:<br>
<a href="https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755" rel="noreferrer noreferrer" target="_blank">https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755</a><br>
comment the instructions say:<br>
<br>
"The full test report (included comparison of rendered vs expected<br>
images) can be found under the 'Checks' tab - 'QGIS tests',<br>
'Artifacts' section as test-results-5."<br>
<br>
But I couldn't find any test-results-5 in the artifacts section, there are only:<br>
<br>
Artifacts<br>
build-22.04-qt5.tgz<br>
build-38-qt6.tgz<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That's caused by a limitation in GitHub API. We can't retrieve the workflow run id in an action, so that link will always just point to the most recent workflow run for the PR.</div><div dir="auto"><br></div><div dir="auto">And in this case I reverted the change causing a test failure, so the most recent workflow doesn't have the failure report.</div><div dir="auto"><br></div><div dir="auto">Hope that makes sense!</div><div dir="auto"><br></div><div dir="auto">Nyall</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Cheers.<br>
<br>
<br>
On Mon, Nov 27, 2023 at 5:29 AM Nyall Dawson via QGIS-PSC<br>
<<a href="mailto:qgis-psc@lists.osgeo.org" target="_blank" rel="noreferrer">qgis-psc@lists.osgeo.org</a>> wrote:<br>
><br>
> Hi PSC,<br>
><br>
> I'm happy to announce that this grant is now complete!<br>
><br>
> While the original proposal was explicitly stated to be a research project with no guarantees of success, the end result is predominantly a success (with some limitations!)<br>
><br>
> You can see the new failure handling in action in this PR: <a href="https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755" rel="noreferrer noreferrer" target="_blank">https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755</a><br>
><br>
> What we have now is that any tests which fail a rendering comparison will write a descriptive comment to the PR, as shown in the above link. The comment details which render tests failed, where they are in the code, and includes some helpful pointers to downloading the full test report and the QGIS developer documentation.<br>
><br>
> Originally, I hoped to link directly to the full test report or include it as an attachment to the comment. Unfortunately this is NOT possible given the current Github API. There's a bunch of notes I've added to the initial comment in <a href="https://github.com/qgis/QGIS/pull/54906" rel="noreferrer noreferrer" target="_blank">https://github.com/qgis/QGIS/pull/54906</a> which link to the limitations / feature requests on Github's side, so we can monitor the situation and further improve the reports if/when Github add this functionality.<br>
><br>
> As well as the above described improvements on the CI side, I've also implemented lots of improvements in running the tests locally and how the render test reports are generated and presented to developers!<br>
><br>
> Thanks for making this possible!<br>
><br>
> Nyall<br>
><br>
><br>
><br>
><br>
><br>
> _______________________________________________<br>
> QGIS-PSC mailing list<br>
> <a href="mailto:QGIS-PSC@lists.osgeo.org" target="_blank" rel="noreferrer">QGIS-PSC@lists.osgeo.org</a><br>
> <a href="https://lists.osgeo.org/mailman/listinfo/qgis-psc" rel="noreferrer noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/qgis-psc</a><br>
<br>
<br>
<br>
-- <br>
Alessandro Pasotti<br>
QCooperative:  <a href="http://www.qcooperative.net" rel="noreferrer noreferrer" target="_blank">www.qcooperative.net</a><br>
ItOpen:   <a href="http://www.itopen.it" rel="noreferrer noreferrer" target="_blank">www.itopen.it</a><br>
</blockquote></div></div></div>