<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 4 Jan 2024, 5:23 am Sandro Santilli, <<a href="mailto:strk@kbt.io">strk@kbt.io</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Mon, Nov 27, 2023 at 05:09:07PM +1000, Nyall Dawson via QGIS-PSC wrote:<br>
> On Mon, 27 Nov 2023, 4:56 pm Alessandro Pasotti, <<a href="mailto:apasotti@gmail.com" target="_blank" rel="noreferrer">apasotti@gmail.com</a>> wrote:<br>
> <br>
> > <a href="https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755" rel="noreferrer noreferrer" target="_blank">https://github.com/qgis/QGIS/pull/55417#issuecomment-1826995755</a><br>
> > comment the instructions say:<br>
> ><br>
> > "The full test report (included comparison of rendered vs expected<br>
> > images) can be found under the 'Checks' tab - 'QGIS tests',<br>
> > 'Artifacts' section as test-results-5."<br>
> ><br>
> > But I couldn't find any test-results-5 in the artifacts section<br>
> <br>
> That's caused by a limitation in GitHub API.<br>
<br>
Would it be possible for that comment to contain instruction about how<br>
to run that test locally ? Helping developers running failing tests<br>
locally would reduce load on shared infrastructure.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Good idea, but unfortunately non trivial to execute ☹️</div><div dir="auto"><br></div><div dir="auto">Obstacles are:</div><div dir="auto"><br></div><div dir="auto">- We need the ctest name for the test so that associated ctest -R "^testname\$" command can be determined to run just one test file.</div><div dir="auto"><br></div><div dir="auto">- We don't have access to the ctest name for the current test being executed during the test.  So we'd have to **hardcode** these into each test individually. (There's unfortunately no fixed pattern used to specify the ctest test name from the actual test source file name, so we can't use qtest methods or macros which give us the source file name here)</div><div dir="auto"><br></div><div dir="auto">- If we want to generate a command which will run just ONE function from the test, then we hit against <a href="https://gitlab.kitware.com/cmake/cmake/issues/20470">https://gitlab.kitware.com/cmake/cmake/issues/20470</a> . (This could possibly be worked around using a variation on <a href="https://stackoverflow.com/a/77084304">https://stackoverflow.com/a/77084304</a>)</div><div dir="auto"><br></div><div dir="auto">So not impossible to do, but also a considerable amount of work. If someone else takes this on I'm happy to review. 👍</div><div dir="auto"><br></div><div dir="auto">Nyall</div><div dir="auto"><br></div></div>