<div dir="ltr"><div>Hi PSC , <br></div><div><br></div><div>Yes we are aware of the MS perf platform since the 2016 QGIS server code sprint.<br></div><div><div><br></div><div>We have been discussing quite a few times about 
coding with performance and waited for some investment from C2C during 
2017. We are very happy they now publish a daily report, however publishing static tests on static datasets is not what we seek.  Yves showed some results in the QGIS Fr user days two years back, and I saw 
the expectations, frustrations and debates it rose that time.  <br></div><div> Our goal is NOT to compare QGIS server with 
Mapserver or GeoServer. We don't want to fall into these of 
debates that in my opinion are dangerous for everyone because it's almost impossible to reach absolute measuring for tools that runs in different environnement and render data differenly.</div><div><br></div><div> We are talking of a semi scientific approach here, and being able to reproduce and confirm issues with different tools is probably a very good thing, if we just can take time to analyse things.</div><div><br></div><div>Our task was to build a very light platform 
dedicated to be integrated in continuous integration, and that is really easy to
 enrich with new tests.  So we build a comparison between framework between ltr, release and dev version that can be run in 
many contexts (web server type, mutlithread, multiprocess options, rendering options, data providers, etc..).</div><div><br></div><div> We also want to keep an history of the developpement 
version performance for each test. <br></div><div><br></div><div>As you see, this can lead to massive amount of computing and logs, so we really need something easy to set up and as light as possible. Moreover, measuring performance needs light tools to avoid influencing the measure themselves.  <br></div><div><br></div>We believe that QGIS renders data extremely fast, but it has some glitches due to the desktop design oringin that can be tackled if we have permanent feedback.  <br></div><div> <br></div><div>Paul just finished the platform this week, and we now dedicating efforts on running it on a dedicated server to be certain of not being influenced by any external load. <br></div><div><br></div><div>I hope next week we'll publish it with the first reports. <br></div><br><div>In the end, the question of hosting the platform on dedicated server still remains, as much as administrating it correctly so that no tool run in parallel at the same time, with the risk of altering the measures.  I hope you are still ok with the fact that we need this kind of tool. <br></div><div><br></div><div>Best regards, <br></div><div>Régis<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">2018-06-09 15:10 GMT+02:00 Richard 🌍 Duivenvoorde <span dir="ltr"><<a href="mailto:richard@duif.net" target="_blank">richard@duif.net</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi PSC,<br>
<br>
On my TODO list there was to ask Yves/Camptocamp about their QGISserver<br>
tests and make sure Oslandia was eventually aware of that.<br>
<br>
See below:<br>
<br>
- results are available<br>
<a href="https://gmf-test.sig.cloud.camptocamp.net/ms_perfs/" rel="noreferrer" target="_blank">https://gmf-test.sig.cloud.<wbr>camptocamp.net/ms_perfs/</a><br>
and apparenlty updated daily?<br>
Yves promises to do some cleanup and upload to <a href="http://test.qgis.org" rel="noreferrer" target="_blank">test.qgis.org</a><br>
<br>
- he thinks Oslandia is aware of this work (to be sure, I bcc Regis :-)<br>
<br>
Regards,<br>
<br>
Richard Duivenvoorde<br>
<br>
<br>
-------- Forwarded Message --------<br>
Subject:        Re: Performance tests QGIS Server<br>
Date:   Wed, 6 Jun 2018 10:30:39 +0200<br>
<br>
Le 04/06/2018 à 20:44, Richard 🌍 Duivenvoorde a écrit :<br>
> Hi Yves,<br>
><br>
> During PSC meeting we were talking about some QGIS-Server OWS<br>
> performance-tests/service that Oslandia is doing currently.<br>
I heard something about this indeed.<br>
> Andreas mentioned that CampToCamp also did something (for Andreas) last<br>
> year. And that you asked me to put it on the website.<br>
> So Question: did you ask me? And did I answer? :-)<br>
Camptocamp did it something and we discussed about how to improve it and<br>
share to the community. The topic was "QGIS benchmark" (07/11/2017). See<br>
<a href="https://gmf-test.sig.cloud.camptocamp.net/ms_perfs/" rel="noreferrer" target="_blank">https://gmf-test.sig.cloud.<wbr>camptocamp.net/ms_perfs/</a>. Here a quote of<br>
your answer:<br>
<br>
"""<br>
What is the idea? That we (as <a href="http://qgis.org" rel="noreferrer" target="_blank">qgis.org</a> <<a href="http://qgis.org" rel="noreferrer" target="_blank">http://qgis.org</a>>) ourselves run<br>
the benchmark<br>
(docker?) every now and then?<br>
<br>
If NOT, then it is easiest when I give you credentials on the<br>
<a href="http://test.qgis.org" rel="noreferrer" target="_blank">test.qgis.org</a> <<a href="http://test.qgis.org" rel="noreferrer" target="_blank">http://test.qgis.org</a>> (virtual)Webserver, so you can<br>
rsync/scp the result to a<br>
directory 'benchmarks' at:<br>
<br>
<a href="http://test.qgis.org/" rel="noreferrer" target="_blank">http://test.qgis.org/</a><br>
<br>
As you can see Paul (of Oslandia) also pushes the QGISServer CITE test<br>
results there into a directory 'ogc_cite':<br>
<br>
http://<a href="http://test.qgis.org/ogc_cite/" rel="noreferrer" target="_blank">http://test.qgis.org/<wbr>ogc_cite/</a> <<a href="http://test.qgis.org/ogc_cite/" rel="noreferrer" target="_blank">http://test.qgis.org/ogc_<wbr>cite/</a>><br>
<br>
The idea is to either add an index.html to <a href="http://test.qgis.org" rel="noreferrer" target="_blank">test.qgis.org</a><br>
<<a href="http://test.qgis.org" rel="noreferrer" target="_blank">http://test.qgis.org</a>> which then<br>
sents you to individual test directories (or the latest in that<br>
directory), OR we create a (translatable) page in the <a href="http://qgis.org" rel="noreferrer" target="_blank">qgis.org</a><br>
<<a href="http://qgis.org" rel="noreferrer" target="_blank">http://qgis.org</a>> website<br>
which does some description of the different tests, and then links to<br>
the html-output pages on <a href="http://test.qgis.org" rel="noreferrer" target="_blank">test.qgis.org</a> <<a href="http://test.qgis.org" rel="noreferrer" target="_blank">http://test.qgis.org</a>><br>
I think there should really be some explanation at the performance tests...<br>
<br>
Both is possible, just need some body/time to do it :-)<br>
"""<br>
I am ok with a rsync on the QGIS server. Result need some love to<br>
improve some graphics (null value gives no graph at all).<br>
<br>
And I should add picture of layer to illustrate the layer complexity.<br>
<br>
> Andreas was also wondering in how much of the Oslandia work is actually<br>
> already done by C2C and if it is still handy to communicatie about this.<br>
I don't know, I have no idea what Oslandia is working on, well not more<br>
than what they shared on QGIS mailing list. They are aware of our<br>
project for sure, as we discussed about this at the QGIS server hackfest<br>
and 3Liz pushed a pull request.<br>
<br>
Y.<br>
<br>
</blockquote></div><br></div>