<div dir="ltr"><div>Hello Gerald, all</div><div><br></div><div>As the shootout gathered teams but also quiet a few FOSS4G attendees in 2011 and 2013, i think it is a very good idea to organize it from now, submit a WPS community abstract and get a dedicated time slot at FOSS4G PDX (so Gerald can give the Sherif Star to someone else too !). It may be more work if we tackle it using a slightly different approach this year but yet possible if we start early. </div>
<div><br></div><div>I like Gerald's idea of setting up a open infrastructure for the project teams, and i agree with Jachym that it should host OSGeoLive or a ready to use environment that every team knows. </div><div>
Once every teams will be onboard (perhaps starting from here <a href="http://wiki.osgeo.org/wiki/WPS_benchmark_2014#Projects_and_people">http://wiki.osgeo.org/wiki/WPS_benchmark_2014#Projects_and_people</a> ?), i agree we should work on scenarios, may be installations and services tuning too, and finally on simple solutions to render and compare the test results as well.</div>
<div><br></div><div>I would be glad to help for the shootout organization, first by hacking the wiki and then working on visualization of tests results.</div><div><br></div><div>What do other projects/people think ?</div>
<div>Get your hats and colts gentlemen :)</div><div><br></div><div>Best regards,</div><div><br></div><div>Nicolas</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-04-06 22:59 GMT+02:00 Jachym Cepicky <span dir="ltr"><<a href="mailto:jachym.cepicky@geosense.cz" target="_blank">jachym.cepicky@geosense.cz</a>></span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Gerald,<br>
<br>
I welcome the idea, even it's much more demanding, the original shootout idea<br>
always was. Comparism is good.<br>
<br>
I would suggest to use OSGeo-live, for reference distribution, since most of you<br>
are already in, environment is known to everybody and to add new project  (like<br>
PyWPS) should be relatively easy.<br>
<br>
Jachym<br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, Apr 04, 2014 at 06:36:49PM +0200, Fenoy Gerald wrote:<br>
> Dear OGC WPS friends,<br>
><br>
> I would like to invite all of you to discuss the possibility of getting a WPS<br>
> Benchmark Session during the FOSS4G which will occur in PDX this year. I would<br>
> like to try in this first email to present my personal vision of this session<br>
> and then will wait for your confirmations for submitting the abstract, for<br>
> joining the effort, any comments and feedbacks. I am personally expecting this<br>
> presentation to happen during the FOSS4G this year and as a new Sherif Star<br>
> owner, I have the responsibility that it happen but I will need you. This<br>
> effort requires your help and can only happen thanks to your involvement.<br>
><br>
> The main goal of this session would be to promote the WPS use and the<br>
> implementations available in the OpenSource world. We should be able to<br>
> provide tangible comparisons of the implementations, such as dependencies<br>
> required, ressources usage, response time, compliancy and so on.<br>
><br>
> The expectations for an attendee of this talk should be to have a good<br>
> overview of good / bad points, possible limitations of available<br>
> implementation, have an overview of what can distinguish an implementation<br>
> from another and what are the ressources / dependencies required by any<br>
> implementation.<br>
><br>
> I would like to mention that we should be fully open to any commercial<br>
> implementation until they are willing to join the effort and contribute<br>
> effectively as other participants will be asked to.<br>
><br>
> Anyway, the first question I would like to ask is, what do you think of making<br>
> a presentation of the WPS Benchmark Results at FOSS4G this year ?<br>
><br>
> Supposing now that the answer is "we should have this presentation!", then I<br>
> have cooked some kind of plan that I would like to discuss with you [1]. In<br>
> short, the idea is to have a central server to access every implementation and<br>
> to run tests against on demand, each participant to the effort will have a<br>
> user account to fix / update his setup and can run the tests again. Now, let<br>
> start the long version ...<br>
><br>
> So, supposing we decide to submit the presentation and we go for the benchmark<br>
> work, I would like to ask for all the WPS implementation developer teams to<br>
> decide if they want to participate to this effort and I invite them to join<br>
> and send an email for confirmation to wps-discuss [2] mailing list for their<br>
> participation and for providing a contact mail address for the team.<br>
><br>
> As I introduced to you already, I hope to be able to provide tangible results<br>
> out of this work for being able to compare implementations. I think that this<br>
> imply having a dedicated infrastructure to handle all the benchmarking work<br>
> and run the tests locally, removing any network issue which may occur during<br>
> the testing procedure, fixing issue with xml validation by using local cache,<br>
> things like that... So, I would like to propose to host a dedicated GNU /<br>
> Linux server (available, initially, from april 15th 2014 to 2015) and setup<br>
> any GNU / Linux environment which may be required for testing purpose. I<br>
> didn’t planned to use anything else than GNU / Linux as I think that all the<br>
> implementations can run on this Operating System, this can be changed if it is<br>
> required by any team.<br>
><br>
> This infrastructure would be used to run tests / scenarios that we have to<br>
> define together. I planned to offer one environment per project involved in<br>
> the effort and another global environment to gather all the solutions<br>
> together. This will help us to first easily determine requirements /<br>
> ressources usage for each project and see how they can be setup on the same<br>
> host. Unfortunately, it will also imply more work for installer as they will<br>
> have to setup twice the instance, in their environment then in the global one.<br>
><br>
> The contact person would be used to share ip server addresses, ssh port, user<br>
> and password to access the dedicated environment and run setup before  running<br>
> tests. I think that it can help to use a fresh host to setup solutions from<br>
> each participating team, but it will imply involvement of the contact person<br>
> here. Indeed, once he have access to his test environment, he will be asked to<br>
> make the setup on the server and make sure that everything is in place, then<br>
> he will ask for the tests to be run against the new setup or run them on his<br>
> own.<br>
><br>
> As I think that this effort should run for long time to give a chance for each<br>
> team to potentially fix things after testing procedure / scenarios have been<br>
> run, I propose to host if for 12 months. This way, even after the FOSS4G each<br>
> project can continue to take advantages of the tests procedures / scenarios we<br>
> defined together. Anyway, this make the effort too much global by now as we<br>
> are only discussing to start this effort and submit an abstract to FOSS4G to<br>
> confirm that this effort will occur. I would also like to make the tests<br>
> available and accessible as soon as possible, that is why I planned to give<br>
> access to the infrastructure so early. We may probably start by setting up an<br>
> updated version of the tests we run against implementations for the FOSS4G<br>
> 2011 in Denver.<br>
><br>
> In parallel of the described process, I think that a web site should be setup<br>
> to gather informations about the ongoing effort and probably in future offer<br>
> some eyes candies to access the informations. At the beginning, the OSGeo Wiki<br>
> should be enough [1].<br>
><br>
> Obviously, all that I said in this email is open to discussion and engage only<br>
> me. I simply preferred to prepare something that I can propose to you (as<br>
> clear as possible at this stage) before asking about the FOSS4G presentation,<br>
> I hope you don’t mind that I have started preparing something already and that<br>
> you don’t have anything totally opposed to the proposal made here. One more<br>
> time, I would like to make this an open effort where all can be decided<br>
> through discussions.<br>
><br>
> I hope to hear back from you and we can make good work together for the<br>
> benefit of all the participating teams (if any) and to have the presentation<br>
> done in FOSS4G 2014, Best regards,<br>
><br>
> (sorry for any cross posting)<br>
><br>
> [1] <a href="http://wiki.osgeo.org/wiki/WPS_benchmark_2014" target="_blank">http://wiki.osgeo.org/wiki/WPS_benchmark_2014</a> [2]<br>
> <a href="http://lists.osgeo.org/mailman/listinfo/wps-discuss" target="_blank">http://lists.osgeo.org/mailman/listinfo/wps-discuss</a><br>
><br>
><br>
> Gérald Fenoy <a href="mailto:gerald.fenoy@geolabs.fr">gerald.fenoy@geolabs.fr</a><br>
><br>
<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Jachym Cepicky<br>
URL: <a href="http://geosense.cz" target="_blank">http://geosense.cz</a><br>
e-mail: jachym.cepicky at geosense cz<br>
PGP: <a href="http://les-ejk.cz/pgp/JachymCepicky.pgp" target="_blank">http://les-ejk.cz/pgp/JachymCepicky.pgp</a><br>
@jachymc<br>
_______________________________________________<br>
Wps-discuss mailing list<br>
<a href="mailto:Wps-discuss@lists.osgeo.org">Wps-discuss@lists.osgeo.org</a><br>
<a href="http://lists.osgeo.org/mailman/listinfo/wps-discuss" target="_blank">http://lists.osgeo.org/mailman/listinfo/wps-discuss</a></font></span></blockquote></div><br></div>