<div dir="ltr">Carsten,<div><br></div><div>this is just cool! Could you add description and some user documentation to docs? Can we put this into `development` branch of PyWPS?</div><div><br></div><div>Thanks a lot!</div><div><br></div><div>Jachym</div></div><br><div class="gmail_quote"><div dir="ltr">po 29. 5. 2017 v 13:46 odesílatel Carsten Ehbrecht <<a href="mailto:ehbrecht@dkrz.de">ehbrecht@dkrz.de</a>> napsal:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi *,<br>
<br>
in our copernicus project we want to provide processing functionality<br>
using PyWPS next to a climate data store. To handle the workload we need<br>
to attach batch job scheduler systems like slurm<br>
(<a href="https://slurm.schedmd.com/" rel="noreferrer" target="_blank">https://slurm.schedmd.com/</a>), grid-engine and torque. We are also<br>
interested in using docker/container to run WPS processes ... but our<br>
compute-providers are not ready for it yet.<br>
<br>
I've prepared a demo to show how such a PyWPS/extension might look like.<br>
When this extension is ready we would like to contribute it to PyWPS.<br>
<br>
Would be nice to get some comments from you :)<br>
<br>
I've added a "processing" package to PyWPS which by default uses<br>
multiprocessing but can also delegate processing jobs to a scheduler:<br>
<br>
<a href="https://github.com/bird-house/pywps/tree/dev-scheduler/pywps/processing" rel="noreferrer" target="_blank">https://github.com/bird-house/pywps/tree/dev-scheduler/pywps/processing</a><br>
<br>
It uses the drmaa python library to talk to a scheduling service:<br>
<a href="https://pypi.python.org/pypi/drmaa" rel="noreferrer" target="_blank">https://pypi.python.org/pypi/drmaa</a><br>
<br>
You can try the docker demo with slurm:<br>
<a href="https://github.com/bird-house/birdhouse-playground/tree/master/docker/pywps-scheduler-demo" rel="noreferrer" target="_blank">https://github.com/bird-house/birdhouse-playground/tree/master/docker/pywps-scheduler-demo</a><br>
<br>
Maybe the "processing" interface could also be used as an<br>
extension-point for processing with docker/containers.<br>
<br>
Cheers,<br>
Carsten<br>
--<br>
Carsten Ehbrecht<br>
Abteilung Datenmanagement<br>
<br>
Deutsches Klimarechenzentrum GmbH (DKRZ)<br>
Bundesstraße 45 a • D-20146 Hamburg • Germany<br>
<br>
Phone: <a href="tel:+49%2040%20460094148" value="+4940460094148" target="_blank">+49 40 460094-148</a><br>
FAX:   <a href="tel:+49%2040%20460094270" value="+4940460094270" target="_blank">+49 40 460094-270</a><br>
Email: <a href="mailto:ehbrecht@dkrz.de" target="_blank">ehbrecht@dkrz.de</a><br>
URL:   <a href="http://www.dkrz.de" rel="noreferrer" target="_blank">www.dkrz.de</a><br>
<br>
Geschäftsführer: Prof. Dr. Thomas Ludwig<br>
Sitz der Gesellschaft: Hamburg<br>
Amtsgericht Hamburg HRB 39784<br>
_______________________________________________<br>
pywps-dev mailing list<br>
<a href="mailto:pywps-dev@lists.osgeo.org" target="_blank">pywps-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/pywps-dev" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/pywps-dev</a></blockquote></div>