<div dir="ltr">Hello,<div><br></div><div>I am a researcher at the University of Minnesota, US. who is working on a project that uses PostGIS as our platform. I have been researching a number of PostgreSQL platforms that claim to support parallelizing PostGIS or geographic analysis. I am interested to learn more about the wrapper you have written. Have you looked into the other platforms such at pg_shard (CitusDB), or postgres-xl? We have not found them effective for actually distributing a spatial query. However, I will test your code out in our use case.</div><div><br></div><div>When I briefly look at the text you have written in the "Quick Example" It seems that you are distributing your query by an ID field. I am wondering how your method would apply to raster datasets? Distributing geographic data by an ID can get you into problems because of the dependency for certain analytical functions. </div><div><br></div><div>This sounds great, hope to hear back from you soon.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jul 23, 2015 at 8:54 AM, Graeme B. Bell <span dir="ltr"><<a href="mailto:graeme.bell@nibio.no" target="_blank">graeme.bell@nibio.no</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
Do you run map intersections between national scale geometry maps in postgis? (or other long-running GIS operations?)<br>
Do you hate that feeling of waiting all day/week for the query to complete?<br>
Well, here's a solution for you.<br>
<br>
1. For those that don't like par_psql (<a href="http://github.com/gbb/par_psql" rel="noreferrer" target="_blank">http://github.com/gbb/par_psql</a>), this alternative approach uses the Gnu Parallel command to organise parallelism for queries that take days to run usually. We saw up to 20x performance improvements here, a day's work in one hour. May give you a few ideas about how to parallelise your own code with Gnu Parallel.<br>
<br>
<a href="https://github.com/gbb/fast_map_intersection" rel="noreferrer" target="_blank">https://github.com/gbb/fast_map_intersection</a><br>
<br>
<br>
2. Also, I gave a talk at FOSS4G Como about these tools (and a few others), and how to get better performance from your PostGIS database with parallelisation.<br>
This may be helpful to people who are new to parallelisation / multi-core work with postgres for GIS work.<br>
<br>
<a href="http://graemebell.net/foss4gcomo.pdf" rel="noreferrer" target="_blank">http://graemebell.net/foss4gcomo.pdf</a><br>
<br>
Enjoy,<br>
<br>
Graeme Bell.<br>
_______________________________________________<br>
postgis-users mailing list<br>
<a href="mailto:postgis-users@lists.osgeo.org">postgis-users@lists.osgeo.org</a><br>
<a href="http://lists.osgeo.org/cgi-bin/mailman/listinfo/postgis-users" rel="noreferrer" target="_blank">http://lists.osgeo.org/cgi-bin/mailman/listinfo/postgis-users</a><br>
</blockquote></div><br></div>