<div dir="ltr"><div><div dir="auto" style="outline:none">Hey Simon,</div></div><div dir="auto"><br></div><div dir="auto">We had a successful enough experience with working with GDAL & Spark. </div><div dir="auto"><br></div><div dir="auto">Initially there was a try to use GDAL JNI bindings for these purposes, but it turned out that GDAL, and especially WARP (using its VRT driver), is not completely thread safe. </div><div dir="auto"><br></div><div dir="auto">You can have a look into an alternative version of JNI bindings (very limited and covering warp only) <div dir="auto"><a href="https://github.com/geotrellis/gdal-warp-bindings" target="_blank">https://github.com/geotrellis/gdal-warp-bindings</a> </div><div dir="auto"><br></div><div dir="auto">However, even though bindings are thread safe, it was achieved by dataset locks. Usage of GDAL in a highly multithreaded environment can still be challenging in terms of a desired performance.</div><div dir="auto"><br></div><div dir="auto">To resolve your need in Spark you can in general try GeoTrellis (and there is a GDAL support to perform all warp steps).</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jan 24, 2020 at 7:04 PM Marius Jigmond <<a href="mailto:mariusjigmond@hotmail.com">mariusjigmond@hotmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
We've been using Geotrellis (<a href="https://geotrellis.io/" target="_blank">https://geotrellis.io/</a>) for Spark jobs.</div>
<div style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
-marius</div>
<div id="gmail-m_-4601908950946908330appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_-4601908950946908330divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> gdal-dev <<a href="mailto:gdal-dev-bounces@lists.osgeo.org" target="_blank">gdal-dev-bounces@lists.osgeo.org</a>> on behalf of Simon <<a href="mailto:twinbirds@protonmail.com" target="_blank">twinbirds@protonmail.com</a>><br>
<b>Sent:</b> Thursday, January 23, 2020 6:30 PM<br>
<b>To:</b> <a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a> <<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a>><br>
<b>Subject:</b> [gdal-dev] Speeding up gdalwarp process</font>
<div> </div>
</div>
<div>
<blockquote type="cite">
<div>Hi gdal-devs,<br>
</div>
<div>I have a question, if there is some way to use gdalwarp in a clustering system (e.g., Sparks) or with GPU to speed up the process? My task involves re-projection and re-sampling of hundreds of high-resolution images. Any ideas to make use of Sparks or
 GPU is welcomed. Thank you.<br>
</div>
<div>Simon<br>
</div>
</blockquote>
</div>
</div>

_______________________________________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr">Grigory Pomadchin<br>LinkedIn: <a href="https://vk.com/away.php?to=http%3A%2F%2Fwww.linkedin.com%2Fin%2Fgrpomadchin&cc_key=" style="font-size:13px;color:rgb(42,88,133);font-family:-apple-system,system-ui,Roboto,"Helvetica Neue",sans-serif;outline:none" target="_blank">http://www.linkedin.com/in/grpomadchin</a></div></div></div></div>