<div dir="ltr"><div class="gmail_default" style="font-family:comic sans ms,sans-serif">Hi,<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">I'm trying to speed up processing of OSM data by opening an OSM file into multiple datasets in multiple threads. One dataset per thread. Each thread is processing a separate section of data, basically tiling the data.<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">I've however run into a scaling issue with the amount of memory allocated per dataset.<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">The Open in the OSM driver seems to allocate a lot of memory for buffers for processing regardless of the size of the data loaded.<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">So I have a couple of questions:<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">1. is there away of reducing the memory load when reading OSM in multiple threads?<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">2. Could I convert the OSM data into a different format that can be read efficiently from multiple threads? and what would that format be?<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">My thought for (2) would be to load the data into a database and read from the database using ogr. If this is the correct way forward which database would be recommended (PostGIS, SpatialLite,...) ?<br><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">Thanks<br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif">Damian<br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif"><br></div></div>