<div dir="ltr">Added some small fuzzer corpus test cases that cause me OOM on a 2GB instance:<div><br></div><div><a href="https://trac.osgeo.org/gdal/ticket/6540#comment:5">https://trac.osgeo.org/gdal/ticket/6540#comment:5</a><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 17, 2017 at 3:05 AM, Even Rouault <span dir="ltr"><<a href="mailto:even.rouault@spatialys.com" target="_blank">even.rouault@spatialys.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On vendredi 13 octobre 2017 12:43:29 CEST Even Rouault wrote:<br>
> On vendredi 13 octobre 2017 10:06:56 CEST Matthieu Lefort wrote:<br>
> > Hi list,<br>
> > I am using ogr2ogr to load big geojson files (about 1 Go each) into<br>
> > postgresql database. On my MacBook, (GDAL 1.11.3, released 2015/09/16),<br>
> > although it lasts about 20 minutes for each file, this works fine. I tried<br>
> > to do the same thing on a VPS (Debian Stretch 9.2, 8 Go RAM) but the<br>
> > process consumes all RAM in 20 seconds before stopping (out of memory).<br>
> > Install was made with apt-get install gdal-bin. (GDAL 2.1.2, released<br>
> > 2016/10/24)<br>
> ><br>
> > Is there a way to control memory usage or to avoid at least using more<br>
> > memory than the available one ?<br>
><br>
> Matthieu,<br>
><br>
> no, this is a known issue ( see <a href="https://trac.osgeo.org/gdal/ticket/6540" rel="noreferrer" target="_blank">https://trac.osgeo.org/gdal/<wbr>ticket/6540</a> )<br>
<br>
</span>Hi,<br>
<br>
I've modified the GeoJSON driver in trunk to be able to ingest arbitrary large<br>
files with neglectable RAM consumption. Testing appreciated as this is a non<br>
trivial change.<br>
<span class=""><br>
Even<br>
<br>
--<br>
Spatialys - Geospatial professional services<br>
<a href="http://www.spatialys.com" rel="noreferrer" target="_blank">http://www.spatialys.com</a><br>
</span>______________________________<wbr>_________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer" target="_blank">https://lists.osgeo.org/<wbr>mailman/listinfo/gdal-dev</a></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">--<div><a href="http://schwehr.org" target="_blank">http://schwehr.org</a></div></div>
</div>