<div dir="auto"><div>So this (<a href="https://github.com/OSGeo/gdal/pull/6804">https://github.com/OSGeo/gdal/pull/6804</a>) optimization by Even might be helpful here.</div><div dir="auto"><br></div><div dir="auto">In any case nice to see the limits of current FlatGeobuf impl. being put to the test. 🙂</div><div dir="auto"><br></div><div dir="auto">I suppose one could do an on disk sorting implementation but I'm not sure it's worth the complexity of it and speed trade off.</div><div dir="auto"><br></div><div dir="auto">If i can get to it would like to get some measurements done to properly document the amount of RAM required as a function of number of features to index.</div><div dir="auto"><br></div><div dir="auto">Björn<br><br><div class="gmail_quote" dir="auto"><div dir="ltr" class="gmail_attr">Den tors 24 nov. 2022 19:38Even Rouault <<a href="mailto:even.rouault@spatialys.com">even.rouault@spatialys.com</a>> skrev:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Le 24/11/2022 à 19:18, <a href="mailto:michael.smith.erdc@gmail.com" target="_blank" rel="noreferrer">michael.smith.erdc@gmail.com</a> a écrit :<br>
> I don’t believe these are huge features, its OSM building for the <br>
> world. Must be the memory constraint since it is a lot of features. <br>
> This doesn’t happen (i think, am retesting now) if created from the <br>
> osm pbf file directly but does from the fgb created from the pbf.<br>
Hum, it might be that the FGB reader is a bit gready in its memory usage <br>
then. Björn might be able to comment more<br>
><br>
> Do either of the columnar formats (arrow, geoparquet) support spatial <br>
> access window selections yet (via ogr2ogr) or is that still forthcoming?<br>
<br>
There is no spatial index specification for those formats (yet ? it <br>
isn't obvious how to stick one into them, in a clean and backward <br>
compatible way, but I believe this is a subject of research). So for now <br>
spatial filtering involves scanning all features geometries (there are a <br>
few optimizations to make it as efficient as possible, but you <br>
definitely won't get a great performance if repeatedly selecting small <br>
amounts of features with different extents)<br>
<br>
<br>
-- <br>
<a href="http://www.spatialys.com" rel="noreferrer noreferrer" target="_blank">http://www.spatialys.com</a><br>
My software is free, but my time generally not.<br>
<br>
_______________________________________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank" rel="noreferrer">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a><br>
</blockquote></div></div></div>