<div dir="ltr">Hi Jukka<div><br></div><div>Is osmium-extract available in pyosmium?</div><div>i'm using windows; and seems difficult to use osmium in windows</div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Nov 1, 2018 at 7:13 PM jratike80 <<a href="mailto:jukka.rahkonen@maanmittauslaitos.fi">jukka.rahkonen@maanmittauslaitos.fi</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
That is probably another problem, OSM pbf format does not support effective<br>
selection by region so selecting a subarea from europe-latest.osm.pbf may be<br>
almost as slow as processing the whole dataset. I would try if<br>
osmium-extract <a href="https://docs.osmcode.org/osmium/latest/osmium-extract.html" rel="noreferrer" target="_blank">https://docs.osmcode.org/osmium/latest/osmium-extract.html</a><br>
could do the clipping  faster.<br>
<br>
-Jukka Rahkonen-<br>
<br>
<br>
koji higuchi wrote<br>
> Hi, my source file is too big, around 19gb (europe-latest.osm.pbf)<br>
> I also tried ogr2ogr for clipping into region as follows.<br>
> ogr2ogr -f,  gpkg,  -clipdst, str(ulx), str(lry), str(lrx), str(uly), fo,<br>
> fi<br>
> but it was also very slow.<br>
> <br>
> <br>
> On Thu, Nov 1, 2018 at 6:55 PM jratike80 <<br>
<br>
> jukka.rahkonen@<br>
<br>
>> wrote:<br>
> <br>
>> koji higuchi wrote<br>
>> > Hi, following is the code I used:<br>
>> ><br>
>> > Import os, osmium, fiona<br>
>> ><br>
>> > fi = 'europe-latest.osm.pbf'<br>
>> > fo = 'europe-latest.dpkg'<br>
>> ><br>
>> > drv = 'DPKG'<br>
>><br>
>> Hi,<br>
>><br>
>> I am not able to evaluate if your code is effective or not. However, I<br>
>> can<br>
>> give you some numbers for comparison.<br>
>><br>
>> Test data <a href="http://download.geofabrik.de/europe/finland-latest.osm.pbf" rel="noreferrer" target="_blank">http://download.geofabrik.de/europe/finland-latest.osm.pbf</a><br>
>> - 322 MB as .pbf<br>
>> - 770725 points<br>
>> - 1778917 lines<br>
>> - 3128 multilinestrings<br>
>> - 2087911 multipolygons<br>
>> - 6985 other relations<br>
>><br>
>> Command:<br>
>> ogr2ogr -f gpkg finland.gpkg finland-latest.osm.pbf<br>
>><br>
>> Execution time on Windows laptop:<br>
>> 2 minutes and 20 seconds<br>
>><br>
>> If you experience some slower performance it is probably not because of<br>
>> SQLite/GeoPackage as a format is slow but because something is not done<br>
>> in<br>
>> a<br>
>> way that is not optimal for the format. Could you also define your source<br>
>> data and the performance that you have measured?<br>
>><br>
>> -Jukka Rahkonen-<br>
>><br>
<br>
<br>
<br>
<br>
<br>
--<br>
Sent from: <a href="http://osgeo-org.1560.x6.nabble.com/GDAL-Dev-f3742093.html" rel="noreferrer" target="_blank">http://osgeo-org.1560.x6.nabble.com/GDAL-Dev-f3742093.html</a><br>
_______________________________________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a></blockquote></div>