[postgis-users] osm2pgsql error, out of memory, though i use -s

LF tmohr at s.netic.de
Thu Dec 2 02:58:22 PST 2010


Hi,

i've set up PostGIS and tried to import planet-101103.

Though i use the option "-s" and i hav 4Gb RAM in my system i get an error 
"out of memory", please have a look below, the command output is at the bottom 
of this mail.

Please also note that i got another error during import (TopologyException), 
not sure if this is critical?

I imported planet-101103 using this command:

bzcat /local/ftp/osm2/planet-101103.osm.bz2 | osm2pgsql -S 
//tmp/osm2pgsql/osm2pgsql/default.style -d gis -m -s -

Does this leave me with unusable data in PostGIS?  Looking into PostGIS i only 
get:
postgres at schleim:/usr/share/postgresql> psql -d gis
psql (8.4.5)
Geben Sie »help« für Hilfe ein.

gis=# \dt
               Liste der Relationen
 Schema |       Name       |   Typ   | Eigentümer 
--------+------------------+---------+------------
 public | geometry_columns | Tabelle | postgres
 public | spatial_ref_sys  | Tabelle | postgres
(2 Zeilen)

Is there a way i can recover from this?  The actual import took 5 days.  It 
doesn't look to me like this, as there is no data in PostGIS, but i thought 
i'd better ask, if there is a chance to not again import data for another 5 
days.

I have another 4Gb of RAM, would it help to put these into the system during 
import?  Can i be sure then that the import will work?

What do you suggest from here to import the planet-osm-101103 data into 
PostGIS?


Best regards,
Torsten.


Here is the output of the command mentioned above:

osm2pgsql SVN version 0.70.5

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
HINWEIS:  Tabelle »planet_osm_point« existiert nicht, wird übersprungen
HINWEIS:  Tabelle »planet_osm_point_tmp« existiert nicht, wird übersprungen
Setting up table: planet_osm_line
HINWEIS:  Tabelle »planet_osm_line« existiert nicht, wird übersprungen
HINWEIS:  Tabelle »planet_osm_line_tmp« existiert nicht, wird übersprungen
Setting up table: planet_osm_polygon
HINWEIS:  Tabelle »planet_osm_polygon« existiert nicht, wird übersprungen
HINWEIS:  Tabelle »planet_osm_polygon_tmp« existiert nicht, wird übersprungen
Setting up table: planet_osm_roads
HINWEIS:  Tabelle »planet_osm_roads« existiert nicht, wird übersprungen
HINWEIS:  Tabelle »planet_osm_roads_tmp« existiert nicht, wird übersprungen
Mid: pgsql, scale=100, cache=800MB, maxblocks=102401*8192
Setting up table: planet_osm_nodes
*** WARNING: intarray contrib module not installed
*** The resulting database will not be usable for applying diffs.
HINWEIS:  Tabelle »planet_osm_nodes« existiert nicht, wird übersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index 
»planet_osm_nodes_pkey« für Tabelle »planet_osm_nodes«
Setting up table: planet_osm_ways
HINWEIS:  Tabelle »planet_osm_ways« existiert nicht, wird übersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index 
»planet_osm_ways_pkey« für Tabelle »planet_osm_ways«
Setting up table: planet_osm_rels
HINWEIS:  Tabelle »planet_osm_rels« existiert nicht, wird übersprungen
HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index 
»planet_osm_rels_pkey« für Tabelle »planet_osm_rels«

Reading in file: -
Processing: Node(825539k) Way(68920k) Relation(85k)
Standard exception processing way_id 110802: TopologyException: side location 
conflict at -1.24357e+07 3.92347e+06

Standard exception processing way_id 110803: TopologyException: side location 
conflict at -1.24357e+07 3.92347e+06
Processing: Node(825539k) Way(68920k) Relation(786k)
Standard exception processing way_id 1249208: TopologyException: side location 
conflict at 1.50637e+06 6.29113e+06
Processing: Node(825539k) Way(68920k) Relation(790k)  parse time: 366813s

Node stats: total(825539318), max(975515818)
Way stats: total(68920958), max(83772734)
Relation stats: total(790302), max(1252933)

Going over pending ways
processing way (26036k)way_done failed: FEHLER:  Speicher aufgebraucht
DETAIL:  Fehler bei Anfrage mit Größe 419430400.
(7)
Arguments were: 74639538, 
Error occurred, cleaning up




More information about the postgis-users mailing list