[postgis-users] osm2pgsql error, out of memory, though i use -s

[Ralf Suhr]

Hi Torsten,

set the --cache option to a higher value. The default: 800 is to low. All from 
your last import will be lost. osm2pgsql writes to temporary tables.

Gr
Ralf

Am Donnerstag 02 Dezember 2010, 11:58:22 schrieb LF:
> Hi,
> 
> i've set up PostGIS and tried to import planet-101103.
> 
> Though i use the option "-s" and i hav 4Gb RAM in my system i get an error
> "out of memory", please have a look below, the command output is at the
> bottom of this mail.
> 
> Please also note that i got another error during import
> (TopologyException), not sure if this is critical?
> 
> I imported planet-101103 using this command:
> 
> bzcat /local/ftp/osm2/planet-101103.osm.bz2 | osm2pgsql -S
> //tmp/osm2pgsql/osm2pgsql/default.style -d gis -m -s -
> 
> Does this leave me with unusable data in PostGIS?  Looking into PostGIS i
> only get:
> postgres at schleim:/usr/share/postgresql> psql -d gis
> psql (8.4.5)
> Geben Sie »help« für Hilfe ein.
> 
> gis=# \dt
>                Liste der Relationen
>  Schema |       Name       |   Typ   | Eigentümer
> --------+------------------+---------+------------
>  public | geometry_columns | Tabelle | postgres
>  public | spatial_ref_sys  | Tabelle | postgres
> (2 Zeilen)
> 
> Is there a way i can recover from this?  The actual import took 5 days.  It
> doesn't look to me like this, as there is no data in PostGIS, but i thought
> i'd better ask, if there is a chance to not again import data for another 5
> days.
> 
> I have another 4Gb of RAM, would it help to put these into the system
> during import?  Can i be sure then that the import will work?
> 
> What do you suggest from here to import the planet-osm-101103 data into
> PostGIS?
> 
> 
> Best regards,
> Torsten.
> 
> 
> Here is the output of the command mentioned above:
> 
> osm2pgsql SVN version 0.70.5
> 
> Using projection SRS 900913 (Spherical Mercator)
> Setting up table: planet_osm_point
> HINWEIS:  Tabelle »planet_osm_point« existiert nicht, wird übersprungen
> HINWEIS:  Tabelle »planet_osm_point_tmp« existiert nicht, wird übersprungen
> Setting up table: planet_osm_line
> HINWEIS:  Tabelle »planet_osm_line« existiert nicht, wird übersprungen
> HINWEIS:  Tabelle »planet_osm_line_tmp« existiert nicht, wird übersprungen
> Setting up table: planet_osm_polygon
> HINWEIS:  Tabelle »planet_osm_polygon« existiert nicht, wird übersprungen
> HINWEIS:  Tabelle »planet_osm_polygon_tmp« existiert nicht, wird
> übersprungen Setting up table: planet_osm_roads
> HINWEIS:  Tabelle »planet_osm_roads« existiert nicht, wird übersprungen
> HINWEIS:  Tabelle »planet_osm_roads_tmp« existiert nicht, wird übersprungen
> Mid: pgsql, scale=100, cache=800MB, maxblocks=102401*8192
> Setting up table: planet_osm_nodes
> *** WARNING: intarray contrib module not installed
> *** The resulting database will not be usable for applying diffs.
> HINWEIS:  Tabelle »planet_osm_nodes« existiert nicht, wird übersprungen
> HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index
> »planet_osm_nodes_pkey« für Tabelle »planet_osm_nodes«
> Setting up table: planet_osm_ways
> HINWEIS:  Tabelle »planet_osm_ways« existiert nicht, wird übersprungen
> HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index
> »planet_osm_ways_pkey« für Tabelle »planet_osm_ways«
> Setting up table: planet_osm_rels
> HINWEIS:  Tabelle »planet_osm_rels« existiert nicht, wird übersprungen
> HINWEIS:  CREATE TABLE / PRIMARY KEY erstellt implizit einen Index
> »planet_osm_rels_pkey« für Tabelle »planet_osm_rels«
> 
> Reading in file: -
> Processing: Node(825539k) Way(68920k) Relation(85k)
> Standard exception processing way_id 110802: TopologyException: side
> location conflict at -1.24357e+07 3.92347e+06
> 
> Standard exception processing way_id 110803: TopologyException: side
> location conflict at -1.24357e+07 3.92347e+06
> Processing: Node(825539k) Way(68920k) Relation(786k)
> Standard exception processing way_id 1249208: TopologyException: side
> location conflict at 1.50637e+06 6.29113e+06
> Processing: Node(825539k) Way(68920k) Relation(790k)  parse time: 366813s
> 
> Node stats: total(825539318), max(975515818)
> Way stats: total(68920958), max(83772734)
> Relation stats: total(790302), max(1252933)
> 
> Going over pending ways
> processing way (26036k)way_done failed: FEHLER:  Speicher aufgebraucht
> DETAIL:  Fehler bei Anfrage mit Größe 419430400.
> (7)
> Arguments were: 74639538,
> Error occurred, cleaning up
> 
> _______________________________________________
> postgis-users mailing list
> postgis-users at postgis.refractions.net
> http://postgis.refractions.net/mailman/listinfo/postgis-users