[PostNAS Suite] fehlende Daten in PostGIS nach Datenimport mit ogr2ogr

[TLVermGeo Bergmann, Friedrich]

Werte PostNAS-Community,

seit einigen Monaten nutzen wir am Landesamt für Vermessung und Geoinformation Thüringen die Möglichkeit mittels ogr2ogr einen Sekundärdatenbestand unserer ATKIS-Daten in PostgreSQL/PostGIS zu führen. Hierfür haben wir Starthilfe vom Landesamt für Vermessung und Geoinformation Rheinland-Pfalz (Steffen Neubauer) bekommen und deren System (Erstdatenimport - Fortführung des Sekundärdatenbestandes per NBA --> laden der Delete-Datensätze, betroffene Objekte Löschen, Replace- und Insert-Datensätze reinladen) weitestgehend übernommen. Einziger größerer Unterschied ist, dass unser Steuerscript in Python geschrieben ist und unter Windows 7 läuft.
Ungefähr ein Quartal lang funktionierte das System problemlos wie gewünscht, bis plötzlich Lücken (visualisiert in QGIS) im Datenbestand gefunden wurden. Bei genauerer Recherche  haben wir festgestellt, dass es sich nicht um ein Visualisierungsproblem handelt, sondern die Daten in der Datenbank fehlen. Die NBA-Dateien haben wir ebenfalls kontrolliert und sie sind in Ordnung. Da Objekte für die in den NBA Dateien ein Delete oder Replace Befehl enthalten ist, im Datenbestand fehlen, gehen wir davon aus, dass die Delete-Datensätze korrekt eingelesen wurden und das anschließende Löschen der Objekte in der Datenbank normal funktioniert. Beim nachfolgenden Einlesen der Replace- und Insert-Datensätze scheint es zu den uns unbekannten Fehler zu kommen, der das korrekte Einlesen wie es scheint aller Insert- und Replace-Datensätze einer Datei oder sogar der ganzen Abgabe verhindert. Daraufhin haben wir den ogr2ogr-Prozess protokollieren lassen, in der Hoffnung hier einen Anhaltspunkt für das Problem zu finden. Leider vergeblich, da alle Protokolle leer sind. Da der Fehler nicht kontinuierlich auftritt, das heißt bei einigen NBA-Abgaben funktioniert alles wie gewünscht, sind wir an dieser Stelle etwas ratlos.
Für Hinweise und Tipps zum Umgang oder zur Behebung des Problems sind wir daher sehr dankbar.


Nachfolgend die gdal-Version der verwendeten ogr2oge.exe und die zwei ogr2ogr- Aufrufe einer betroffenen NBA-Abagbe.
Im Anhang befinden sie die SQL-Dateien zum Aufbau des ATKIS-Schemas sowie und die Delete-Funktionen

C:/Program Files/QGIS Wien/bin/ogr2ogr.exe" --version
GDAL 1.11.2, released 2015/02/10

"C:/Program Files/QGIS Wien/bin/ogr2ogr.exe" -append -skipfailures -f "PostgreSQL" --config PG_LIST_ALL_TABLES YES   PG:"host=vmkartoinfo user=username password=password port=5432 dbname=kartoinfo active_schema=dlm_db" D:\PostNAS/dbaseimport/NBA_2_Sekdata6_2_dlm_db/0000499U//NBA_2_Sekdata6_20160629T000000_01von11_32575000_5575000.xml Delete  2>>D:\PostNAS/logging/ogrlogging/NBA_2_Sekdata6_2_dlm_db/0000499U/parse_delete_0000499U_NBA_2_Sekdata6_20160629T000000_01von11_32575000_5575000.log

"C:/Program Files/QGIS Wien/bin/ogr2ogr.exe" -f "PostgreSQL" -append -update --config PG_LIST_ALL_TABLES YES PG:"host=vmkartoinfo user=username password=password port=5432 dbname=kartoinfo active_schema=dlm_db" -a_srs EPSG:25832 D:\PostNAS/dbaseimport/NBA_2_Sekdata6_2_dlm_db/0000499U//NBA_2_Sekdata6_20160629T000000_01von11_32575000_5575000.xml 2>>D:\PostNAS/logging/ogrlogging/NBA_2_Sekdata6_2_dlm_db/0000499U/parse_ir_0000499U_NBA_2_Sekdata6_20160629T000000_01von11_32575000_5575000.log

Mit freundlichen Grüßen


Friedrich Bergmann
____________________________________________________

LANDESAMT FÜR VERMESSUNG UND GEOINFORMATION
Dezernat 33 | Datenführung und Präsentation Geotopographie
Hohenwindenstraße 13a | 99086 Erfurt
Tel: +49 (361) 57-4176532 | Fax: +49 (361) 57-4176799
www.thueringen.de/vermessung<http://www.thueringen.de/vermessung> * friedrich.bergmann at tlvermgeo.thueringen.de<mailto:Friedrich.Bergmann at tlvermgeo.thueringen.de>

Achtung neue Telefon-Nr. !

-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://lists.osgeo.org/pipermail/nas/attachments/20160801/eb5b9832/attachment-0001.html>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : create_atkis_th_dlm_db.sql
Dateityp    : application/octet-stream
Dateigröße  : 227645 bytes
Beschreibung: create_atkis_th_dlm_db.sql
URL         : <http://lists.osgeo.org/pipermail/nas/attachments/20160801/eb5b9832/attachment-0002.obj>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : delete_functions_dlm_db.sql
Dateityp    : application/octet-stream
Dateigröße  : 4321 bytes
Beschreibung: delete_functions_dlm_db.sql
URL         : <http://lists.osgeo.org/pipermail/nas/attachments/20160801/eb5b9832/attachment-0003.obj>