[Lizmap-de] Performance problems disappears

Do Mai 15 01:24:33 PDT 2025

Moin,

ich sehe das genau wie Lorenz. 

Hier meine (sorry, recht ausführliche) Meinung dazu.

Zwar haben sich die Geschwindigkeitsprobleme mit der Standardinstallation auch bei mir reduziert und beschränken sich jetzt auf den ersten Projektaufruf. Wobei dieser erste Aufruf irgendwie nichts mit dem Browser-Cache zu tun hat, sondern eher mit einem Cache auf dem Server. Denn es ist immer nach dem Serverneustart das erste Mal langsam. 

Für kleinere Projekte ist das vermutlich völlig akzeptabel und vielleicht bringt ja das QGIS-Update morgen noch weitere Besserung.

Aber wenn die Geschwindigkeit höher oder die Projekte größer sind tendiere ich jetzt eindeutig für die Lösung mit nginx und Py-QGIS-Server. Nach (zugegebener Weise recht intensiver) Einarbeitung in die Installation und den nginx ist mir der nginx subjektiv sympathischer als der Apache. Und die Internetrecherche sagt meiner Meinung nach auch, dass er schneller und effektiver arbeiten soll. Zu dem haben die 3Liz-Leute wohl auch (seltene) Probleme mit dem Apache gehabt.

Bevor ich zur Beschreibung der Vorteile vom Py-QGIS-Server aus meiner Sicht komme, kurz zur Doku. 

Ja, die Installation ist auch meiner Meinung nach aufwendiger. Und fehleranfälliger. Wenn irgendwo ein Pfad fehlt oder eine Pfaddefinition, dann geht evtl. gar nichts. So werden evtl. die Server-Plugins nicht richtig eingebunden und dann nicht von Lizmap gefunden. Es helfen aber oft die Protokolldateien (/var/log/qgis, /var/log/nginx).

Ich hatte es schon geschildert, ich teile die Installation in Unterschritte auf. Dazu habe ich mein Kochrezept jetzt in einer Excel-Tabelle übernommen und die einzelnen Schritte in verschiedenen Reitern dokumentiert. Das ist aber persönliche Geschmackssache. Sämtliche Installationsschritte sind schon in den vorhandenen Doku´s beschrieben.

Ich persönliche halte nichts von einer komprimierten Gesamt-Installationsdatei. Wenn da irgendwo etwas nicht funktioniert wird die Suche noch aufwendiger. Ich mache lieber Einzelschritte, denn so oft installiert man ja auch nicht.

Evtl. ist zum Testen und für Anfänger auch Docker eine Lösung. Damit habe ich mich aber noch nicht beschäftigt.

3Liz sieht den Py-QGIS-Server ab Lizmap 3.9 als Standard vor. Es geht aber auch noch ohne (edit Bereich [qgisWrapper] in der localconfig.ini.php).

Den großen Vorteil vom Py-QGIS-Server sehe ich darin, dass er die Arbeit auf mehrere QGIS-Prozesse aufteilt. Das war ansonsten immer ein Problem. Ich habe bisher immer die CPU-Auslastung des einen Prozesses unter Apache als Flaschenhals gesehen. Das habe ich mit eigenen WMS-Diensten abgemildert. 

Hier als Beispiel ein recht komplexes Projekt. Ein Flächennutzungsplan eines Gemeindeverwaltungsverbandes mit knapp 50.000 Flurstücken als ALKIS-Katasterbasis. 

Auf meinem alten Produktivsystem habe ich mir hierzu mindestens 4 WMS-Dienste (Kataster, Flurneuordnungen, FNP-Darstellung, Luftbilder, …) bereitgestellt. Daher gibt es in der nachfolgenden Prozessübersicht auch 5 QGIS-Prozesse:

(https://fnp.webgis.biz/index.php/view/map?repository=1 <https://fnp.webgis.biz/index.php/view/map?repository=1&project=FNP> &project=FNP)

Aber man sieht, die einzelnen Prozesse belasten die CPU-Kerne sehr stark. 

Nachfolgend die Prozessübersicht unter Py-QGIS-Server, wenn hier auch nur die Katastergrundlage (ALKIS-Daten als eigener WMS-Dienst) und das Gesamtprojekt gerendert werden:

(https://nginx41-9.webgis.biz/index.php/view/map?repository=wmsextdb <https://nginx41-9.webgis.biz/index.php/view/map?repository=wmsextdb&project=FNP_3_40_WMS_same_DB_ext> &project=FNP_3_40_WMS_same_DB_ext)

Die gut 30% Prozessorauslastung waren mit die höchsten Werte, denn ich nach vielen Versuchen sehen konnte.

Hier gibt es für die 2 Projekte, die gerendert werden müssen schon mind. 9 QGIS-Prozesse. Bei unserer alten Lösung wären das 2 Prozesse (Projekt für WMS-Dienst und das eigentliche Projekt).

Oder noch eindeutiger für das Projekt, welches den WMS-Dienst für die Katastergrundlage (ALKIS) bereitstellt.

Hier die alte Lösung:

(https://wms101.webgis.biz/index.php/view/map?repository=8 <https://wms101.webgis.biz/index.php/view/map?repository=8&project=gvv-nk_alkis_wms> &project=gvv-nk_alkis_wms, das Projekt ist normalerweise versteckt)

Und hier mit Py-QGIS-Server:

(https://nginx41-9.webgis.biz/index.php/view/map?repository=wmsextdb <https://nginx41-9.webgis.biz/index.php/view/map?repository=wmsextdb&project=gvv-nk_alkis_wms_3_40_ext_db> &project=gvv-nk_alkis_wms_3_40_ext_db)

Mit 5 Prozessen, wobei 2 wohl immer die Hauptarbeit leisten.

Wenn jetzt noch der zur Verfügung stehende Hauptspeicher besser genutzt wird, dann halte ich das für ein sehr effektives System. Diese Optimierungen muss man aber wohl im Produktivsystem bei Beobachtung der Speicherauslastung vornehmen.

Ich plane nach Pfingsten meinen nächsten Produktiv-Server entsprechend zu installieren.

Viele Grüße

Günter

Von: Lizmap-de <lizmap-de-bounces at lists.osgeo.org> Im Auftrag von Meyer, Lorenz via Lizmap-de
Gesendet: Mittwoch, 14. Mai 2025 19:26
An: Wolfgang Meinolf <wmeinolf at telecomconsult.de>; peter.berger at bluewin.ch
Cc: lizmap-de at lists.osgeo.org
Betreff: Re: [Lizmap-de] Performance problems disappears

Hallo Zusammen, 

ich denke py-qgis macht definitiv Sinn und auch wenn die Installation anscheinend etwas fehleranfälliger ist, ist es den Aufwand wert - zumal ab Lizmap 3.9 er ja quasi "verpflichtend" ist. Wir können gern beim nächsten Anwender:innen-Treffen (oder, da es ja noch hin ist bis zum nächsten "offiziell geplanten" auch eines vorziehen) mal eine Installations-Session machen, bei denen Günter und ich + X euch unterstützen!

Evtl lohnt es sich aber noch, 1.5Tage warten, bis der nächste QGIS Point-Release ansteht (3.40.7 für die LTR) - der Chefentwickler hinter py-qgis-server meinte, sie haben im qgis-server einen Fehler gefunden, der evtl. Für das erlahmen unserer Standsrt-Installationen sorgt - der fix ist in 3.40.7 enthalten.

Für kleine Projekte (Server mit1-2QGIS Projekten und überschaubaren Zugriffszahlen) sollte der normale QGIS Server aber ja schon ausreichen. Py-qgis-server ist halt gut, weil er phantastisch skaliert!
..soweit meine 50pfennig!

Liebe Grüße,
Lorenz 

  _____  

Von: Wolfgang Meinolf <wmeinolf at telecomconsult.de <mailto:wmeinolf at telecomconsult.de> >
Gesendet: Mittwoch, 14. Mai 2025 19:15:55
An: peter.berger at bluewin.ch <mailto:peter.berger at bluewin.ch> 
Cc: Meyer, Lorenz; lizmap-de at lists.osgeo.org <mailto:lizmap-de at lists.osgeo.org> 
Betreff: Re: [Lizmap-de] Performance problems disappears 

Hallo Peter,  

Ich hab meinen Server ja auf 24.04. Lizmap Server Plugin manuell installiert. Läuft prima und problemlos. Bzgl. Py-qgis-server sehe ich das genauso. 

Schönen Gruß aus Südtirol 

Wolfgang 

Wolfgang Meinolf 

Send from my Phone 

+49 151 1142 7451

Am 14.05.2025 um 18:31 schrieb peter.berger--- via Lizmap-de <lizmap-de at lists.osgeo.org <mailto:lizmap-de at lists.osgeo.org> >:

Hallo zusammen

Ich denke es macht keinen weiteren Sinn am pyqgis-server herumzumachen. Auch Ubuntu 24.04 vergesse ich. Da wird die Installation zu komplex. Ich würde gerne wissen wie ihr das so seht?

Liebe Grüsse

Peter

Von meinem iPhone gesendet

Am 13.05.2025 um 08:21 schrieb peter.berger at bluewin.ch <mailto:peter.berger at bluewin.ch> :

Ja einen Reboot habe ich bereits gemacht. Und die Performance ist besser als früher!

Gruss, Peter

Von meinem iPhone gesendet

Am 13.05.2025 um 07:05 schrieb Meyer, Lorenz via Lizmap-de <lizmap-de at lists.osgeo.org <mailto:lizmap-de at lists.osgeo.org> >:

Hallo Peter, 

Günter hat ja ähnliches berichtet – aber nach einem Server-Neustart waren die Probleme wieder da. Hast du das schon gemacht?

Lorenz

Büro Weingarten

Telefon: 0751/56966-24

Fax: 0751/56966-11

E-Mail: meyer at gisgeometer.de <mailto:meyer at gisgeometer.de>  

-------------------------------------------------------

Meine Bürozeiten sind:

Mo – Do von 8:00-16:00

-------------------------------------------------------

Klein und Leber GbR

Vermessung und Geoinformation

88250 Weingarten, Hähnlehofstr. 33, 

Telefon: 0751-56966-0, Fax: 0751-56966-11

88046 Friedrichshafen, Otto-Lilienthal-Str. 2

Telefon: 07541-40097-0, Fax: 07541-40097-11

Internet: http://www.gisgeometer.de <http://www.gisgeometer.de/> 

------------------------------------------------------

Von: Lizmap-de <lizmap-de-bounces at lists.osgeo.org <mailto:lizmap-de-bounces at lists.osgeo.org> > Im Auftrag von Peter Berger via Lizmap-de
Gesendet: Montag, 12. Mai 2025 23:08
An: lizmap-de at lists.osgeo.org <mailto:lizmap-de at lists.osgeo.org> 
Betreff: [Lizmap-de] Performance problems disappears

It updated my previous Ubuntu 22.04 installation with QGIS 3.40.x to QGIS3.40.6 and I see the performance problems are gone. Has anybody made the same observation?

Cheers, Peter

 <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=emailclient> 

Virenfrei. <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=emailclient> www.avast.com

-- 
Lizmap-de mailing list
Lizmap-de at lists.osgeo.org <mailto:Lizmap-de at lists.osgeo.org> 
https://lists.osgeo.org/mailman/listinfo/lizmap-de

-- 
Lizmap-de mailing list
Lizmap-de at lists.osgeo.org <mailto:Lizmap-de at lists.osgeo.org> 
https://lists.osgeo.org/mailman/listinfo/lizmap-de

-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://lists.osgeo.org/pipermail/lizmap-de/attachments/20250515/6aa2cc4e/attachment-0001.htm>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image003.jpg
Dateityp    : image/jpeg
Dateigröße  : 88694 bytes
Beschreibung: nicht verfügbar
URL         : <http://lists.osgeo.org/pipermail/lizmap-de/attachments/20250515/6aa2cc4e/attachment-0004.jpg>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image005.jpg
Dateityp    : image/jpeg
Dateigröße  : 86683 bytes
Beschreibung: nicht verfügbar
URL         : <http://lists.osgeo.org/pipermail/lizmap-de/attachments/20250515/6aa2cc4e/attachment-0005.jpg>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image008.jpg
Dateityp    : image/jpeg
Dateigröße  : 88185 bytes
Beschreibung: nicht verfügbar
URL         : <http://lists.osgeo.org/pipermail/lizmap-de/attachments/20250515/6aa2cc4e/attachment-0006.jpg>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image012.jpg
Dateityp    : image/jpeg
Dateigröße  : 84266 bytes
Beschreibung: nicht verfügbar
URL         : <http://lists.osgeo.org/pipermail/lizmap-de/attachments/20250515/6aa2cc4e/attachment-0007.jpg>