<div dir="ltr"><div><div><div><br><br>On Fri, Nov 3, 2017 at 7:08 PM, Nikos Alexandris <<a href="mailto:nik@nikosalexandris.net">nik@nikosalexandris.net</a>> wrote:<br>><br>> Before processing tens of thousands of Landsat8 TIRS bands, a script<br>> tests the workflow described below, for 74 scenes, that correspond to one<br>> WRS2 tile.<br>><br>><br>> The script takes as inputs:<br>><br>> <Landsat8Pool> path to directory with Landsat scenes<br>> <ScenePattern> regex pattern to match a set of Landsat scene identifiers<br>> <LandCover> land cover map<br>> <grassdb> path to the GRASS GIS data base<br>> <Location> name for the GRASS GIS Location<br>> <TargetMapset> name for the GRASS GIS Mapset to host maps to build a time series<br>> <WindowSize> an odd integer, parameter for a split-window algorithm (SW)<br>><br>><br>> Part 1 of the workflow derives Land Surface Temperature maps by:<br>><br>> 1. Creating the target Location<br>> 2. Linking pseudo GRASS raster maps to Landsat8 GeoTIFF files<br>> 3. Exporting a TGIS-compliant list of maps and timestamps<br>> 4. Importing a land cover map required for the SW algorithm<br>> 5. Estimating Land Surface Temperature (LST) maps for given scenes (i.landsat8.swlst)<br>> 6. Creating a dedicated Mapset for LST maps<br>> 7. Copying LST maps in the "LST" Mapset<br>> 8. Removing initial LST maps from individual scene Mapsets<br>><br>><br>> With a somewhat strong CPU, producing one LST map (7771 rows by 7651<br>> columns = 59455921 cells), takes ~34 minutes.<br>><br>> For 74 Landsat8 input scenes, first trials took about 42 hours, running<br>> grass-7.3.svn inside a docker container, albeit assigned one CPU.<br>><br>><br>> Part 2 concerns building Time Series by:<br>><br>> 1. Creating and LST Spatio-Temporal Raster Dara Set (STRDS)<br>> 2. Registering LST maps in TGIS' data base<br>> 3. Smoothing the LST STRDS via Local Weighted Regression (r.series.lwr)<br>> 4. Timestamping Local-Weight-Regression derived maps<br>> 5. Creating an STRDS for LWR maps<br>> 6. Registering LWR maps in TGIS' data base<br>><br>><br>> Part 2 took about 130 minutes including all steps. Obviously, step 3 is<br>> practically the consumer.<br>><br>><br>> Overall it took about 44 hours to build an LWR Smoothed LST STRDS.<br>><br>> After proofing the concept, good use of the cluster concerns steps 2, 5,<br>> 7 and 8 (of Part 1). Processes that can/should run in parallel, in an<br>> (admittedly heterogeneous) cluster that consists of 912 cores.<br>><br>> Final concern is if multi-threading applies to r.series.lwr (step 3 of<br>> Part 2).<br><br></div>You could<br></div>1. create different temporal chunks of the time series, each chunk will be processed by r.series.lwr, all chunks can be processed in parallel.<br></div>2. create different spatial chunks of the time series (tiling the computational region), each chunk will be processed by r.series.lwr, all chunks can be processed in parallel.<div><div><div><div><div><br></div><div>HTH,</div><div><br></div><div>Markus M<br></div><div>><br>> Thank you, Nikos<br>><br>> _______________________________________________<br>> grass-dev mailing list<br>> <a href="mailto:grass-dev@lists.osgeo.org">grass-dev@lists.osgeo.org</a><br>> <a href="https://lists.osgeo.org/mailman/listinfo/grass-dev">https://lists.osgeo.org/mailman/listinfo/grass-dev</a><br><br></div></div></div></div></div></div>