<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hey Albion,<div><br></div><div>Heading into using entwine, Its super important to stop thinking about the number of files with points in them and start thinking about the area your data cover, the number of points you have and how they’re distributed in space.</div><div><br></div><div>This explains how subset builds work:</div><div><br></div><div><a href="https://entwine.io/configuration.html#subset">https://entwine.io/configuration.html#subset</a><br></div><div><br></div><div>… so for a 1tb dataset (of one file or many files) you can build a subset at a time, as long as you use subset numbers like 4,16,64 … 256 etc. You can get a single machine to build all the subsets in a loop (like I do, and like Luigi demonstrated), or use clever AWS tools to build each subset at the same time in parallel (like team PDAL does, and some other users I know). In either case vary the subset size and threadedness to control memory usage.</div><div><br></div><div>If your points are evenly distributed, memory management is easier. If they’re not, choosing a subset size is harder.</div><div><br></div><div>Morton order filtering was a tip from Connor Manning, it helps entwine hold fewer parts open in memory by stacking points which are near each other in space near each other in the source files.</div><div><br></div><div>The current docker build of entwine has PDAL complied without e57. Try </div><div><br></div><div><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif">docker run -it --entrypoint /bin/bash connormanning/entwine</font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif"><br></font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif">to get a shell in the container then:</font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif"><br></font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><font face="arial, sans-serif"><span style="font-variant-ligatures:no-common-ligatures"></span></font></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif">pdal --drivers | grep readers</font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif"><br></font></span></p><p style="margin:0px;font-stretch:normal;line-height:normal;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><font face="arial, sans-serif">…to see what readers are compiled.</font></span></p><p style="margin:0px;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo;color:rgb(0,0,0)"><br></p></div><div> Maybe look at rolling your own entwine docker container if you need the e57 driver built.</div><div><br></div><div>Hope that helps, and of course both team Hobu and people like myself are open for paid consulting around this stuff (they’re better, this thread has all my tricks already… but I can crank the handle and get results if you just need a shortcut to a win). And thanks Luigi for explanations thus far!</div><div><br></div><div>Regards,</div><div><br></div><div>Adam</div><div><br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 29 May 2020 at 19:17, Luigi Pirelli <<a href="mailto:luipir@gmail.com" target="_blank">luipir@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>On Fri, 29 May 2020 at 10:57, Albion SHABANI <<a href="mailto:albi.dony@hotmail.com" target="_blank">albi.dony@hotmail.com</a>> wrote:<br></div></div></div></div></div></div></div></div></div></div></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="color:rgb(50,49,48)">Thank you for your advice.</span><br>
</div>
<div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;color:rgb(50,49,48);background-color:rgb(255,255,255);display:inline"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;color:rgb(50,49,48);background-color:rgb(255,255,255);display:inline">I have to convert lots of files (like more than 1To and counting) for different projects.</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
I have one with 500g almost (451 las files)</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-size:14px;color:rgb(36,41,46);background-color:rgb(255,255,255);display:inline">I tried to build all of the input files at once but even If I have an EC2 with 16CPU and 128 Gio RAM it did not work (memory at 100%),
 convertion killed by the system. I don't know if the memory problem is the use of docker image.</span></div></div></div></blockquote><div><br></div><div>no... it's not a docker problem, but (AFAIK) allocating meomory for all that points to maintain a scale independent visualization. BTW pdal crew can be more precise on thsi aspect.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)"><span style="color:rgb(36,41,46);font-size:14px">So, I am trying your solution (</span><span style="color:rgb(50,49,48)">Luigi) </span><span style="color:rgb(36,41,46);font-size:14px">to
 avoid memory problems.</span><br></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">For example, If I have 500go to convert so let's say 700 las files.</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px"><br>
</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">If I want to convert them, I have to specify maximum number of files per sequence
 ? or just give total_part=700</span></font></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)"><font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px"><br>
</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">In your case u have 256, this number is the number of las files in that folder
 ? or it is the maximum number of las files in a sequence to be put by entwine.</span></font></div></div></div></blockquote><div><br></div><div>that's a documentation fault and mine toio... I've to contribute back to documentation adding more datails. Parts is the number of suwares in which the covered areas have to be divided => HAVE to be a 2^ number => low number => big areas and points to index => BIIIIIG memory use! There you have to find a compromise with processing time and memory occupation.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">I have the feeling that if I leave the total_parts at 700, entwine is putting
 everything in the first sequence and when I will merge there will be only one id (nothing to merge).  So it's the same problem as if i launch all of them at once !</span></font></div></div></div></blockquote><div><br></div><div>"I leave the total_parts at 700" could be a bug... should give error because in not a 2^ number. BTW it's amost important for the processing time to spatially order all points in morton ordering, this facilitate a lot the building of the indexes and memory occupation. </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px"><br>
</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">Thank you very much for your help, I'm struggling to understand how does this
 work and be able to convert lots of files with entwine.</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px"><br>
</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">and by the way from this docker <a href="https://hub.docker.com/r/connormanning/entwine" id="gmail-m_-1886382255113849398gmail-m_-595263264044079952gmail-m_6617487299205833954LPlnk316475" target="_blank">https://hub.docker.com/r/connormanning/entwine</a> <b>entwine
 does not work with e57 files !!</b></span></font></div></div></div></blockquote><div><br></div><div>I see many traffic in dev list/ciommits about this... btw during morton ordering with pdal you can also translate in other formats becasue pdal is able to manage e57 </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px"><br>
</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">Best regards,</span></font></div>
<div style="margin:0px;font-size:15px;color:rgb(32,31,30);background-color:rgb(255,255,255)">
<font color="#24292e" face="-apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji"><span style="margin:0px;font-size:14px">Albion</span></font></div>
<div dir="ltr">
<div style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
</div>
</div>
</div>

_______________________________________________<br>
pdal mailing list<br>
<a href="mailto:pdal@lists.osgeo.org" target="_blank">pdal@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/pdal" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/pdal</a></blockquote><div><br></div><div>Luigi Pirelli<br><br>**************************************************************************************************<br>* LinkedIn: <a href="https://www.linkedin.com/in/luigipirelli" target="_blank">https://www.linkedin.com/in/luigipirelli</a><br>* Stackexchange: <a href="http://gis.stackexchange.com/users/19667/luigi-pirelli" target="_blank">http://gis.stackexchange.com/users/19667/luigi-pirelli</a><br>* GitHub: <a href="https://github.com/luipir" target="_blank">https://github.com/luipir</a><br>* Book: <a href="https://www.packtpub.com/eu/application-development/mastering-geospatial-development-qgis-3x-third-edition" target="_blank">Mastering QGIS3 - 3rd Edition</a></div><div>* Hire a team: <a href="http://www.qcooperative.net" target="_blank">http://www.qcooperative.net</a><br></div><div>************************************************************************************************** </div></div></div>
_______________________________________________<br>
pdal mailing list<br>
<a href="mailto:pdal@lists.osgeo.org" target="_blank">pdal@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/pdal" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/pdal</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div>Dr. Adam Steer</div><div><a href="http://spatialised.net" target="_blank">http://spatialised.net</a></div><div><a href="https://www.researchgate.net/profile/Adam_Steer" target="_blank">https://www.researchgate.net/profile/Adam_Steer</a><br><a href="http://au.linkedin.com/in/adamsteer" target="_blank">http://au.linkedin.com/in/adamsteer</a></div><div><a href="http://orcid.org/0000-0003-0046-7236" target="_blank">http://orcid.org/0000-0003-0046-7236</a><br>+61 427 091 712 ::  @adamdsteer</div><div><br></div><div>Suits are bad for business: <a href="http://www.spatialised.net/business-penguins/" target="_blank">http://www.spatialised.net/business-penguins/</a></div></div></div></div></div></div></div></div>