<div dir="ltr">Hi Matt<div><br></div><div>I see you have a pretty big area (are those US feet or metres?) specified down to nanometre (nanofoot?) precision - can you divide-and-conquer? this would be my approach</div><div><br></div><div>Cheers</div><div><br></div><div>Adam</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 2 Apr 2019 at 05:15, Matt Beckley <<a href="mailto:beckley@unavco.org">beckley@unavco.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Andrew.<div><br></div><div>Thanks for the response.  Are there plans to implement the streaming option to the EPT reader?  If so, do you have a feel for the timeline?  6 months?  a year?  I know it is hard to estimate, but I was just curious.</div><div><br></div><div>thanks.<br clear="all"><div><div dir="ltr" class="gmail-m_435590989378732387gmail_signature"><div dir="ltr"><div><div dir="ltr">---------------------------<div>Matthew Beckley</div><div>Data Engineer</div><div>UNAVCO/OpenTopography</div><div><a href="mailto:beckley@unavco.org" target="_blank">beckley@unavco.org</a></div>303-381-7487</div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 1, 2019 at 7:33 AM Andrew Bell <<a href="mailto:andrew.bell.ia@gmail.com" target="_blank">andrew.bell.ia@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">This isn't surprising.  150 million points at even 30 bytes per point (and it's more than 30 bytes per point) is 4.5 gig.  Until the EPT reader supports stream mode, you're not going to be able to get around this limitation with PDAL.  There are no EPT options you can set that will change this.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 1, 2019 at 9:26 AM Matt Beckley <<a href="mailto:beckley@unavco.org" target="_blank">beckley@unavco.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>Is there a way to optimize docker or PDAL to be able to run larger queries on ept files?  Or Is there some info about memory management, or some settings I should be using to facilitate larger queries?  I have been trying to run a test on the JSON pipeline below, and I am only able to get it to run successfully if I set my docker memory to over 6GB....anything less than 6GB will fail.  When successfully run, the resulting LAZ file is only about 150 million points - so, not huge by lidar standards.    I've tried increasing the "threads" keyword to the ept reader, but that didn't seem to help.<br></div><div><br></div><div>{</div><div>    "pipeline": [{</div><div>        "type": "readers.ept",</div><div>        "filename": "<a href="https://s3-us-west-2.amazonaws.com/usgs-lidar-public/USGS_LPC_HI_Oahu_2012_LAS_2015" target="_blank">https://s3-us-west-2.amazonaws.com/usgs-lidar-public/USGS_LPC_HI_Oahu_2012_LAS_2015</a>",</div><div>        "bounds": "([-17606581.532235783, -17598784.955350697],[2441398.6834285296,2448889.512200477])"</div><div>    },</div><div>    {</div><div>        "type" : "writers.las",</div><div>        "filename": "HI_LargeOutput_Local.laz"</div><div>    }]}</div><div><br></div><div>Any ideas would be appreciated.</div><div><br></div><div>Thanks!</div><div><br></div><div>matt.</div><div><div dir="ltr" class="gmail-m_435590989378732387gmail-m_-2972888155062696467gmail-m_3984551469406667116gmail_signature"><div dir="ltr"><div><div dir="ltr">---------------------------<div>Matthew Beckley</div><div>Data Engineer</div><div>UNAVCO/OpenTopography</div><div><a href="mailto:beckley@unavco.org" target="_blank">beckley@unavco.org</a></div>303-381-7487</div></div></div></div></div></div></div>
_______________________________________________<br>
pdal mailing list<br>
<a href="mailto:pdal@lists.osgeo.org" target="_blank">pdal@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/pdal" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/pdal</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_435590989378732387gmail-m_-2972888155062696467gmail_signature">Andrew Bell<br><a href="mailto:andrew.bell.ia@gmail.com" target="_blank">andrew.bell.ia@gmail.com</a></div>
</blockquote></div>
_______________________________________________<br>
pdal mailing list<br>
<a href="mailto:pdal@lists.osgeo.org" target="_blank">pdal@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/pdal" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/pdal</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div>Dr. Adam Steer</div><div><a href="http://spatialised.net" target="_blank">http://spatialised.net</a></div><div><a href="https://www.researchgate.net/profile/Adam_Steer" target="_blank">https://www.researchgate.net/profile/Adam_Steer</a><br><a href="http://au.linkedin.com/in/adamsteer" target="_blank">http://au.linkedin.com/in/adamsteer</a></div><div><a href="http://orcid.org/0000-0003-0046-7236" target="_blank">http://orcid.org/0000-0003-0046-7236</a><br>+61 427 091 712 ::  @adamdsteer</div><div><br></div><div>I won’t turn up in a suit: <a href="http://www.spatialised.net/business-penguins/" target="_blank">http://www.spatialised.net/business-penguins/</a></div></div></div></div></div></div>