On Mon, Apr 14, 2008 at 1:33 AM, Hamish &lt;<a href="mailto:hamish_b@yahoo.com">hamish_b@yahoo.com</a>&gt; wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="Ih2E3d">Mark wrote:<br>
&gt; The points are about 5 million per tile, and there are 23 tiles (about<br>
&gt; 115 million total). &nbsp;I&#39;m not sure if this is considered a large amount<br>
&gt; of mass input points.<br>
<br>
</div>Yes, it&#39;s a lot. The current vector engine allocates a small amount of<br>
memory per feature for topology. With the DBF as database and default<br>
v.in.ascii settings I&#39;ve only ever managed to import about 3 million<br>
points before running out of memory. I am interested to hear that you<br>
could load 5 million into a SQLite DB, maybe that is more efficient.</blockquote><div><br>The SQlite setup was so easy (thanks to the book), and then able to start working with the tables was a breeze (literally as easy as db.connect driver=sqlite database=&quot;$GISDBASE/$LOCATION_NAME/$MAPSET/sqlite.db.)&nbsp; I&#39;m not a SQL expert, but learned enough to do some sweet tasks.&nbsp; SQlite was rather impressive in working with 5.2 million records.&nbsp; Through v.in.ascii, it did load all the data (4 columns) into the sqlite database without problem (about 7 minutes on a 64bit 2.0GHz 2GB ram system - no table and no topology)<br>
&nbsp;</div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
With the v.in.ascii -t and -b flags you should be able to load 25million+<br>
points into a single vector map, but there is a limited number of modules<br>
that will be able to use a vector map without topology. (importantly<br>
v.surf.rst still works)<br>
</blockquote><div><br>Ayone know if the v.outlier, v.lidar.edgedetect, v. lidar.grow and v.lidar.correction need topology?<br><br>&nbsp;</div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
If you are willing to abandon your &quot;code&quot; data column, you can strip off<br>
that column and import the rest as a 3D vector (-z z=), in which case no<br>
table is created (or just ignore it with -t -z). If you are just<br>
interested in the 3D coordinate, then a DB table is unneeded overhead and<br>
is best skipped.<br>
</blockquote><div><br>This approach turned out to be the best.&nbsp; You (Hamish) were right that the code was an intensity or strength of return signal.&nbsp; I made a nice &quot;intensity&quot; grayscale map, that was great.&nbsp; Since I dont need the intensity, or know how to use it to help separate the DEM from DSM features, the 3D point worked perfect. Thanks!<br>
&nbsp;</div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
<br>
Question: what do you want to do with the data? Simply create a raster<br>
DEM or do more fancy cleaning with v.lidar.*? If just creating a raster<br>
DEM you might skip v.in.ascii altogether and use the r.in.xyz module.<br>
<font color="#888888"><br>
</font></blockquote><div><br>I will definitely look more closely at the r.in.xyz module.&nbsp; I had used it for some binning and statistical analysis of the point distribution of the lidar.&nbsp; it is pretty tight data.<br><br>I want/need to do fancy cleaning with the v.lidar.* tools.&nbsp; However, not having pulse return counts to work with like the example in the book, I am not sure how well it will work, because only having an intensity value, I&#39;m not sure how that relates to first and last returns.&nbsp; What I would like to do with the data is create a bare earth DEM, and a DSM of the elevated surface features.&nbsp; Then perhaps add elevated surface features like solid objects (e.g. buildings, etc) that would block terrain for shallow overland flow or r.lake simulations for flooding.<br>
<br>Since the application is for watershed analysis (feature building, and ultimately running hydrology models in GRASS), so my goal is to create the most realistic hydrologic surface model to properly route the water.&nbsp; In theory, it seems to me that water should not route through solid features like buildings (extrude as walls?), but should be able to (and often does) route through shrubby or forested areas.&nbsp; In these areas, where there is canopy, it seems that those canopy elevations should be replaced with bare earth elevations, but allow water to flow through these areas.&nbsp; This is the first time I have worked with raw LiDAR data to create features or do watershed analysis, so this is a fun learning experience.&nbsp; Typically, I had worked with contour data in the past.<br>
<br>Mark<br>&nbsp;</div></div><br>