On Mon, Apr 14, 2008 at 7:33 AM, Hamish <<a href="mailto:hamish_b@yahoo.com">hamish_b@yahoo.com</a>> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Yes, it's a lot. The current vector engine allocates a small amount of<br>
memory per feature for topology. With the DBF as database and default<br>
v.in.ascii settings I've only ever managed to import about 3 million<br>
points before running out of memory. I am interested to hear that you<br>
could load 5 million into a SQLite DB, maybe that is more efficient.</blockquote><div><br><br>GRASS 6.3.0svn (patUTM):~/data/lidar_PAT_raw/raw > wc -l big.txt<br>13072022 big.txt<br><br>GRASS 6.3.0svn (patUTM):~/data/lidar_PAT_raw/raw > head big.txt<br>
659936.35 5096943.37 368.58<br>659900.34 5096968.01 1082.09<br>659900.23 5096966.73 1082.84<br>664549.79 5097099.35 234.83<br>664553.50 5097099.56 234.70<br>664551.90 5097098.79 234.70<br>664550.46 5097098.11 234.98<br>664557.22 5097099.75 234.71<br>
664555.68 5097099.02 235.02<br>664554.24 5097098.33 235.02<br><br>GRASS 6.3.0svn (patUTM):~/data/lidar_PAT_raw/raw > date ; v.in.ascii big.txt out=big -z z=3 fs=space ; date<br>Mon Apr 14 10:17:46 CEST 2008<br>Scanning input for column types...<br>
Maximum input row length: 29<br>Maximum number of columns: 3<br>Minimum number of columns: 3<br>Importing points...<br>Building topology ...<br>Registering lines: 11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111101160011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111110252001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111038800111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111105240011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111110660001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111079600111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111109320011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111068001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111120400111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111113400011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111476001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111161200111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111117480011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111884001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111202000111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111121560011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111112292001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111242800111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111125640011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111112700001111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111283600111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111129720013072022 primitives registered 11111111111111111111111111111111111111111111111111111111111111113072000<br>
Building areas: 100%<br>0 areas built<br>0 isles built<br>Attaching islands:<br>Attaching centroids: 100%<br>Topology was built.<br>Number of nodes : 13070034<br>Number of primitives: 13072022<br>Number of points : 13072022<br>
Number of lines : 0<br>Number of boundaries: 0<br>Number of centroids : 0<br>Number of areas : 0<br>Number of isles : 0<br>v.in.ascii complete.<br>Mon Apr 14 11:25:21 CEST 2008<br><br><br>It took (despite the lines print overflow above) a bit more than 1h to import<br>
13 million points into SQLite.<br><br>Unfortunately v.univar cannot yet calculate on the x, y, or z geometry<br>to perform further performance tests.<br><br>Markus<br><br>PS: please use the new list email address (but redirection still works...)<br>
</div></div>