<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

<meta name="Generator" content="Microsoft Exchange Server">

<!-- converted from text --><style><!-- .EmailQuote { margin-left: 1pt; padding-left: 4pt; border-left: #800000 2px solid; } --></style>

</head>

<body>

<div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

Hi,<br>

<br>

</div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

The small auxiliary files are also causing trouble on the NAS filers (NFS3 mounted network attached storage with SSD or Hybrid disk systems) where my IT department wants us to store (and process) GRASS data.<br>

</div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

Especially for time series data with literally thousands of maps performance decreases significantly.

<br>

<br>

</div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

Would it be possible to reduce the number of files for native GRASS raster format in GRASS 8 (e.g.writing color tables or other metadata into a kind of header?

<br>

<br>

</div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

Cheers, <br>

</div>

<div dir="auto" style="direction:ltr; margin:0; padding:0; font-family:sans-serif; font-size:11pt; color:black">

Stefan <br>

</div>

<hr tabindex="-1" style="display:inline-block; width:98%">

<div id="x_divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b> grass-dev <grass-dev-bounces@lists.osgeo.org> on behalf of Moritz Lennert <mlennert@club.worldonline.be><br>

<b>Sent:</b> Wednesday, April 17, 2019 2:03:50 PM<br>

<b>To:</b> Markus Neteler<br>

<b>Cc:</b> GRASS developers list<br>

<b>Subject:</b> Re: [GRASS-dev] which files are mandatory for raster maps</font>

<div> </div>

</div>

</div>

<font size="2"><span style="font-size:11pt;">

<div class="PlainText">On 16/04/19 18:10, Markus Neteler wrote:<br>

> Hi Moritz,<br>

> <br>

> On Tue, Apr 16, 2019 at 2:56 PM Moritz Lennert<br>

> <mlennert@club.worldonline.be> wrote:<br>

>><br>

>> Hello,<br>

>><br>

>> I'm working with a large batch of raster maps (4550 * 4 bands) and<br>

>> including all the auxiliary files this explodes my inode quota on our<br>

>> university's HPC system.<br>

> <br>

> Out of curiosity, which file system is that?<br>

<br>

<br>

GPFS AFAIK.<br>

<br>

But it is not an intrinsic limit to the system. It's them limiting <br>

individual access in order to be sure to be able to provide services to <br>

the potentionally thousands of users.<br>

<br>

> <br>

>> While waiting to see if they can increase this,<br>

>> I was wondering which of the auxiliary files are absolutely mandatory.<br>

>><br>

>> Can I just erase colr/* and hist/* for example ?<br>

> <br>

> I just tried:<br>

> <br>

> r.info elevation<br>

> WARNING: Unable to get history information for <elevation@><br>

> ...<br>

> [rest as usual]<br>

> <br>

> So, it should not be a problem.<br>

> <br>

> # idea r.external:<br>

> I just checked, it seems that r.external generates the same amount of<br>

> files, hence not helpful in this regard.<br>

> <br>

> # idea find directories with most inode consumption (source [1]):<br>

> for i in `ls -1A | grep -v "\.\./" | grep -v "\./"`; do echo "`find $i<br>

> | sort -u | wc -l` $i"; done | sort -rn | head -10<br>

<br>

Well, most are clearly in cell_misc as there are three files per raster <br>

map. But I do think these are necessary.<br>

<br>

> <br>

> Maybe you can still delete something?<br>

<br>

At this stage they've raised my quota, so I can go on working for now, <br>

but I'll explore this when I have the time.<br>

<br>

> <br>

> Markus<br>

> <br>

> PS: it happened to me in the past when exporting XFS over NFS (while<br>

> it worked ok inside the HPC system). In the end I had to reformat the<br>

> disk array...<br>

<br>

I have to admit that I don't have the knowledge of exactly the different <br>

parts of the HPC system are connected.<br>

<br>

Thanks for the help !<br>

<br>

Moritz<br>

_______________________________________________<br>

grass-dev mailing list<br>

grass-dev@lists.osgeo.org<br>

<a href="https://lists.osgeo.org/mailman/listinfo/grass-dev">https://lists.osgeo.org/mailman/listinfo/grass-dev</a></div>

</span></font>

</body>

</html>