<div dir="ltr"><div dir="ltr">Even,</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 26, 2019 at 2:57 PM Even Rouault <<a href="mailto:even.rouault@spatialys.com">even.rouault@spatialys.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Sean,<br>
<br>
> Little is said at<br>
> <a href="https://www.gdal.org/gdal_8h.html#a25929a66e99d92c2788485ecf13e2e82" rel="noreferrer" target="_blank">https://www.gdal.org/gdal_8h.html#a25929a66e99d92c2788485ecf13e2e82</a>. Are<br>
> these values UTF-8 (as was the intent in<br>
> <a href="https://trac.osgeo.org/gdal/wiki/rfc5_unicode" rel="noreferrer" target="_blank">https://trac.osgeo.org/gdal/wiki/rfc5_unicode</a>) or does it depend on the<br>
> format driver?<br>
<br>
The key/value mechanism itself just assumes NUL-terminated strings. The <br>
general aim of GDAL should be to have UTF-8 everywhere, but the reality is <br>
that not all drivers enforce this, so you might easily end up with 'random' <br>
encodings.<br></blockquote><div><br></div><div>I'll watch out for this.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
> In <a href="https://github.com/mapbox/rasterio/issues/1663" rel="noreferrer" target="_blank">https://github.com/mapbox/rasterio/issues/1663</a> a rasterio<br>
> user is encountering HDF5 metadata items that can't be decoded using<br>
> Python's UTF-8 codec and I've love to be able to sort this out.<br>
<br>
OK, looking at the details of this particular case, this is an inappropriate <br>
handling by the HDF5 driver of some types of attributes.<br>
Fixed by<br>
<a href="https://github.com/OSGeo/gdal/commit/9640098fc79b6ba6bb135f8715fa3e7dd2705691" rel="noreferrer" target="_blank">https://github.com/OSGeo/gdal/commit/9640098fc79b6ba6bb135f8715fa3e7dd2705691</a><br>
which I've backported to 2.4 as well<br>
<br>
Even<br></blockquote><div><br></div><div>Thanks for the quick fix!</div><div> </div></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Sean Gillies</div></div></div>