[OSGeoJapan-discuss] GDALの2バイト文字関連バグ
小林裕之
kobayasi ＠ fes.pref.toyama.jp
2013年 7月 18日 (木) 00:47:48 PDT
小林＠富山県森林研究所です。
私の方は，以前私がつまずいて，1年半前にバグレポートを出した，GDALのWARP
の方を試してみました。
結論から言いますと，7/4頃（今回の修正前）にインストールした開発バージョ
ンでも，日本語ファイル名の画像のwarpがエラーなしにちゃんとできました。
すいませんでした。
朝日さんがGDAL georeferencerの不具合を指摘されたので，以前私が指摘した
warpと根っこは同じ不具合かと早とちりしてしまったのですが，どうやら
"georeferencer”と"warp"は，別のものだったようです。
どこがどう違うのかはよくわかっていませんが..
勝手に早とちりして便乗してしまい，大変申し訳ありませんでした。
ただ，朝日さんや赤木さん他の方々のおかげで，日本語回りの不具合がひとつ解
消されたようなので，良かったと思っています。
失礼しました。
> 小林さん、嘉山さん、みなさん
>
> 朝日です。
>
> 対応が中途半端になっており、申し訳ありません。
> ご対応いただきありがとうございました ＞ 赤木さん
>
> 本日入れたバイナリ"b1efd47"では、ジオリファレンサーからの
> - 日本語ファイル名での保存
> - 日本語パス名が含まれる保存
> 共に文字化け等起こらず保存出来ることを確認致しました。
>
> 皆様の環境でもご確認頂ければと思います。
> よろしくお願いします。
>
> (2013/07/18 14:42), Yoichi Kayama wrote:
> > 小林様
> >
> > 嘉山です
> >
> > pull request というのはプログラムのソースコードに修正を加えたものを本体に
> > 取り入れてほしいという要求のことです。
> >
> > ここの例では赤木さんがプログラムの修正をされて pull requestを発行されました
> >
> > それについて
> >
> > *jef-n <https://github.com/jef-n>* merged commit |a87f4d1| into
> > qgis:master from minorua:georef_nonascii 5 days ago
> >
> > ということで5日前に 赤木さんが作成された修正プログラムが本体に取り入れま
> > した、ということです。
> >
> > 現状の最新バイナリではこの修正が有効になっていると思われるのでテストを御
> > 願いします。
> >
> >
> >
> >
> >
> >
> >
> > 2013年7月18日 14:33 小林裕之 <kobayasi ＠ fes.pref.toyama.jp
> > <mailto:kobayasi ＠ fes.pref.toyama.jp>>:
> >
> > 小林＠富山県森林研究所です。
> >
> > 朝日さんが報告してくださった，Bug #8237はclosedになり，
> > http://hub.qgis.org/issues/8237
> >
> > ここに移った？
> > https://github.com/qgis/Quantum-GIS/pull/581
> > ようですが，これは，
> > (1)不具合が解消された
> > (2)開発者が目につきやすい場所に移っただけで解決には至っていない
> > のどちらを意味するのでしょうか？
> >
> > どなたかお教えいただければ幸いです。
> >
> > 私には，”pull request”の意味が理解できていません。
> >
> >
> >
> > > 赤木さま
> > >
> > > 詳細な解説ありがとうございました m(_ _)m
> > > 今後の報告のため、参考にしながらソースを少し追ってみようと思います。
> > >
> > > (2013/07/12 12:03), Minoru Akagi wrote:
> > > >> (3)日本語WindowsからGDALにデータファイルを渡すときは，フォルダ
> > 名，ファイ
> > > >> ル名をSJIS->UTF-8に変換し，GDALから日本語Windowsに戻すときは，
> > > >> UTF-8->SJISに変換する必要がある。
> > > >> (4)上述の変換を行うモジュールは沖Miyukiさんが既に開発済みで，
> > ソースコー
> > > >> ドも公開されているが，未だ採用されるに至っていない。
> > > >>
> > http://osgeo-org.1560.x6.nabble.com/gdal-dev-GDAL-OGR-patch-codepage-conversion-on-windows-td4977683.html
> > > >> このあたりで小林の理解は怪しくなってくる。
> > > >>
> > > >> (5)同様のモジュールは赤木さんも開発している？
> > > >> http://osgeo-org.1560.x6.nabble.com/GDAL-td5015522.html
> > > >> これはバッチファイルなので，各自で動かす？（小林はよくわかって
> > いません。）
> > > >
> > > > 上記の沖さんのパッチによってWindows環境ではWindowsコードページ
> > (CP)xxxとUTF-8間の文字コード変換がgdal19.dllにiconvがリンクされてい
> > なくても出来るようになりました。ただこれはiconvを利用する設定の場合
> > には有効になりません。OSGeo4Wで現在入手できるgdalのgdal19.dllには
> > iconvがリンクされています。文字コード変換のパフォーマンスはiconvに比
> > べてWin32
> > > > APIの方がよいので，もしユーザがCPxxxとUTF-8の文字コードサポート
> > だけで十分であれば，iconvを利用しない設定でビルドしたgdal19.dllを利
> > 用するのもよいかもしれません。
> > > >
> > > > GDALのバージョン1.8以上では(初期状態では)ファイルパスはUTF-8で
> > 与える必要があります。しかしWindows環境でGDALユーティリティプログラ
> > ムを利用する場合，沖さんがGDAL
> > > > #4884で指摘されているように，コマンドライン引数にUTF-8の文字列
> > を渡すとバイト列が変わってしまう，という問題があります。
> > > >
> > > > #4884 (Language I/O support for command line program on windows
> > > > platform.) - GDAL http://trac.osgeo.org/gdal/ticket/4884
> > > >
> > > > この問題は非ASCII文字が含まれる引数がファイルパスだけであれ
> > ば，GDAL_FILENAME_IS_UTF8=NOを設定することで対処できます。QGISの
> > GdalToolsプラグインはGDALユーティリティプログラムを利用しています
> > が，最新のGdalToolsではGDALプログラム実行時に限って
> > GDAL_FILENAME_IS_UTF8=NOを設定した上でロケールの文字コードでコマンド
> > ライン引数を渡すことによって非ASCIIパスにも対応しています。一方，ジ
> > オリファレンサやQGISのGDAL/OGRデータプロバイダ(QgsGdalProvider,
> > > > QgsOgrProvider)等ではGDALをC APIを通じて利用していますので，
> > ファイルパスやOGR
> > > > SQLの文字列を適切な文字コードで渡すことが可能です。
> > > >
> > > >
> > > > 赤木 実
> > > >
> > > > 2013年7月12日 8:26 ASAHI Kosuke <asahi ＠ hcc.co.jp
> > <mailto:asahi ＠ hcc.co.jp>>:
> > > >> 朝日です。
> > > >>
> > > >> 小林さんがまとめてくださった(1)〜(5)の部分について詳しい方（沖
> > さんか赤木
> > > >> さん？）から、あってるか説明入れてくださること希望します。
> > > >>
> > > >> QGISで日本語周りで不具合があった場合、QGISからGDALに渡す際にき
> > ちんとUTF8
> > > >> にされていないのが問題になることが多いのか、GDALの方の問題なの
> > か切り分け
> > > >> てくださるだけで、ソース追う際の手間が少しでも省けるかと思います。
> > > >> きちんとソースみてから不具合報告しようと心に誓ったのですが、ど
> > こまで深く
> > > >> 見ていけばいいのか検討がついていなくて。。
> > > >>
> > > >> ご検討よろしくお願いします。
> > > >>
> > > >> (2013/07/11 9:41), 小林裕之 wrote:
> > > >>> 小林です。
> > > >>>
> > > >>> いろいろネットで調べてわかってきたこと（誤解があればどなたか
> > ご指摘願いま
> > > >>> す）を書いてみます。
> > > >>>
> > > >>> (1)GDALそのものはマルチバイトに対応しているが，UTF-8のみサ
> > ポートしている。
> > > >>> (2)日本語WindowsはShift-JISでファイル名やフォルダ名を保持して
> > いる。
> > > >>> (3)日本語WindowsからGDALにデータファイルを渡すときは，フォル
> > ダ名，ファイ
> > > >>> ル名をSJIS->UTF-8に変換し，GDALから日本語Windowsに戻すときは，
> > > >>> UTF-8->SJISに変換する必要がある。
> > > >>> (4)上述の変換を行うモジュールは沖Miyukiさんが既に開発済みで，
> > ソースコー
> > > >>> ドも公開されているが，未だ採用されるに至っていない。
> > > >>>
> > http://osgeo-org.1560.x6.nabble.com/gdal-dev-GDAL-OGR-patch-codepage-conversion-on-windows-td4977683.html
> > > >>>
> > > >>> このあたりで小林の理解は怪しくなってくる。
> > > >>>
> > > >>> (5)同様のモジュールは赤木さんも開発している？
> > > >>> http://osgeo-org.1560.x6.nabble.com/GDAL-td5015522.html
> > > >>> これはバッチファイルなので，各自で動かす？（小林はよくわかっ
> > ていません。）
> > > >>>
> > > >>> どなたか日本人の代表になってもらい，このあたりを整理して，英
> > 語で，QGIS
> > > >>> （GDALは悪くないような気がするので，QGIS側で対処してもらう必
> > 要がある？）
> > > >>> の開発者に訴える必要があるかと思っています。
> > > >>>
> > > >>> 違っていたらメーリングリストにコメントお願いします。->みなさま
> > > >>>
> > > >>>
> > > >>>> 林さん、小林さん、みなさん
> > > >>>>
> > > >>>> 朝日です。
> > > >>>> お知恵を拝借したく。
> > > >>>>
> > > >>>> ジオリファレンサーの部分だけ絞って不具合を報告するとします。
> > > >>>> ジオリファレンサーの"変換の設定"のところで、"出力ラスタ"に日
> > 本語ファイル
> > > >>>> 名を入力すると、出力されるファイル名が文字化けした状態になり
> > ます。
> > > >>>>
> > > >>>> 先方で再現出来る状態で説明してあげる際には、multibyte文字を
> > 入力してね、
> > > >>>> だけで通じるものなのでしょうか？
> > > >>>> 画面のキャプチャで説明するべきなのか、そもそもソースを読んで
> > ここの部分直
> > > >>>> してと指定しないとダメなのか、よくわかんなくなってしまって。。
> > > >>>>
> > > >>>> 日本語周りの不具合報告の仕方のアドバイスありましたら、御願い
> > したいです。
> > > >>>> よろしくお願いします。
> > > >>>>
> > > >>>> (2013/07/10 0:35), hayashi ＠ apptec.co.jp
> > <mailto:hayashi ＠ apptec.co.jp> wrote:
> > > >>>>> 小林様
> > > >>>>>
> > > >>>>> Frankのチケット回答を読むと、
> > > >>>>> GDLAOpen() in UTF8 and they are internally converted to
> > double byte unicode
> > > >>>>> characters and passed to a wide-char version of the open call。
> > > >>>>>
> > > >>>>> http://trac.osgeo.org/gdal/ticket/4376
> > > >>>>>
> > > >>>>> で基本UTF8なのですが、小林様の環境ではS-JISのように思います。
> > > >>>>> フリーソフトでいくらか変換するものがございます。
> > > >>>>> 折角ですからファイル名をUTF8ベースの文字にコンバートしたの
> > ち実行してみてはいかが
> > > >>>>> でしょうか？
> > > >>>>> 新たな発見があるかもしれません。
> > > >>>>>
> > > >>>>> #Windows=>LinuxでZIP渡しのデータにおいて、SJISのファイルが
> > 大量にあったりして、
> > > >>>>> #環境依存で結構トラブルので、極力日本語ファイル名は使わない
> > ようにしております。
> > > >>>>>
> > > >>>>>
> > > >>>>> (2013/07/09 16:47), 小林裕之 wrote:
> > > >>>>>> 小林です。
> > > >>>>>>
> > > >>>>>> すいません。
> > > >>>>>> 有料ソフトじゃないんで，開発者に無理言ったらだめですね。
> > > >>>>>> 訂正します。
> > > >>>>>>
> > > >>>>>>
> > > >>>>>>> 朝日さま，みなさま
> > > >>>>>>>
> > > >>>>>>> 小林＠富山県森林研究所です。
> > > >>>>>>>
> > > >>>>>>> 日本語ファイル名，パス名でGDALがまともに動作しない件です。
> > > >>>>>>>
> > > >>>>>>> 北海道の研修会で朝日さんが気付かれて？，QGISのサイトへレ
> > ポートを送ってい
> > > >>>>>>> ただいたのだと推察しております↓。
> > > >>>>>>> http://hub.qgis.org/issues/8237
> > > >>>>>>>
> > > >>>>>>>
> > > >>>>>>> 私も以前同じ不具合に遭遇し，バグレポートをGDALの方に送っ
> > たのですが，開発
> > > >>>>>>> 者？から2バイト文字もちゃんと認識するはずだとか言われて，
> > なかなか話が通
> > > >>>>>>> じないなと，半ば諦め，放置しておりました↓。
> > > >>>>>>> http://gpsrsgis.seesaa.net/article/239673366.html
> > > >>>>>>>
> > > >>>>>>> やっぱり直ってないのですね。
> > > >>>>>>>
> > > >>>>>>> 是非，直させてください。->朝日さま，ほか有志のみなさま
> > > >>>>>> 是非，このバグが直るよう，いろんな方が先方に働きかけていた
> > だけるよう，お
> > > >>>>>> 願い申し上げます。
> > > >>>>>>
> > > >>>>>>
> > > >>>>>>>
> > > >>>>>>> よろしくお願い致します。
> > > >>>>>>>
> > > >>>>>>>
> > > >>>>>>> --
> > > >>>>>>> 富山県森林研究所
> > > >>>>>>> 小林裕之 <kobayasi ＠ fes.pref.toyama.jp
> > <mailto:kobayasi ＠ fes.pref.toyama.jp>>
> > > >>>>>>> 〒930-1362 富山県中新川郡立山町吉峰3
> > > >>>>>>> TEL:076-483-1511 FAX: 076-483-1512
> > > >>>>>>>
> > > >>>>>>>
> > > >>>>>>> _______________________________________________
> > > >>>>>>> OSGeoJapan-discuss mailing list
> > > >>>>>>> OSGeoJapan-discuss ＠ lists.osgeo.org
> > <mailto:OSGeoJapan-discuss ＠ lists.osgeo.org>
> > > >>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
> > > >>>>
> > > >>>> --
> > > >>>> 北海道地図株式会社 研究開発課
> > > >>>> 朝日 孝輔
> > > >>>> mailto:asahi ＠ hcc.co.jp <mailto:asahi ＠ hcc.co.jp>
> > > >>>> Tel : 0166-62-4711
> > > >>>>
> > > >>>> _______________________________________________
> > > >>>> OSGeoJapan-discuss mailing list
> > > >>>> OSGeoJapan-discuss ＠ lists.osgeo.org
> > <mailto:OSGeoJapan-discuss ＠ lists.osgeo.org>
> > > >>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
> > > >>>
> > > >>
> > > >>
> > > >> --
> > > >> 北海道地図株式会社 研究開発課
> > > >> 朝日 孝輔
> > > >> mailto:asahi ＠ hcc.co.jp <mailto:asahi ＠ hcc.co.jp>
> > > >> Tel : 0166-62-4711
> > > >>
> > > >> _______________________________________________
> > > >> OSGeoJapan-discuss mailing list
> > > >> OSGeoJapan-discuss ＠ lists.osgeo.org
> > <mailto:OSGeoJapan-discuss ＠ lists.osgeo.org>
> > > >> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
> > >
> > >
> > > --
> > > 北海道地図株式会社 研究開発課
> > > 朝日 孝輔
> > > mailto:asahi ＠ hcc.co.jp <mailto:asahi ＠ hcc.co.jp>
> > > Tel : 0166-62-4711
> > >
> > > _______________________________________________
> > > OSGeoJapan-discuss mailing list
> > > OSGeoJapan-discuss ＠ lists.osgeo.org
> > <mailto:OSGeoJapan-discuss ＠ lists.osgeo.org>
> > > http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
> >
> > --
> > 富山県森林研究所
> > 小林裕之 <kobayasi ＠ fes.pref.toyama.jp
> > <mailto:kobayasi ＠ fes.pref.toyama.jp>>
> > 〒930-1362 富山県中新川郡立山町吉峰3
> > TEL:076-483-1511 FAX: 076-483-1512
> >
> >
> > _______________________________________________
> > OSGeoJapan-discuss mailing list
> > OSGeoJapan-discuss ＠ lists.osgeo.org
> > <mailto:OSGeoJapan-discuss ＠ lists.osgeo.org>
> > http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
> >
> >
>
>
> --
> 北海道地図株式会社 研究開発課
> 朝日 孝輔
> mailto:asahi ＠ hcc.co.jp
> Tel : 0166-62-4711
--
富山県森林研究所
小林裕之 <kobayasi ＠ fes.pref.toyama.jp>
〒930-1362 富山県中新川郡立山町吉峰3
TEL:076-483-1511 FAX: 076-483-1512
More information about the OSGeoJapan-discuss
mailing list