[OSGeoJapan-discuss] gdalで画像結合が遅くて困っています。

2013年 8月 11日 (日) 19:36:00 PDT

大庭　様

　GDAｌ_CACHEMAXの説明ありがとうございます。

　また、gdalbuildvrtも試してみました。

　理屈もなんとなく理解できました。

　結合した結果を直接観る必要が無いのであれば、結合自体は仮想的にというか
論理的に実現してしまえば良いだろうということですかね？
　一つ一つの画像を結合して、ファイル化するには時間が掛かるが、論理的構成を
vrtファイルに記載する感じと受け取りました。
　その上で、gdal_tranlateでvrtファイルの構成内容から実画像データへ変換する
方が、一々画像を転送するよりも効率良く作業が進むと言うことのなんですかね？

　vrtファイルは他にも使えそうなので、色々と試してみたいと思います。

　ありがとうございました。

以上

(2013/08/08 23:20), Tetsuya Oba wrote:
> 斎藤　様
>
> gdalで大量のオルソ画像を結合した事はないのですが、
> gdalbuildvrt
> を使うと早いようです。
>
> また、GDAL_CACHEMAXはメモリーを多く取った方が良いようですね。
>
> こちらのblogに
> http://d.hatena.ne.jp/tmizu23/20111209
> 詳しく書かれています。
>
> 参考にしてみてはいかがでしょうか？
>
> 大庭
>
> (2013/08/08 23:02), Nobusuke Iwasaki wrote:
>> すみません、途中で送信してしまいました。
>>
>> 以下のブログに解説が書かれています。
>> http://d.hatena.ne.jp/yellow_73/20110427
>>
>> それと、gdalwarpで画像を結合する場合、初めに結合した範囲のデータを 
>> 作って、その範囲のデータをすべて処理するようにも思いま す。場合による 
>> と、四分割なり、八分割なりの結合ファイルを作成して、それを結合した方 
>> がいいかもしれません。
>> 結合結果が10万✕10万ピクセルであれば、一晩で結合できました。
>>
>> 詳しいことは、どなたかフォローいただければと思います。
>>
>> 2013年8月8日 22:54 Nobusuke Iwasaki <wata909 ＠ gmail.com>:
>>> 斎藤さま
>>>
>>> 岩崎と申します。
>>>
>>> 私のやった経験の範囲なのですが、GDAL_CACHEMAX　で使用するメモリ量を 
>>> 多くすると、かなり早くなりました。
>>>
>>> 2013年8月8日 22:25 斎藤　直正 <nsaito ＠ msk-web.co.jp>:
>>>> 斎藤と申します。
>>>> 初めて投稿させて頂きますの、不躾な点があるかと思いますが
>>>> 宜しくお願いしますm(_)m
>>>>
>>>> 　 現在、700枚程の航空写真をタイル画像にしようと思い、まずは画像合 
>>>> 成？結合
>>>> からということで、Windows 7からgdal_merge.pyを使用してみたところ、 
>>>> ファイ
>>>> ル数が
>>>> 多すぎて、コマンドラインからはみ出る様なエラーが発生し上手く利用で 
>>>> きませ
>>>> んでした。
>>>>
>>>> 　 そこで、Linux（CentOS 6.4）にgdalをソースからインストールして、
>>>> gdalwarpを以下のコマンドで実行してみたところ、とてつもなく時間が掛 
>>>> かって
>>>> しまい困惑しています。（24時間で2枚しか処理できませんでした）
>>>> 　 gdalは　gdal-1.10.0を使用しています。
>>>>
>>>> # gdalwarp *.tif ../dest_dir/all.tif -dstnodata -9999 -srcnodata -9999
>>>> Creating output file that is 214000P x 195000L.
>>>> Processing input file 09xxxx1.tif.
>>>> for band 1, destination nodata value has been clamped to 0, the 
>>>> original
>>>> value being out of range.
>>>> 0...10...20...30...40...50...60...70...80...90...100 - done.
>>>> Processing input file 09xxxx2.tif.
>>>> for band 1, destination nodata value has been clamped to 0, the 
>>>> original
>>>> value being out of range.
>>>> 0...10...20...30...40...50...60...70...80...90...100 - done.
>>>>
>>>> ＜以下省略＞
>>>>
>>>> 　 gdalは以下のconfigureオプションで作成しています。
>>>> # ./configure --with-perl --with-php --with-python --with-expat
>>>> --with-expatlib=/usr/lib64 \
>>>> --with-poppler --with-expatinc=/usr/include --with-libtiff=/usr
>>>> --with-geotiff=/usr/ \
>>>> --with-threads
>>>>
>>>> # make
>>>> # make install
>>>>
>>>> 　 ちなみに、
>>>> 　 --with-expatlib=/usr/lib64
>>>> 　 --with-expatinc=/usr/include
>>>> 　 については、configure --helpで見ると、
>>>> --with-expat-lib=/usr/lib64
>>>> --with-expat-inc=/usr/include
>>>> であるべきなのですが、--with-expat-libと「expat」と「lib」もしくは
>>>> 「inc」の間に
>>>> 「-」を入れるとエラーではじかれるので、間の「-」が無いのが正しそうだと
>>>> 思っています。
>>>>
>>>> その後、pythonのツールを有効にしようと思い、以下のコマンドを実行し 
>>>> ています。
>>>>
>>>> # cd swig/python/
>>>> # easy_install GDAL
>>>> # python setup.py build
>>>> # python setup.py install
>>>>
>>>> 各種必要なライブラリ等は、yumやrpmなどでインストールを施してインス 
>>>> トール
>>>> したつもりです。
>>>>
>>>> 　 やり方に問題があるのでしょうか？
>>>> 　 マシン環境が悪いのか？
>>>>
>>>> 　 gdal以外の方法でも構わないので、高速化させる方法があればご教示頂 
>>>> けない
>>>> でしょうか？
>>>>
>>>> 　 ちなみに、ファイル数を70ファイルぐらいに限定し、コマンドを以下の 
>>>> 様に
>>>> 少し変更してみたのですが、それだと、1時間で３ファイルぐらいは処理し 
>>>> てく
>>>> れているようです。
>>>>
>>>> # gdalwarp *.tif ../dest_dir/all.tif -dstnodata -9999 -srcnodata -9999
>>>> -multi
>>>>
>>>> -multiを追加しました。思い付きで、並列処理してくれるのかな？と思っ 
>>>> ていま
>>>> すが、
>>>> 違うのかな？速くなった気がほとんどしないような・・・
>>>>
>>>> 以上、宜しくお願いします。
>>>>
>>>>
>>>> -- 
>>>> /////////////////////////////////////////////////////////
>>>> 株式会社 エムエスケー
>>>> 斎藤　直正
>>>> TEL:0598-51-7471 / FAX:0598-52-4849
>>>> E-mail:nsaito ＠ msk-web.co.jp  URL:http://www.msk-web.co.jp
>>>> /////////////////////////////////////////////////////////
>>>>
>>>> _______________________________________________
>>>> OSGeoJapan-discuss mailing list
>>>> OSGeoJapan-discuss ＠ lists.osgeo.org
>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>>
>>> -- 
>>> 岩崎 亘典
>>
>>
>
>


-- 
/////////////////////////////////////////////////////////
株式会社 エムエスケー
斎藤　直正
TEL:0598-51-7471 / FAX:0598-52-4849
E-mail:nsaito ＠ msk-web.co.jp  URL:http://www.msk-web.co.jp
/////////////////////////////////////////////////////////