<div dir="auto">Hi Marcin,<div dir="auto"><br></div><div dir="auto">For writing the data to an S3 bucket, two options come to mind:</div><div dir="auto"><br></div><div dir="auto">1) Write directly from GDAL, using the /vsis3/ virtual file system</div><div dir="auto">2) Write the data locally from GDAL, and then copy to S3 using another Python library (e.g. boto3, s3fs) or the AWS CLI</div><div dir="auto"><br></div><div dir="auto">Option 2 is quite widely adopted. While it seems more complex, writing COGs directly to S3 is difficult (impossible?), because it requires random write access, while S3 only supports sequential writes.</div><div dir="auto"><br></div><div dir="auto">Another option I've seen is to use rasterio, the Pythonic GDAL wrapper, to write to an in-memory buffer, and then give this as a byte steam for boto3 to copy to S3. This avoids use of the local filesystem, but won't scale to very large rasters. I'm unsure how easy it would be to achieve this from the plain GDAL Python library.</div><div dir="auto"><br></div><div dir="auto">Regards,</div><div dir="auto">Daniel</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 29 Nov 2022, 10:24 Marcin Niemyjski via gdal-dev, <<a href="mailto:gdal-dev@lists.osgeo.org">gdal-dev@lists.osgeo.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Hello,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
First of all, thank you for providing awesome open-source tools, my work would not be possible without it ^^<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
I'm looking for an effective way/workflow to get data from s3 bucket, then generate COG and VRT from it into another S3 bucket. Everything should be working as containerized python application.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
The main problem is that I do not know how to transfer processed data (COG, VRT) into another bucket.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Best,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Macin Niemyjski<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
</div>

_______________________________________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank" rel="noreferrer">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a><br>
</blockquote></div>