<div dir="ltr"><div class="gmail_default" style="font-family:arial,sans-serif">Arun,</div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">For what it's worth, I routinely do this by preparing signed urls to the objects in GCS and just using normal /vsicurl/ references in mapfiles, etc.  If you happen to be using boto libraries in Python signed urls can be created with the generate_url() call on "key" objects.   Of course if you data is publish, you can just use the direct GCS urls without signing them. </div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">Best regards,</div><div class="gmail_default" style="font-family:arial,sans-serif">Frank</div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 4, 2020 at 8:38 AM Michael Smith <<a href="mailto:michael.smith.erdc@gmail.com">michael.smith.erdc@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div class="gmail-m_8740630958912656768WordSection1"><p class="MsoNormal">Another option is a fuse level driver that maps cloud storage to a drive path. <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Mike<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">-- <u></u><u></u></p><div><p class="MsoNormal">Michael Smith<u></u><u></u></p><p class="MsoNormal">US Army Corps of Engineers<u></u><u></u></p></div><p class="MsoNormal">Remote Sensing/GIS Center<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0in 0in"><p class="MsoNormal"><b><span style="font-size:12pt;color:black">From: </span></b><span style="font-size:12pt;color:black">gdal-dev <<a href="mailto:gdal-dev-bounces@lists.osgeo.org" target="_blank">gdal-dev-bounces@lists.osgeo.org</a>> on behalf of Travis Kirstine <<a href="mailto:traviskirstine@gmail.com" target="_blank">traviskirstine@gmail.com</a>><br><b>Date: </b>Friday, September 4, 2020 at 8:35 AM<br><b>To: </b>gdal dev <<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a>><br><b>Subject: </b>Re: [gdal-dev] Serve COG images - GEE & Google Cloud Storage<u></u><u></u></span></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">There is a good article here on how to do this using MapServer and S3, this may work for Google as well<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal"><a href="https://github.com/mapserver/mapserver/wiki/Render-images-straight-out-of-S3-with-the-vsicurl-driver" target="_blank">https://github.com/mapserver/mapserver/wiki/Render-images-straight-out-of-S3-with-the-vsicurl-driver</a><u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">You can configure MapServer as a WMS server and add the layers to Open Layers or take the extra step and configure MapCache to generate a tiled output and caching using your WMS as source <u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On Fri, 4 Sep 2020 at 03:01, Even Rouault <<a href="mailto:even.rouault@spatialys.com" target="_blank">even.rouault@spatialys.com</a>> wrote:<u></u><u></u></p></div><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in"><div><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">Arun,<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">Not sure this completely answer your question, but GDAL has gained a<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">Google Cloud Storage virtual file system handler similar<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">to the AWS S3 one since the post you mention.<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">See <a href="https://gdal.org/user/virtual_file_systems.html#vsigs-google-cloud-storage-files" target="_blank">https://gdal.org/user/virtual_file_systems.html#vsigs-google-cloud-storage-files</a><u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">Even<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> Hi<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> In this article, I came across about servicing rasters on AWS S3:<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> <a href="https://www.azavea.com/blog/2019/04/23/using-cloud-optimized-geotiffs-cogs/" target="_blank">https://www.azavea.com/blog/2019/04/23/using-cloud-optimized-geotiffs-cogs/</a><u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> , <a href="https://lists.osgeo.org/pipermail/gdal-dev/2015-October/042975.html" target="_blank">https://lists.osgeo.org/pipermail/gdal-dev/2015-October/042975.html</a><u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> I am trying to see if something similar exists for Google? I'm exporting<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> COG from Google Earth Engine (GEE) to a Google Cloud Storage bucket in the<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> hopes to access and serve it with other layers using GeoServer or create<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> tile map services. I've many dates and many products (true color, false<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> color, ndvi) for many sites. So I'm not sure what's the best way to serve<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> them. I tried researching online, asking in StackExchange, GeoServer and<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> GEE forums and reaching out to a few people, but I couldn't get specific<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> info... Most info is on AWS and S3...<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> My requirement is to somehow get the images of "GEE to bucket" exported<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> images into Openlayers (web mapping) and JavaScript (frontend). GEE can<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> export to my Drive or a GCP bucket. So serving from GEE to GCP to S3 means<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> some download, unzip, zip and upload - so more time consuming and manual<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> steps. In my experience, AWS was costly (as my EC2 runs all the time) than<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> a VPS server...<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">> I'll appreciate your help. Thank you!<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""> <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">-- <u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New"">Spatialys - Geospatial professional services<u></u><u></u></span></p><p style="margin:0in"><span style="font-size:9pt;font-family:"Courier New""><a href="http://www.spatialys.com" target="_blank">http://www.spatialys.com</a><u></u><u></u></span></p></div><p class="MsoNormal">_______________________________________________<br>gdal-dev mailing list<br><a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br><a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a><u></u><u></u></p></blockquote></div><p class="MsoNormal">_______________________________________________ gdal-dev mailing list <a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a> <a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a><u></u><u></u></p></div></div>
_______________________________________________<br>
gdal-dev mailing list<br>
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/gdal-dev" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailman/listinfo/gdal-dev</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><font face="monospace">---------------------------------------+--------------------------------------<br>I set the clouds in motion - turn up   | Frank Warmerdam, <a href="mailto:warmerdam@pobox.com" target="_blank">warmerdam@pobox.com</a><br>light and sound - activate the windows | +1 650-701-7823<br>and watch the world go round - Rush    | Geospatial Software Developer</font></div></div></div></div></div>