<div dir="ltr">Hi Robert,<div><br></div><div>It turns out that we had a bug that affected only T1 scenes. Due to the processing latency of T1 data (observed up to ~20 days), we have to query against USGS's API, paginated in one-week intervals. It is set to query for scenes with an acquisition date up to one month back, leaving a buffer in case some scenes take longer than 20 days to become available. Only one of these paginated results were being queued for ingestion, leaving out a good portion of scenes. This is now fixed, so we should observe more T1 scenes being made available. The example scene you linked to (LC81370412017161LGN00) is queued up right now.</div><div><br></div><div>Thanks for bringing this issue to our attention.</div><div><br></div><div>Cheers,</div><div>Amit</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 13, 2017 at 11:37 AM, Amit Kapadia <span dir="ltr"><<a href="mailto:amit@planet.com" target="_blank">amit@planet.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Robert,<div><br></div><div>For Tier 1 data we poll USGS once per day. We used to poll twice per day, but found that they tend to release one large batch each day rather than a continuous stream. For RT data we continue to poll twice per day.</div><div><br></div><div>We've observed a high variance in when T1 data becomes available. It can range between 0 - 20 days due to, I believe, lunar models that are made available on a roughly bi-weekly interval.</div><div><br></div><div>Those are two sources of latency. To your question, I've run on the assumption that as soon as a scene is made available through EarthExplorer, it's also made available through USGS's API. This might not be the case as demonstrated by the example scene you shared. I've poked the USGS API, and it does appear it will be queued for ingestion later today. I'll keep an eye on it as there might be problem on our end.</div><div><br></div><div>Thanks for reaching out.</div><div><br></div><div>Amit</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Tue, Jun 13, 2017 at 10:54 AM, Robert Hildebrand <span dir="ltr"><<a href="mailto:robert_hildebrand@trimble.com" target="_blank">robert_hildebrand@trimble.com</a><wbr>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr">Hello, <div><br></div><div>I am wondering if there is a known time gap between when Tier 1 collection data is available via the USGS and when it is subsequently replicated into AWS.</div><div><br></div><div>As of 2017-06-13, the most recent Tier 1 data is from 2017-05-23.</div><div><br></div><div>The Real Time data is replicated into AWS much faster - the most recent RT data is from 2017-06-12.</div><div><br></div><div>Here is an example of Tier 1 data that is available via the USGS, but has not been replicated into AWS: <a href="https://earthexplorer.usgs.gov/metadata/12864/LC81370412017161LGN00/" target="_blank">https://earthexplorer.usg<wbr>s.gov/metadata/12864/LC8137041<wbr>2017161LGN00/</a></div><div><br></div><div>Thank you for any timing information that you can provide. <br clear="all"><div><div class="m_-6694788825261876205m_4867804666270844265gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div></div></div></div></div></div></div>
</div></div>
<br></div></div>______________________________<wbr>_________________<br>
Landsat-pds mailing list<br>
<a href="mailto:Landsat-pds@lists.osgeo.org" target="_blank">Landsat-pds@lists.osgeo.org</a><br>
<a href="https://lists.osgeo.org/mailman/listinfo/landsat-pds" rel="noreferrer" target="_blank">https://lists.osgeo.org/mailma<wbr>n/listinfo/landsat-pds</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>