<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I just wanted to send you all an update on where we're at in the process.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">As of right now, ftp-osl is back online and serving it's content from the the Ceph volume. I've gone ahead and kicked off a few manual syncs to catch everything up however if you're using us as a master I recommend you kick off an update job right now. I'm also currently copying the content to the local disks which I expect to run through tomorrow sometime.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">The rebuild took a little bit longer than originally planned due to some issues I ran into building the new RAID array. My original plan didn't work so I had to go with plan B which took a little longer. Plan B resulted in creating two separate RAID6 arrays which means I lost about 2T in capacity from my original plan.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I'm keeping ftp-osl out of the public rotation for now since it's I/O throughput isn't likely as good as before since it's serving the content via Ceph. </div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I'll send another update tomorrow when I'm ready to switch back over to local storage. Please let me know if you notice any issues.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks-</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 14, 2018 at 3:52 PM, Lance Albertson <span dir="ltr"><<a href="mailto:lance@osuosl.org" target="_blank">lance@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I had a few questions regarding this outages that I wanted to clarify for everyone.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">1. There should be no outage during the 5.5 hour outage window for anything pointed to <a href="http://ftp.osuosl.org" target="_blank">ftp.osuosl.org</a> (unless your DNS is directly pointing at <a href="http://ftp-osl.osuosl.org" target="_blank">ftp-osl.osuosl.org</a>)</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">2. During the 18-24hr sync from ceph to local storage, ftp-osl should have normal read/write operations. There might be a little bit of I/O performance hit during that window but it's hard to tell. There will be a short (likely 5 min) outage to read/writes on ftp-osl when I do the final switch back to local storage however.</div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 14, 2018 at 10:00 AM, Lance Albertson <span dir="ltr"><<a href="mailto:lance@osuosl.org" target="_blank">lance@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif">Service(s) affected: <a href="http://ftp.osuosl.org" target="_blank">ftp.osuosl.org</a></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">During the outage, the master syncing node for our FTP cluster (ftp-osl) will be offline which means any updates to our software mirrors will be delayed.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Outage Window:</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Start: Mon, Jun 18 9:30AM PDT (Mon Jun 18 1630 UTC)</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">End: Mon, Jun 18 3:00PM PDT (Mon Jun 18 2200 UTC)</font></div><div class="gmail_default"><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Reason for outage:</font></div><div class="gmail_default"><br></div><div class="gmail_default">Our FTP cluster is starting to run low on disk space and we will be adding additional hard drives to the system. Our system currently has 9.375T of disk space and we're planning on upgrading it to 18.75T (this takes into account the RAID6 configuration)</div><div class="gmail_default"><br></div><div class="gmail_default">Unfortunately, due to the nature of the how the disk arrays are configured, we will not be able to grow the RAID array without a complete rebuild. This means we're going to have to re-copy all 8.8TB of data off of the machine and back onto it. Since this task is rather large and time consuming we've come up with a better alternative so that we don't have our master FTP server offline for very long.</div><div class="gmail_default"><br></div><div class="gmail_default">We have just recently built a new Ceph cluster for some new storage needs at the OSL and we are going to temporarily use this cluster to serve the ftp-osl content. I've already copied the content onto a new volume and have tested it enough to feel it can handle the load. This should make the transition plan much easier and quicker than initially.This server is already out of DNS rotation and we are planning on keeping it out of rotation until this process is complete to reduce the I/O load.</div><div class="gmail_default"><br></div><div class="gmail_default">So here's the plan thus far starting on Monday:</div><div class="gmail_default"><br></div><div class="gmail_default">1. Stopping all services on the system and doing one final rsync to the Ceph volume</div><div class="gmail_default">2. Rebooting machine and destroying the current RAID and creating a new one with the new disks</div><div class="gmail_default">3. Reinstall the OS</div><div class="gmail_default">4. Bootstrap machine without FTP components initially, setup ceph volume</div><div class="gmail_default">5. Deploy FTP components after Ceph volume is setup and ready to go</div><div class="gmail_default">6. Ensure inter FTP node syncing is working using the Ceph volume</div><div class="gmail_default">7. Sync data from Ceph volume back over to local disks (I'm guessing this will take 18-24 hours)</div><div class="gmail_default">8. Once sync is complete, shutdown all services and switch the mount point over to the local disks</div><div class="gmail_default">9. Profit!</div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">I would like to thank IBM for donating the hard drives needed for this upgrade.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">We will plan on doing the storage upgrades on our two other nodes (ftp-nyc & ftp-chi) soon, however we won't be using the Ceph cluster for this since they are remote. The current plan is to take one machine out for several days and sync the data back between the nodes. I will send another outage announcement for those two nodes once we're ready for that. We still need to ship the drives to the locations and work with the local data centers to get them installed.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Projects affected: Any project using our FTP cluster as a master syncing point</font></div></div><span class="m_-8932824407477528713HOEnZb"><font color="#888888"><div><br></div>-- <br><div class="m_-8932824407477528713m_-2863182872738999949m_2948897087207077644gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_-8932824407477528713gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>