<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Correction for gprod1 and gprod8:</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="arial, helvetica, sans-serif">Currently proposed schedule for the hypervisors:</font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><font face="arial, helvetica, sans-serif">- gprod6: 12/11/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:12.8px"><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod4: 12/12/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod3: 12/13/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod7: 12/14/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod2: 12/15/2017 9:00AM - 12:00 PM PST (1700 - 2000 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><b><i>- gprod1: 12/18/2017 1:00PM - 3:00 PM PST (2100 - 2300 UTC)</i></b></font></div></div></div></div></div><div class="gmail_default"><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif"><b><i>- gprod8: 12/19/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</i></b></font></div></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 6, 2017 at 11:36 AM, Lance Albertson <span dir="ltr"><<a href="mailto:lance@osuosl.org" target="_blank">lance@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif">Service(s) affected:</font></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">All VMs running on our production Ganeti cluster will need to be non-live migrated to their secondary nodes (i.e. shutdown and start is required). </span><span style="font-family:arial,helvetica,sans-serif">We expect the outages for each VM to be short (under 5 minutes each). To see a list of VMs that are affected and when please see this page [1]. We will ensure the VMs are pingable after the reboot, but you may want to check that services started properly for any services we don't already monitor.</span></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">No OpenStack services will be affected by this outage.</span></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Outage Window:</font></div><div class="gmail_default"><br></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">This is a multi-day outage which will impact one hypervisor per day with an outage window of approximately two hours. If we run into an issue that can't be resolved during the day of the planned outage, we will be pushing back this schedule a day and notify you of the change.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Currently proposed schedule for the hypervisors:</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod6: 12/11/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod4: 12/12/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod3: 12/13/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod7: 12/14/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod2: 12/15/2017 9:00AM - 12:00 PM PST (1700 - 2000 UTC)</font></div><div><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod1: 12/11/2017 1:00PM - 3:00 PM PST (2100 - 2300 UTC)</font></div></div></div></div></div><div class="gmail_default"><div class="gmail_default"><div class="gmail_default"><font face="arial, helvetica, sans-serif">- gprod8: 12/11/2017 9:00AM - 11:00 AM PST (1700 - 1900 UTC)</font></div></div></div></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Reason for outage:</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">We're in the midst of rebuilding our Ganeti clusters to CentOS 7 and managed via Chef. We finished our rebuild of the internal cluster this week and are ready to proceed with rebuilding our production cluster. We have a total of 8 hypervisors in this cluster, one of which has already been migrated to Chef. </font><span style="font-family:arial,helvetica,sans-serif">All secondary instances attached to the affected node will remain and be re-synced once the node has been rebuilt and added back as a node. All VM data stored on nodes will remain intact during the rebuild as only the OS partition will be rebuilt.</span></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div class="gmail_default"><span style="font-family:arial,helvetica,sans-serif">To minimize the impact of outages, we're going to ensure all VMs will be migrated to a new Chef managed node so that we do not need to do another downtime. Once all hosts have been migrated, we'll be re-balance the cluster and use live-migration to move VMs so that no downtime will be noticed. We cannot use live-migration during the migration due to KVM version differences between the new and old hosts unfortunately. </span><span style="font-family:arial,helvetica,sans-serif">We're also going to take advantage of this downtime to replace the RAID batteries on these nodes.</span></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">If you have any questions or concerns please let us know.</font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">Projects affected: </font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif">All hosted VMs on our production Ganeti cluster.</font></div><div style="font-family:arial,helvetica,sans-serif"><br></div></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">​[1]​ <a href="https://goo.gl/QEQsyu" target="_blank">https://goo.gl/QEQsyu</a></div><span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888">-- <br><div class="m_-7739290188528202249gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>