<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">We have updated our configuration management to account for the changes in Bind and will be deploying the change at 4pm PDT (2300 UTC) today (in just about 30 minutes). Unfortunately, this may cause a momentary outage on a specific DNS server when we push the update. To minimize the impact, we'll be pushing this update one server at a time and confirming the fix is working properly.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks-</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 17, 2019 at 11:12 AM Lance Albertson <<a href="mailto:lance@osuosl.org">lance@osuosl.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:arial,helvetica,sans-serif">All,</div><div style="font-family:arial,helvetica,sans-serif"><br></div><div style="font-family:arial,helvetica,sans-serif">Starting at around 10:30 AM PDT (1730 UTC), all three of our DNS servers stopped responding to DNS requests. We temporarily recovered the services starting at 10:53 AM PDT (1753 UTC). Initial investigated work suggests we ran into this problem [1] due to the release of CentOS 7.7 today which updated the version of bind. When our configuration management tool ran, it automatically upgraded bind which caused this problem. For now we've disabled our configuration management on the nodes pending a more permanent solution. We'll try to minimize the outage impacts when we deploy the permanent solution.</div><div style="font-family:arial,helvetica,sans-serif"><br></div><div style="font-family:arial,helvetica,sans-serif">Apologies for the issues.</div><div style="font-family:arial,helvetica,sans-serif"><br></div><div style="font-family:arial,helvetica,sans-serif">[1] <a href="https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=820056" style="font-family:Arial,Helvetica,sans-serif" target="_blank">https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=820056</a></div><div style="font-family:arial,helvetica,sans-serif"><br></div>-- <br><div dir="ltr" class="gmail-m_6894259027916160623gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div></div>