<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">LinkOregon will be pushing a fix for this tonight at midnight PDT.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 7, 2022 at 2:22 PM Lance Albertson <<a href="mailto:lance@osuosl.org">lance@osuosl.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">All,</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">I wanted to send you an update on where we're at with the migration. We appear to have hit some kind of bug on the LinkOregon side where any of our IPv6 subnets above a certain range just don't work outside of the router. They have a case open with the vendor and they are looking into it. I've reached out to the affected parties and they're all OK with waiting until it gets resolved (even if it's a few days away).</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">Something else I noticed until this morning was that our email relays had grabbed a SLAAC IPv6 address and were using it instead of the statically assigned one. This resulted in some email not getting delivered to gmail addresses due to their rules with IPv6 (i.e. no reverse DNS or included in SPF). I resolved this at around 9:30AM PDT so any mail onward should have gone through.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">I should also note that we have enabled IPv6 on _one_ OpenStack subnet (public6 on OpenPOWER) that is _also_ affected by this outage. We are in the process of testing IPv6 on OpenStack and hope to have this available system wide in a few weeks (assuming this current issue is resolved soon). We _will_ be utilizing SLAAC for the OpenStack instances once we have that ready so make sure your VMs are ready for that.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">I will also be updating the reverse DNS entries for all of our gateways soon to reflect the new physical paths. So you may notice that if you're doing any kind of traceroute.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">Thanks for your patience and please let us know if you have any additional questions or issues since our change yesterday.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">Thanks!</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><span style="font-family:Arial,Helvetica,sans-serif">On Tue, Sep 6, 2022 at 6:04 PM Lance Albertson <<a href="mailto:lance@osuosl.org" target="_blank">lance@osuosl.org</a>> wrote:</span><br></div></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">All,<br>
<br>
I have an update on some issues we did discover after the fact. For<br>
now, everything with IPv4 seems to be 100% OK. Please let me know if<br>
that isn't the case.<br>
<br>
We did however have SLAAC enabled for a while on the other subnets<br>
where we normally didn't have it enabled. So if you see an IPv6<br>
address that is automatically assigned but it's not routable, that<br>
would be the case.<br>
<br>
HOWEVER, we are having some very strange issues with IPv6 on _some_ of<br>
the subnets. We weren't able to track down the root cause today and<br>
will try tomorrow.<br>
<br>
As of right now, it seems that this is only happening on the following<br>
IPv6 subnets:<br>
<br>
2605:bc80:3010:200::/64 (Gentoo)<br>
2605:bc80:3010:400::/64 (Drupal)<br>
2605:bc80:3010:401::/64 (Drupal Virt)<br>
2605:bc80:3010:600::/64 (Fedora)<br>
2605:bc80:3010:700::/64 (OSM)<br>
2605:bc80:3010:a00::/64 (Buildbot/RTEMS)<br>
2605:bc80:3010:b00::/64 (Debian)<br>
<br>
If I am missing any IPv6 subnet that isn't working, please let me<br>
know. Since this impacted a smaller set of users, I decided to move<br>
forward keeping us on the new connection while we work out these IPv6<br>
issues and not roll back.<br>
<br>
Thanks again for all your support and patience!<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>