Утро после тим-ивента. В офис пришли не все, в кубиках тихо…
Бот, раздающий задания из очереди, благополучно сдох после вчерашнего апдейта кода — да, мы маньяки, один энтузиаст после пива с устрицами поправил генерацию порядковых номеров инженеров, а второй проинициализировал бота в не подходящий этой скотине (боту же, боту!) момент.
Вот и моё чудо номер один — «outage», «Wi-Fi», «DHCP». Читаю внимательнее. Ой, port-channel.
Итак, Некто увидел, что DHCP snooping настроен только на port-channel, а на физических линках этой команды нет. Заметим, все работает, клиенты подключены. Сделал Некто из этого интересный вывод: надо включить тот самый снупинг и на физических линках (зачем, зачем?! Логический интерфейс всё равно уже делает это прямо на этом же канале).
Включил. На одном, видимо, дальше не успел, потому что интерфейс из канала выпал, port-channel пошёл пересобираться — и увидел, что конфигурация физических линков, его составляющих, разная, а значит, собрать их не получится. И поднялось у нас два параллельных канала: один — port-channel, один — физический линк. И тут — ай-ай-ай — оказывается, Некто на устройство попадал по SSH по тому самому port-channel’у! А у нас два параллельных линка, трафик то туда, то сюда, циклы, дропы.
Понял Некто, что это сбоит high availability (ну да, что ж ещё-то) и пустил active unit по питанию. Тут всё немножко подёргалось, подцепило старый конфиг — и восстановилось, конечно.
Что же наш Некто сделал? Правильно, бегом на SSH обратно — надо же вбить DHCP snooping trust на физических интерфейсах!
В этот раз, скажу честно, успел.
И открыл Некто кейс у вендора со строгим вопросом: объяснить недопустимое поведение строптивой железки. Что же такое-то, в самом деле: не читая документации, подрубил под собой сук, да не до конца, а так, на полфюрера — а оно тут само вдруг!
Можно было бы ещё писать, да тут чудо номер два подвалило… Эх, где ж мой кофе утренний?