На трех серверах испарилась директория /usr/lib64

нету такой папочки

WARNING: can't stat(/usr/lib64): No such file or directoryСовсем ее нет

Два сервера в ребут не уходили. А директорию потеряли.

Anton Korzunov я бы предположил, что /usr/lib64 там нет с последнего апдейта, просто никто не обращал внимания

Но опять же - вопрос кто куда она делась, и почему на всех серверах. Которые никто и не апдейтил.Возможно зря.

Anton Korzunov таки откуда данные, что она куда-то делась? И что она вообще была там? В Ubuntu 12.04 нету такой директории из коробки.

Dmitry Fedin сами сделали. Разные чтуки туда компилили.

Anton Korzunov ну тогда нет вариантов, кроме как какой-то ваш собственный скрипт имел багу и потер всё это из под рута

Dmitry Fedin Слишком рандомно, и слишком точно.

Поскольку директория была создана ручками (?), файлы туда тоже положены ручками, это станет просто еще одним уроком, что не стоит придерживаться таких bad practices при администрировании кластера. Концов найти уже не удастся. Если файлы таки были положены каким-либо сервисом управления кластером, я бы копал к сторону его конфигов.

Dmitry Fedin За 4 года ни единой проблемы - и вот опять.

Anton Korzunov 4 года ни единого разрыва. А вот если бы этот ваш кластер неожиданно затопило из системы кондиционирования, винты умерли, как бы вы его восстанавливали? Даже если есть бэкап данных, видимо, нет бэкапа конфигурации. Опять ручками накидали файлов и надеялись, что 4 года еще ничего не случится?

Dmitry Fedin бэкап конфигурации тоже был, правда в виде скрипта, который можно только на чистую систему разворачивать. И больше всего времени потратили чтобы понять (и поверить) что произошло.Да и в любом случае - все это требует ручного вмешательства.Ведь если такое повториться - будет весело. И некоторые вещи очень долго из бэпака доставать. Ближе к нереально.

Anton Korzunov ну потому что как это должно быть организовано - есть система управления кластером, которая, в том числе обеспечивает целостность конфигурации. Если она детектит нарушение целостности - пытается исправить, синхронизировав состояние, если не получается - машина уходит в восстановление на первоначальное состояние, с возможным подтверждением админа. Тогда не надо будет тратить время на расследование мистических проблем. Кажется, это единственно рабочий подход к программному обеспечению, где в лицензии черным по белому написано "BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTYFOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW."

Убунта 2013 года разлива там

грустно без транзакций в пакетном менеджере

Вообще никого И новых не брали.