На трех серверах испарилась директория /usr/lib64



В меня конечно сейчас помидоры полетят, но как вы знаете (и мечтаете) - хороший админ ничего не делает.А проблема такова - никакого хайтека, AWS и других докеров, просто пачка серверов у Hetzner. Все хорошо, диски регулярно проверяем и заменяем, сами диски в зеркале, плюс на весь кластер развернут glusterfs.Потом БАЦ, и на трех серверах испарилась директорию /usr/lib64В логах все еще чисто. На один сервер неделю никто не заходил, на второй полгода. У меня никакого обьяснения этой магии нет
574   24  

Comments

  1. Павел Вейник
    Павел Вейник 5 лет назад
    Ой, а у нас тоже на Hetzner парочка серваков. Правда, только тестовая и разработческая инфраструктура.
  2. Alexander Nesterov
    Alexander Nesterov 5 лет назад
    А что говорит sudo lsof +d /usr/lib64?
    • Павел Вейник
      Павел Вейник 5 лет назад
      нету такой папочки
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      WARNING: can't stat(/usr/lib64): No such file or directoryСовсем ее нет
  3. Dmitry Fedin
    Dmitry Fedin 5 лет назад
    Пропапдейтилась убунта и теперь всё в /usr/lib/x86_64-linux-gnu ?
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Два сервера в ребут не уходили. А директорию потеряли.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Anton Korzunov я бы предположил, что /usr/lib64 там нет с последнего апдейта, просто никто не обращал внимания
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Но опять же - вопрос кто куда она делась, и почему на всех серверах. Которые никто и не апдейтил.Возможно зря.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Anton Korzunov таки откуда данные, что она куда-то делась? И что она вообще была там? В Ubuntu 12.04 нету такой директории из коробки.
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Dmitry Fedin сами сделали. Разные чтуки туда компилили.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Anton Korzunov ну тогда нет вариантов, кроме как какой-то ваш собственный скрипт имел багу и потер всё это из под рута
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Dmitry Fedin Слишком рандомно, и слишком точно.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Поскольку директория была создана ручками (?), файлы туда тоже положены ручками, это станет просто еще одним уроком, что не стоит придерживаться таких bad practices при администрировании кластера. Концов найти уже не удастся. Если файлы таки были положены каким-либо сервисом управления кластером, я бы копал к сторону его конфигов.
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Dmitry Fedin За 4 года ни единой проблемы - и вот опять.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Anton Korzunov 4 года ни единого разрыва. А вот если бы этот ваш кластер неожиданно затопило из системы кондиционирования, винты умерли, как бы вы его восстанавливали? Даже если есть бэкап данных, видимо, нет бэкапа конфигурации. Опять ручками накидали файлов и надеялись, что 4 года еще ничего не случится?
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Dmitry Fedin бэкап конфигурации тоже был, правда в виде скрипта, который можно только на чистую систему разворачивать. И больше всего времени потратили чтобы понять (и поверить) что произошло.Да и в любом случае - все это требует ручного вмешательства.Ведь если такое повториться - будет весело. И некоторые вещи очень долго из бэпака доставать. Ближе к нереально.
    • Dmitry Fedin
      Dmitry Fedin 5 лет назад
      Anton Korzunov ну потому что как это должно быть организовано - есть система управления кластером, которая, в том числе обеспечивает целостность конфигурации. Если она детектит нарушение целостности - пытается исправить, синхронизировав состояние, если не получается - машина уходит в восстановление на первоначальное состояние, с возможным подтверждением админа. Тогда не надо будет тратить время на расследование мистических проблем. Кажется, это единственно рабочий подход к программному обеспечению, где в лицензии черным по белому написано "BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTYFOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW."
  4. Anton Barsukov
    Anton Barsukov 5 лет назад
    Anton Korzunov а там случайно не rpm-based?
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Убунта 2013 года разлива там
    • Anton Barsukov
      Anton Barsukov 5 лет назад
      грустно без транзакций в пакетном менеджере
  5. Юрий Колесов
    Юрий Колесов 5 лет назад
    Если в логах все чисто-значит вы мало пишете логов
  6. Алексей Тимановский
    Алексей Тимановский 5 лет назад
    Если директория создана ручками, то о ней знали только люди. Кого за эти годы увольняли?
    • Антон Корзунов
      Антон Корзунов 5 лет назад
      Вообще никого И новых не брали.
  7. Станислав Осипов
    Станислав Осипов 5 лет назад
    Скромный вопрос - а сетапили инсталлятором хецнера, который imageinstall?