Кто имел дело с Graylog2? Плюсы, минусы, подводные камни?

Коллеги, кто имел дело с Graylog2? Плюсы, минусы, подводные камни? Альтернативы (ELK, Kafka, Splunk)? Задача, если не очевидно: иметь единое self-hosted хренилище для всех логов всего и вся, от веба и демонов до кофеварок и RFID-ключей, с разделением доступа и без болезней роста, чтобы масштабирование на пару-тройку порядков (с 1 до 100 гигабайт логов в месяц, кажем) сводилось к дополнительному железу. Спасибо!
853   41  
Полезные инструменты

Comments

  1. Yaroslav Rastrigin
    Reply
    Yaroslav Rastrigin 5 лет назад
    пара тройка порядков ничего не говорит про абсолютные объёмы; так-то syslog всем хорош
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Ну понятно что не от нуля рост, скажем есть гигабайт логов в месяц, хочется установить решение и забыть, пока не станет 100 гигабайт в месяц.
  2. Vitaly Levchenko
    Reply
    Vitaly Levchenko 5 лет назад
    Graylog же точно так же имеет Elastic снизу, только с дополнительным индексом в Mongo.
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Точно так же, как и что?)
  3. Vitaly Levchenko
    Reply
    Vitaly Levchenko 5 лет назад
    Вообще, Splunk интересен для интепрайза, но они не дают ничего полезного для удобного разворачивания на серверах, и в целом беда с документацией и поддержкой.
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Спасибо. А про Graylog что-то знаете?
    • Vitaly Levchenko
      Reply
      Vitaly Levchenko 5 лет назад
      Сергей, только то, что он вам скорее всего не нужен.
  4. Владимир Мужилов
    Reply
    Владимир Мужилов 5 лет назад
    Не пашет с 5тым эластиком, жизнь боль
  5. Владимир Мужилов
    Reply
    Владимир Мужилов 5 лет назад
    В апреле начали пилить работу с 5кой, роадмап не нашел
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Обещают в версии 2.3: https://www.graylog.org/.../93-coming-soon-elasticsearch...
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      2.3.0-rc1 выкатили неделю назад: https://github.com/.../graylog2.../releases/tag/2.3.0-rc.1
    • Владимир Мужилов
      Reply
      Владимир Мужилов 5 лет назад
      срока все равно не указано ;( пока докеры развесил
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Судя по ритму выпуска альфы и беты можно достаточно уверенно предположить, что релиз 2.3 будет до конца лета.
  6. Никита Павлов
    Reply
    Никита Павлов 5 лет назад
    Есть агент через шаблоны которого настраивается что и как логировать
  7. Andy Fefelov
    Reply
    Andy Fefelov 5 лет назад
    Мы сейчас с болью кушаем грейлог2, давимся, но продолжаем, все-таки недеемся, что закончим. Вот если бы сейчас можно было отыграть все назад: то скорее всего остановились на обычном ЕLK.Из плюсов грейлога - его на старте проще запустить.Из минусов - поддержка gelf довольна убога в других решениях, в то время как ELKшные штуки типа *beats очень хорошо из коробки со своим стеком интегрируются. Вам все равно понадобится logstash.
    • Вадим Нестеров
      Reply
      Вадим Нестеров 5 лет назад
      Так graylog кушает beats же, у него инпут есть.
    • Andy Fefelov
      Reply
      Andy Fefelov 5 лет назад
      После обрывов соединения, давится и перестает кушать.
  8. Владимир Мужилов
    Reply
    Владимир Мужилов 5 лет назад
    в чем гемор? как раз слезаю с elk'а и держу путь на graylog
    • Andy Fefelov
      Reply
      Andy Fefelov 5 лет назад
      Я рано отправил пост: если кратко, то одним грейлогом в НАШЕМ случае обойтись не удается: мы все равно берем куски ELK стека и прикручиваем их. И это много легче делать в родной экосистеме. Но мы преодолеваем
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Andy Fefelov спасибо, очень интересно. А чего именно вам в Грейлоге не хватает?
    • Andy Fefelov
      Reply
      Andy Fefelov 5 лет назад
      Мы собираем метрики с хост-систем - обычным rsyslog+tls, syslog-ng+tls (тот же rsyslog) с pg, rails, custom dev wirtten with go. Практически любой из этих сервисов генерит многострочные логи, которые надо корректно разбивать. И тут мы не нашли решения лучше, чем logstash, стандартными средствами грейлога задачу решить не смогли.
    • Andy Fefelov
      Reply
      Andy Fefelov 5 лет назад
      связка логстеш + файлбит умеет сама тротлинг, выглядит довольно многообещающе. хотя как себя поведет на деле - большой вопрос.
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Andy Fefelov Спасибо!
    • Andy Fefelov
      Reply
      Andy Fefelov 5 лет назад
      Сергей Аксёнов пожалуйста, обращайтесь
  9. Алексей Тимановский
    Reply
    Алексей Тимановский 5 лет назад
    Мы Logentries используем. Splunk доргой как самолет
    • Алексей Тимановский
      Reply
      Алексей Тимановский 5 лет назад
      А, пардон, вы на своем железе хотите...
  10. Сергей Мартынов
    Reply
    Сергей Мартынов 5 лет назад
    Какой интересный тредик, спасибо. Я давно и неспешно ищу для себя ответ на тот же вопрос. Вообще, когда-то пользовался Splunk, и пользовался бы и сейчас, не будь он таким заоблачным по цене.
  11. Юрий Колесов
    Reply
    Юрий Колесов 5 лет назад
    Хранилище логов обеспечивает обычный syslog+logrotate ) В неограниченных объемах)
    • Vitaly Levchenko
      Reply
      Vitaly Levchenko 5 лет назад
      В неограниченных объёмах хранит только https://devnull-as-a-service.com
    • Юрий Колесов
      Reply
      Юрий Колесов 5 лет назад
      Vitaly Levchenko при нынешней стоимости дисков - там неограниченные объемы)
    • Vitaly Levchenko
      Reply
      Vitaly Levchenko 5 лет назад
      Юрий, вы живёте в другом масштабе вселенной
    • Юрий Колесов
      Reply
      Юрий Колесов 5 лет назад
      Vitaly Levchenko у топикстартера до 100гиг в месяц логов. для него объемы дисков неограничены, ему не нужен девнулл или иные штуки вселенского масштаба)
  12. Андрей Федоровский
    Reply
    Андрей Федоровский 5 лет назад
    100 Гб в месяц - совсем немного. Чем не устраивает стек ELK? Это сейчас стандарт де-факто. Индексирует быстро, аналитика глубокая, масштабируется хорошо, комьюнити широкое.
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      Честно говоря, хочется более лёгкой установки и настройки.
    • Андрей Федоровский
      Reply
      Андрей Федоровский 5 лет назад
      Хм, а в чем сложность установки elk? Я не издеваюсь, я действительно не понимаю.
    • Сергей Аксёнов
      Reply
      Сергей Аксёнов 5 лет назад
      По описаниям там и там ELK надо собирать по частям из кучи модулей и плагинов, а Graylog ставится одним куском (+монга +эластик)
    • Андрей Федоровский
      Reply
      Андрей Федоровский 5 лет назад
      Специально переспросил товарища, который у нас его ставил. Говорит, если конфигурация более-менее обычная, без изъебов, то все ставится в докер-контейнерах за час. Так что мой совет - все же смотреть в сторону elk (ну плюс-минус, например, мы доставляем логи через fluentd вместо logstash, но разницы особенной нет).
    • Алексей Паршуков
      Reply
      Алексей Паршуков 5 лет назад
      Поддержу Андрея. Пользуемся ELK. К нему есть вопросы, но в целом это простое и рабочее решение. Проще только облака, но ценник получается конским.
    • Вадим Нестеров
      Reply
      Вадим Нестеров 5 лет назад
      Мне кажется дело в удобстве, парсеры писать в вебе куда удобней чем в логстеше это описывать, потом там есть и обогощение данных и алертинг есть, админить мне кажется удобней (обработку логов) сам ELK снизу как и просто ELK без Graylog.
    • Andrei Mikhaltsov
      Reply
      Andrei Mikhaltsov 5 лет назад
      В ELK стеке в бесплатной версии могут быть сложности с разделением прав доступа и возомжно придется ставить платный shield (x-pack), в остальном оптимально имхо)
  13. Станислав Осипов
    Reply
    Станислав Осипов 5 лет назад
    С ELK всегда будет больно.
Click here to cancel reply.