Как развернуть Хранилище логов быстро (elk)

Продолжить обсуждение из BigData LogManager для 1С:

@behaviorists - многие спрашивали

Очень просто:

  • заказываем (развертываем) машину с установленным docker, docker-compose - на ноутбуке работаем через docker-machine

  • скачиваем https://github.com/deviantony/docker-elk

git clone https://github.com/deviantony/docker-elk ./my-big-data-logs
  • переходим в указанный каталог и делаем магическое
cd ./my-big-data-logs
docker-compose up

для пользователей ноутбуков - не забудьте, что вместо localhost используйте docker-machine ip

Читаем официальную документацию, если не понятно задаем вопросы.

@Bronislav - это так сказать для быстрого старта в проффессию

Я уже после того как отдельно все запустил через докер, увидел что это все называют стеком ELK и что есть готовые образы для запуска.
По большому счету, проблема не в запуске самого стека, а в агенте.
Сейчас меня мучает вопрос с битс. Пока получилось только читать sqlite и сохранять состояние. Что платформа битс, что GOlang для меня диковинка, поэтому идет медленно :slight_smile:

Предлагаю попробовать в режиме OpenSource - тогда можем все вместе создать. Пойдет быстрей.

Может создашь github проект ? @pumbaE - ты как считаешь ? открыть Beats на github для 1С ?

Думаю можно без проблем открыть.

На выходных покопаюсь еще, и попробую создать.

Создал: https://github.com/KeynihAV/sqliteOneCBeat
Это конечно еще толком не работает.
Застрял на отправке данных методом sb.events.PublishEvent(event). Ошибок никаких не выдает, но и вывод не отрабатывает даже в консоль.

сделал пул-реквест на README

P.S. Я знаю ты не любишь - но добавь аватарку https://github.com/KeynihAV к акаунту

Пул-реквест принял, посмотрел хоть как это выглядит изнутри.
Добавил аватарку :slight_smile:

Щас закончим историю с тренингами и вебинарами - начнем готовится к следующему.

Думаю что это будет именно стэк ELK @Bronislav - как тебе тема вебинара ? скажем числа 31 авпреля ?
Поэтому я как GOLANG’ист подключусь шире

Лично для меня, тема интересная, а вот для других не знаю. Людям же наверняка захочется готовое решение, сильно сомневаюсь что много кто захочет погружаться в плагины для logstash или GOlang.
Есть некоторые мысли, о материале вебинара:
Мне в таком семинаре хотелось бы услышать про владение этим стеком, точнее эластиком.
Как эластик работает с данными? Сколько ему памяти выдать для нормальной работы? Как ограничить? Как нарезать индексы? Как удалять старые записи? Как делать бэкапы? Вообщем что нужно сделать, чтобы это все спокойно и стабильно работало.

1 Симпатия

Добрый день. Запускаю “docker-compose up” в директории ELK вылетает ошибка UnicodeDecodeError.

в файлае yml есть кириллица? Насколько помню, docker-compose еще не перевели на 3 питон.

docker-compose.yml дефолтный. Нашёл на github на странице docker’а - “If you install Compose with pip or use it as a library, it now works with Python 3”.
Дополнительно появилась новая ошибка:

Странная ситуация. У меня всё запустилось по инструкции:

$ docker-machine.exe create --driver virtualbox default

Потом

docker-machine.exe env default

Всё нормально

eval $(“C:\Program Files\Docker Toolbox\docker-machine.exe” env default)

И

docker-compose.exe up

Сейчас, удали docker-machine default

docker-machine.exe ls

Покажет список и статус

docker-machine.exe rm default

Ответить “Y” и повторить как я написал. Должно заработать.