Вопрос профессиональной работы с 1С логами, журналами MS SQL и анализом собранной информации


#1

Очень хочу разобраться в Вопросах профессиональной работы с 1С логами, журналами MS SQL и анализом собранной информации.

Интересует:

  • Реальная схема использования ELK и профит?
  • Порядок работы с данными из Elastikа в СКД 1С - работает ли реально? какая архитектура, как подключаться?
  • Порядок настройки BEATS обменов и архитектура при использовании контейнера с ELK.

По-этому возник вопрос актуальности вебинара BigData LogManager для 1С. Возможно у Вас есть другие варианты, более новые ?

Буду искренне благодарен за любую инфу. :wink:


#2
  • ELG (вместо кибаны графана / графит)
  • набор скриптов на баше / перле
  • тулкит на джаве

К СКД не пробовал прикручивать ибо не придумал зачем.


#3

Собственно последнее время (оба раза) это вырождалось в проект… Вот так вот с кондочка не получалось, мой опыт следующий (фазы проекта)

Фаза 1:

  • первое: разворачиваем Elastic - без GUI и дальше
    • настраиваем сборщики Beats под все:
      а) операционка/виртуалка/контейнер
      б) сетка/сетевой трафик
      в) приложения: nginx/apache/iis/1C

Установка beats должна происходить по максимуму автоматически, например вот так https://chocolatey.org/packages/filebeat

После чего (на текущий момент) прикручиваются 2 отображателя

Ожидаемый конечный результат: “Отобразить средствами Graphana”

  • количество физических хостов/серверов
  • количество виртуальных хостов с разделениемм по типу Windows - 10 шт / Linux - 5 шт

Фаза 2

Ожидаемый конечный результат: “Работающее email оповещение о проблемах в любом контуре на выбор”

Фаза 3

настройка метрик Graphana

Текущие показатели:

  • количество http сессий в 1С контуре
  • количество сеансов в 1С контуре
  • количество транзакций на уровне СУБД 1C
  • уровень утилизации CPU
  • уровень утилизации RAM
  • количество ошибок в журнале регистрации 1С

Тренд (гранулярность - 1 час)

  • количество http сессий в 1С контуре
  • количество сеансов в 1С контуре
  • количество транзакций на уровне СУБД 1C
  • уровень утилизации CPU
  • уровень утилизации RAM
  • количество ошибок в журнале регистрации 1С

Фаза 4

apdex, квантили и технологический журнал по событиям EXP, MEM и т.д. в Elastic - выгрузка

Фаза 5

самая крутая - расследовательская:

  • для каждой ошибки их Журнала регистрации показываем что происходило на железе, на сервисах, в журнале регистрации в пределах от “минус минута” до “плюс минута”
  • для каждой ошибки их ТехЖурнала показываем что происходило на железе, на сервисах, в журнале регистрации в пределах от “минус минута” до “плюс минута”

Способ показа: 1С обработка :wink: и API Elastic


#4

Вау :slight_smile: Алексей -СПАСИБО!!! - это реально целый проект…

На данный момент имею:

  • развернут zabbix - мониторит сервера
  • развернут стек ЕЛК - завел лог журнала регистрации - но пока через LogStash Input Plugin for 1C Application Logs

А вот теперь есть желание во-первых ПОНЯТЬ что со всем этим можно еще делать.
А во-вторых перевести сбор логов на Beats …


#5

Пока я размышляю над двумя вещами

  • как упростить развертывание
  • как делать поставку Дашбоардов

Если с первым более менее понятно - там скорее всего лучше через oscript делать, то со вторым пока неясно. Неясно в части получения обновлений


#6

может повторить вебинар… платный ;-), чтобы актуализировать информацию.

Но это блин вебинар частей на 5-6. @yasplush @JuliaBulanova - согласуете ?


#7

Конечно согласуем.


#8

А поподробней? -Где? Когда? Сколько? Но вещь нужная.


#9

Сергей, добрый день. Планируется интенсив на июль. Будут блоки вебинаров по разным темам, и по биг дате в том числе.
Стоимость участия в вебинаре будет 2000 руб. Проводится будут на площадке Инфостарта как обычно