Вопрос профессиональной работы с 1С логами, журналами MS SQL и анализом собранной информации

#1

Очень хочу разобраться в Вопросах профессиональной работы с 1С логами, журналами MS SQL и анализом собранной информации.

Интересует:

  • Реальная схема использования ELK и профит?
  • Порядок работы с данными из Elastikа в СКД 1С - работает ли реально? какая архитектура, как подключаться?
  • Порядок настройки BEATS обменов и архитектура при использовании контейнера с ELK.

По-этому возник вопрос актуальности вебинара BigData LogManager для 1С. Возможно у Вас есть другие варианты, более новые ?

Буду искренне благодарен за любую инфу. :wink:

#2
  • ELG (вместо кибаны графана / графит)
  • набор скриптов на баше / перле
  • тулкит на джаве

К СКД не пробовал прикручивать ибо не придумал зачем.

#3

Собственно последнее время (оба раза) это вырождалось в проект… Вот так вот с кондочка не получалось, мой опыт следующий (фазы проекта)

Фаза 1:

  • первое: разворачиваем Elastic - без GUI и дальше
    • настраиваем сборщики Beats под все:
      а) операционка/виртуалка/контейнер
      б) сетка/сетевой трафик
      в) приложения: nginx/apache/iis/1C

Установка beats должна происходить по максимуму автоматически, например вот так https://chocolatey.org/packages/filebeat

После чего (на текущий момент) прикручиваются 2 отображателя

Ожидаемый конечный результат: “Отобразить средствами Graphana”

  • количество физических хостов/серверов
  • количество виртуальных хостов с разделениемм по типу Windows - 10 шт / Linux - 5 шт

Фаза 2

Ожидаемый конечный результат: “Работающее email оповещение о проблемах в любом контуре на выбор”

Фаза 3

настройка метрик Graphana

Текущие показатели:

  • количество http сессий в 1С контуре
  • количество сеансов в 1С контуре
  • количество транзакций на уровне СУБД 1C
  • уровень утилизации CPU
  • уровень утилизации RAM
  • количество ошибок в журнале регистрации 1С

Тренд (гранулярность - 1 час)

  • количество http сессий в 1С контуре
  • количество сеансов в 1С контуре
  • количество транзакций на уровне СУБД 1C
  • уровень утилизации CPU
  • уровень утилизации RAM
  • количество ошибок в журнале регистрации 1С

Фаза 4

apdex, квантили и технологический журнал по событиям EXP, MEM и т.д. в Elastic - выгрузка

Фаза 5

самая крутая - расследовательская:

  • для каждой ошибки их Журнала регистрации показываем что происходило на железе, на сервисах, в журнале регистрации в пределах от “минус минута” до “плюс минута”
  • для каждой ошибки их ТехЖурнала показываем что происходило на железе, на сервисах, в журнале регистрации в пределах от “минус минута” до “плюс минута”

Способ показа: 1С обработка :wink: и API Elastic

2 Симпатий
#4

Вау :slight_smile: Алексей -СПАСИБО!!! - это реально целый проект…

На данный момент имею:

  • развернут zabbix - мониторит сервера
  • развернут стек ЕЛК - завел лог журнала регистрации - но пока через LogStash Input Plugin for 1C Application Logs

А вот теперь есть желание во-первых ПОНЯТЬ что со всем этим можно еще делать.
А во-вторых перевести сбор логов на Beats …

#5

Пока я размышляю над двумя вещами

  • как упростить развертывание
  • как делать поставку Дашбоардов

Если с первым более менее понятно - там скорее всего лучше через oscript делать, то со вторым пока неясно. Неясно в части получения обновлений

#6

может повторить вебинар… платный ;-), чтобы актуализировать информацию.

Но это блин вебинар частей на 5-6. @yasplush @JuliaBulanova - согласуете ?

#7

Конечно согласуем.

#8

А поподробней? -Где? Когда? Сколько? Но вещь нужная.

#9

Сергей, добрый день. Планируется интенсив на июль. Будут блоки вебинаров по разным темам, и по биг дате в том числе.
Стоимость участия в вебинаре будет 2000 руб. Проводится будут на площадке Инфостарта как обычно

1 Симпатия
#10

Я тут выплыл из сумрака подготовки к вебинару и вдруг оказалось, что на 5 часовое обсуждение записалась 5 человек. Вообще фигня какая-то с вебинарами.

учитывая количество слушателей - такая активность ни фига не окупается (социальная миссия Пули страдает и мотивация падает.).

Проекты такого рода стоят тыщ по 500.000 - 1.000.000 - вообще не понял почему не интересно. Все чтоли внедрением ERP увлеклись.

Поэтому - на Инфостарте я вебинар сниму, а наработки буду публиковать на форуме. Скажем так для своих.

2 Симпатий
#11

с нетерпением ждём, хотелось вэбинар канешно, куча вопросов без ответа, ну да ладно, что тут поделаешь

#12

если кому надо, вот нашёл вменяемую ману, по поднятию стэка! https://www.howtoforge.com/tutorial/ubuntu-elastic-stack/

осталось тока найти паттерны как правильно распарсить логи технологического журнала, и скормить их Эластику…

#13

Гораздо проще все поднять Dockerе - где все сделано до нас. Весь стек разворачивается за 15 минут. А вот затем самое веселое- построение схемы:

  • что будем мониторить?
  • как будем мониторить?
  • И главное ЗАЧЕМ??? (в чем профит)

Для себя набросал список - журналов и событий. Если кому-то интересно могу запостить, обсудим.
На данный момент главный вопрос - как подменить (добавить , Связать…) ссылку в логе на реальное имя Обьекта в 1С?

#14

а запости пжлста, чисто глянуть! … псб

#15

Про какую ссылку речь ? какое место в файле лога ?

#16

я последнее тоже не понял, там вроде есть айди обекта, и ещё идентификаторы процесса помоему + логи связаны между собой, интересно на самом деле эт овсё раскрутить!

#17

Продолжу мысли своего коллеги ice_nio.
Мы пытаемся сейчас автоматизировать анализ всех важных событий в системе, которые генерирует сервер 1С (программная его часть). Окунулись в анализ технологического журнала. Для анализа определили несколько направлений: утечки памяти, длительные операции, исключения. Для этих трех направлений на одном из серверов настроили технологический журнал.
По утечкам памяти (взяв статьи с ИТС и Инфостарта) настроили журналирование всех событий когда выделяется “большое” количество памяти на один серверный вызов. Вся эта информация журналируется по рабочим процессам и менеджерам кластера/сервера. Теперь возникла сложность связать все эти события и вытащить контекст выполнения данного события. Одна из проблем при анализе технологического журнала - это понять где событие (вызвавшее утечку памяти) началось и где закончилось. Вторая проблема - это связать события из журнала менеджера кластера и журнала рабочего процесса. Если следовать ИТС, то там все просто и все прозрачно. На практике выясняется, что в результате простых действий в коде 1С выполняется огромное кол-во вызовов и это усложняет анализ логов технологического журнала.
По длительным операциям та же проблема: понять где начался и где закончился вызов.

Поделитесь своими мыслями как это решается на практике у вас. Мы от стека ELK ожидаем возможности не только визуализации проблем, но и возможности связать события в логах в некую понятную цепочку с пониманием контекста вызова.

1 Симпатия
#18

На данный момент у меня все примитивно просто:
Рабочий кластер представляет собой стандартный набор:

  • Windows Server + MS SQL
  • Windows Server + 1C Server
  • Windows Server+ Terminal Server

I Настраиваем мониторинг- сбор информации о загрузке оборудования
Performance monitorы - для систем VMware они показывают загрузку именно виртуальной машины.

1.Memory (Память) — Committed bytes in use (% использования выделенной памяти)
2.Memory (Память) — Available Mbytes (Доступно, Мбайт)
3.Processor [_Total] (Процессор [_Total]) — % Processor Time (% загрузки процессора)
4.System (Система) — Processor Queue Length (Очередь к процессорам)
5.Physical Disk (Физический диск) — Avg. Disk Queue Length (Средняя длина очереди к дискам)
6.Physical Disk (Физический диск)- Available Memory— свободное физическое дисковое пространство
7.Network Interface (Сетевой интерфейс) — Bytes Total/sec (всего байт/с)

II Настраиваем логи
Здесь сложнее.
1- Ошибки и предупреждения системы, (в т.ч и MS SQL)
2- Журнал регистрации
3- Технологический журнал

каждый из 3-х последних пунктов - вылился в исследование. Пока только присматриваюсь к тому что и как собирать , и что с ним делать…
Ну а дальше планирую научится все это анализировать.

#19

К сожалению пока только по таймштампу грубо группирую метрики и прикидываю что происходит. Пока только накапливаю статистику. Есть желание и идеи попытаться вычленять “долгие запросы” и блокировки - но до этого еще не до рос :frowning:

#20

Я имел ввиду поле в логе - data:183:be7c000c29d37c2311e7fb64398c8a44

Сразу не увидел поле: dataPresentation:Реализация товаров и услуг ТОВ00000046 от 17.01.2018 16:11:48

Вопрос снят. :slight_smile: