Отправка массива JSON в elasticsearch

#1

Добрый день.
Коллеги подскажите, кто может сталкивался. Существует массив объектов json. С помощью какой команды его можно отправить в elastic. Массив примерно такого вида:

[
{
“KeyOperation”: “Операция 1”,
“SessionNumber”: 2,
“User”: “user1”,
“ExecutionTime”: 7.738,
“DoneWithError”: false
},
{
“KeyOperation”: “Операция 2”,
“SessionNumber”: 2,
“User”: “user1”,
“ExecutionTime”: 46.074,
“DoneWithError”: false
}
]

#2

https://www.elastic.co/guide/en/elasticsearch/reference/current/array.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html#field-datatypes

Маппинги тебя интересуют я так понимаю

#3

Возможно я не понял, но мне кажется это не тоже самое. Мне нужно передать массив, чтобы из элементов этого массива получилось 2 документа. Т.е. сделать тоже самое, чтобы я мог бы сделать с помощью 2 команд:

PUT /my_index/_doc/1
{
“KeyOperation”: “Операция 1”,
“SessionNumber”: 2,
“User”: “user1”,
“ExecutionTime”: 7.738,
“DoneWithError”: false
}

PUT /my_index/_doc/2
{
“KeyOperation”: “Операция 2”,
“SessionNumber”: 2,
“User”: “user1”,
“ExecutionTime”: 46.074,
“DoneWithError”: false
}

Возможно бы здесь помогла команда bulk, но здесь мне придется также каким-то образом массив преобразовывать.

#4

И сейчас функция маппинга в 7 версии по умолчанию не используется https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html

#5

Минимальный препроцессинг все равно потребуется. Но проиндексировать несколько документов за один вызов можно. См. bulk API.

Расчет Apdex в Kibana
#6

Реализовал отправку массива с помощью bulk.
Так как изначально отправку в ELK делал с помощью FoxyLink https://github.com/FoxyLinkIO/FoxyLink, сделал доработку подсистемы https://github.com/FoxyLinkIO/FoxyLink/pull/220

#7

А мне не нравится - слишком долго. Я на выходных покажу как делаю я.

#8

Согласен, наверное костыльное решение, но с помощью подсистемы быстро смогли настроить отправку пока на попробовать. На продуктиве 73000 замера в день, снижения производительности пока не наблюдаем.
С сожалению в субботу в прямом эфире посмотреть не смогу, посмотрю в записи.