Apache Kafka + 1C. Вести с полей

Оно живет!

Скоро на сцене - новые классные схемы интеграции с помощью Kafka. У меня уже чешутся лапки )

6 Симпатий

Подогрею интерес :wink:

Идёт тяжеловато - все таки, Кафка крутая штука, но внедрять-имплементировать в конечный продукт её будет затратно с нуля. Пока у меня такие выводы.

Основная проблема - сделать удобную подсистему, чтобы сделать удобным использование в 1С конфигурации.

А, скажем, для синхронизации сущностей (плавный переход от старой конфы к новой) между базами 1С, вы бы рекомендовали Kafka?
И как скоро оно вообще может быть готово к использованию?

Непонятен сценарий. Что значит “для синхронизации сущностей”? Параллельный учет в двух базах при переходе? Да, для этого и Kafka и Rabbbit подойдут идеально. Но формат обмена придется писать все равно. Например в старой версии был один документ, а в новой - 2 по разным хоз.операциям. “Стыковку” придется делать вам, а транспорт и надежная доставка будет в зоне сервера очередей.

Именно, параллельная работа в двух базах. Формат обмена само собой, но есть и объекты которые нужно будет синхронизировать 1 в 1. Как альтернативу рассматривали еще CouchDB и metadata.js :slight_smile:

А долго ли готовую кафку ждать? и будет ли поддержка блокировок?

metadata.js как альтернативу кафке? Веб-фреймворку, как альтернативу серверу очередей?? Для параллельного учета и обмена? А как именно так вы хотели сделать.

УПП и ERP :wink: наверное.

я так понимаю вы хотели сделать координатор транзакций с его помощью.

эксперименты и наработки в 2008-2009 годах выкладывал Андрей Межов

https://infostart.ru/public/22184/
в челом стоит почитать его статьи в этой части https://infostart.ru/profile/67014/

P.S. Господи - почти 10 лет уже этому веселью.
https://forum.infostart.ru/forum9/topic27024/#message899362

ну это в первую очередь не веб-фреймворк, а подсистема синхронизации сущностей 1С с базами CouchDB и либа на js который к этим базам дает доступ с интерфейсом похожим на 1Сный родной. Но в общем-то ничего не мешает к одному серверу CouchDB подключить две 1Ски. А коуч ведь великолепно надежен, реплицируем и относительно версионен.

нет, ут 10.2 и ут 11 :slightly_smiling_face:
просто рассматриваем синхронизацию как возможность плавного перехода со старой legacy базы

гляньте на ИС еще БИТ:Адаптер

очень круто, очень дорого (
PS а оно на своей компоненте работает или на той самой?

На пульской, поверх накручено собственное апи.

Коллеги, здравствуйте!

Задумали сделать сбор метрик производительности основных бизнес-процессов и анализ последующей её деградации при внесении доработок. Для этого используем связку 1С + Apache Kafka + ClickHouse. Написали простую компоненту для интеграции с кафкой. Но столкнулись с проблемой, что если не использовать промежуточный буфер в виде справочника или регистра сведений, то выходит, что 1 пользователь = 1 продюсер. Если одновременно отправить 5 тыс сообщений, брокеры Кафки падают. В идеале должен быть один продюсер, который отправляет данные. Но в 1С нет глобального контекста, чтобы сделать так, что все пользователи использовали одного продюсера. Победили ли вы как-то этот момент или все-таки без буфера никак?

Какой клиент кафки вы используете в компоненте? Брокеры не должны падать, 5 тыс это очень немного для кафки

Сейчас более тщательно посмотрел на репозиторий и ишузы. Похоже, не самый лучший выбор клиента.
Может быть порекомендуете какой? На официальной вики, есть https://github.com/confluentinc/confluent-kafka-dotnet

Проблема возникает, когда 5 тыс продюсеров отправляют 5 тыс. сообщений.

Это все пробелмы не клиента под C#

основной ад сейчас творится в низкоуровневой библиотеке librdkafka

пример тут https://github.com/confluentinc/confluent-kafka-dotnet/issues/1271

Даже видео пришлось записать