Зависает этап сценарного тестирования Jenkins при ошибках в сценариях

#1

Добрый день.

Столкнулся со следующей ситуацией: есть этап pipeline Jenkins (Jenkins на Windows), на котором выполняется сценарное тестирование конфигурации с помощью vanessa-behavior. Если какой-то из сценариев падает с ошибкой, то этап не завершается, а висит до тех пор, пока не прервется по таймауту. При этом после завершения сборки данных о результатах тестирования нет.
Если команду запуска сценарных тестов из pipeline запустить в командной строке, отрабатывает корректно: возвращает ошибку выполнения сценариев.
Если все тесты проходят без ошибок, то все отрабатывает корректно, результат в формате allure формируется.
Есть идеи, в какую сторону копать?

#2

@StupnikovVG, настроить снятие скриншотов при падении стэйджа по таймауту
настроить сохранение лога VB в файлик
будете знать на каком фиче/сценарии/шаге упало, если сейчас нет этой информации (как я понял шаг не падает, а тупо висит). и будете знать, что на экране в этот момент творилось.

#3

Вопрос не в том, чтобы понять, какой из сценариев упал, а в том, чтобы при ошибках в сценарии не зависал этап pipeline.

#4

@StupnikovVG, у нас такие ошибки были ошибками на уровне системы, когда ошибка была не в коде конфигурации, а вылетал клиент тестирования из-за ошибки платформы. И для разбора полетов важно было понять, что за шаг, и что происходило, чтобы:
а) найти обходное решение;
б) воспроизвести и отправить багрепорт.

Если же это на уровне кода конфигурации или даже если крах клиента тестирования не критичен, то можно, например, issue в реп на глобальный таймаут шага в VB. Т.е. чтобы любой шаг считался упавшим, если он выполняется более n секунд.