Идея: Отловить регрессию форм - сравнение скриншотов "до" и "после", как сейчас делают при тестировании веб-приложений

#1

Из обсуждения в телеграме

[In reply to ‌‌‎infactum]
я пока вижу так: пока есть ручные тесты и требуется ветка release для стабилизации develop лучше использовать gitflow, если дошел до полной автоматизации сборки и тестов и для новых проектов trunk-based

[In reply to Ingvar Vilkman]
Вряд ли от ручных тестов можно будет когда-то избавиться. автотесты не отловят то, что увидит человек: развалилась форма, сбилось выравнивание, сломалась юзабельность, в печатной форме испортился шрифт или разъехались колонки.

[In reply to Владислав Мороз]
Регрессии внешнего вида форм можно отловить, если реализовать сравнение скриншотов "до" и "после", как сейчас делают при тестировании веб-приложений. Leonid, @aartbear держите идею 😊 (хотя ее предлага еще пару лет назад в G+).

[In reply to Alexander Kuntashov]

дык

https://infostart.ru/public/723210/

[In reply to Антон Степанов]
Там про тестирование обычных форм.
Я имел в виду: 
а) делается эталонный скриншот окна
б) после доработок выполняется регрессионный тест, который делает скриншот текущей версии формы и сравнивает с эталонным; если есть расхождения, а форма не менялась — тест падает.
Но да, при помощи СикулиХ это сделать можно.

[In reply to Антон Степанов]
Пробовали для управляемых его, для продуктива не годится, т.к. скриншоты переснимать каждый раз когда что-то изменилось очень трудоемко. Сценарное тестирование от 1С попроще в этом плане

Хотя если идея в том, что скрины не должны отличаться, то заработает, у нас работало
#2

Еще из телеграма

[In reply to Alexander Kuntashov]
Идея в том чтобы сравнивать скриншоты? Полное сравнение, которе падает при малейшем изменении формы, никому не нужно. Вопрос в том, что считать допустимым отклонением для картинки.

Alexander Kuntashov, [12.11.18 14:33]
Это понятно, “веберы” так и тестируют, инструментов, умеющих сравнивать скрины с заданным порогом точности уже полно.

‌‌‎infactum, [12.11.18 14:33]
Ну так это веберы с pixel perfect версткой

Alexander Kuntashov, [12.11.18 14:34]
Дело не в пиксель-перфект, в 1Се с этим проще, т.к. мы в УФ попиксельно положением элементов не управляем.
Дело в том, чтобы заметить кардинальные поломки, например, когда элемент управления пропал.

Alexander Kuntashov, [12.11.18 14:34]
Хотя, возможно, это проще программно специальным регрессионным тестом проверять.

#3

И еще

Alexander Kuntashov, [12.11.18 14:34]
Дело не в пиксель-перфект, в 1Се с этим проще, т.к. мы в УФ попиксельно положением элементов не управляем.
Дело в том, чтобы заметить кардинальные поломки, например, когда элемент управления пропал.

Alexander Kuntashov, [12.11.18 14:34]
Хотя, возможно, это проще программно специальным регрессионным тестом проверять.

хз, можно попробовать выявлять появление полосы прокрутки, например))

‌‌‎infactum, [12.11.18 14:52]
Скрины сравнивать эт такое дело. Потом рендер слегка изменится и получим миллион срабатываний.

В платформе периодически меняется поведение контролов.

Viktor Gukov, [12.11.18 15:06]
[In reply to Alexander Kuntashov]
Удобно тестировать доступность элементов при ограниченных правах. Есть лишние или отсутствуют нужные