Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

0. Vladimir Litvinenko 2365 26.02.19 10:00 Сейчас в теме
Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

Перейти к публикации

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Pr-Mex 125 26.02.19 11:07 Сейчас в теме
2. Meteorage 18 26.02.19 11:34 Сейчас в теме
Отличная статья! Мне бы эту статью да года полтора назад, где я на предприятии продвигал идею про BDD и CI/CD. Все подробно написано. Респект.
3. smirnov.es 16 26.02.19 13:05 Сейчас в теме
Отличная статья. Надеюсь на продолжение
4. Viktor_Ermakov 26.02.19 13:49 Сейчас в теме
Спасибо за отличную работу!
5. artbear 1186 26.02.19 13:56 Сейчас в теме
(0) Отличная статья. Очередное большущее спасибо за популяризацию тестирования и инструментов от Ванесса.АДД.

Добавь в статью, что для ванесса-раннер можно в текущий каталог положить спец. файл env.json c необходимыми настройками и тогда можно не указывать путь к файлу настройу, т.е. не задавать параметр --settings

Такой файл удобно положить в корень гит-репозитория своего проекта и потом легко и просто использовать ванесса-раннер.
Vladimir Litvinenko; +1 Ответить
6. Vladimir Litvinenko 2365 26.02.19 14:24 Сейчас в теме
(5) Спасибо за дополнение. Добавлю скоро в публикацию. Надо будет ещё добавить ссылку на https://github.com/silverbulleters/vanessa-runner, где описан приоритет поиска и установки параметров для запуска Vanessa-Runner.
7. valentinko 146 26.02.19 18:20 Сейчас в теме
Спасибо за статью. Полезно. Вопрос к автору: после генерации отчетов, есть все данные, кроме скринов ошибок. При том, что сами скриншоты делаются, однако как вложения - не подтягиваются и не отображаются в самом аллюре.
8. Vladimir Litvinenko 2365 26.02.19 19:05 Сейчас в теме
(7) С таким поведением не сталкивался.

Думаю здесь нужны все условия для воспроизведения ошибки, если она стабильно у Вас воспроизводится.
Версия Allure, версия Vanessa-ADD/Vanessa-Automation, json-файл с настройками для bddRunner.epf и так далее. Исходные json-файлы для отчёта Allure, чтобы увидеть, есть ли в них информация о том, что скриншот должен быть присоединён.
19. for_sale 801 18.08.19 19:33 Сейчас в теме
(8)
Владимир, огромное спасибо за статьи!

Если можно - вопрос: можно ли как-то переиспользовать сценарии? У меня продукт для УТ и УНФ, в основном сценарии совпадают, но много всяких кнопок, которые называются по-разному и прочих мелочей, не позволяющих использовать один сценарий для обеих конфигураций. Но при этом 95% (если не 99%) текстов сценариев - одинаковые. Пока что решаю проблему копированием сценариев, но как и любое копирование, это всё сложнее и сложнее поддерживать. Есть ли возможность написать что-то вроде:

Если ЭтоУТ Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"

Если где-то об этом уже написано - буду признателен за ссылку.
20. Pr-Mex 125 18.08.19 22:18 Сейчас в теме
(19)Да, вы можете использовать условия для этого.
Например вы можете задать глобальную переменную и тогда сценарий будет выглядеть так
Если "$$ЭтоУТ$$" Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"
for_sale; +1 Ответить
21. for_sale 801 18.08.19 23:00 Сейчас в теме
(20)
Большое спасибо за ответ!
Глобальная переменная - это переменная в конфигурации? Т.е. её нужно задать в конфигураторе? Или же имеются в виду какие-то глобальные переменные в контексте Ванессы? Если да, то подскажите, пожалуйста, как её задать?
22. Pr-Mex 125 19.08.19 09:39 Сейчас в теме
(21)
В контексте Ванессы.
Например так:
Дано Я запоминаю значение выражения "Истина" в переменную "ЭтоУТ" глобально
for_sale; +1 Ответить
23. for_sale 801 19.08.19 11:25 Сейчас в теме
9. jaroslav.h 166 27.02.19 00:01 Сейчас в теме
Много трудов прикладают люди для разработки данного решения, но у меня мАленький вопрос.
Кроме самих разработчиков данного решения, кто то использует ещё (не просто установил, а в реальных условиях, в реальных задачах)?
Кто то разобрался с этим?

Есть прмеры (историй) реального использования, кроме разработчиков, на данном сайте или в нете?!
10. Vladimir Litvinenko 2365 27.02.19 00:48 Сейчас в теме
Ответ на этот вопрос достаточно легко найти в поисковиках, Инфостарте, а в последнее время даже на ИТС.
Извиняюсь за переадресацию, вместо прямых ссылок, но это действительно так. Если поищете и действительно не найдёте - напишите, сделаю подборку ссылок )) А лучше заходите в канал https://t.me/testspro1c

Ограничивающим фактором распространения любых практик, способствующих повышению стабильности и качества систем, являются более высокие требования к квалификации специалистов. И необходимость постоянно держать этот вопрос в фокусе и под контролем. То есть еще и более высокие требования к управленческой квалификации. Поэтому очень широкого распространения этих практик, в том числе сценарного тестирования, в среде 1С ждать не стоит. Но там, где важна надёжность, как минимум автоматизация регресса всегда целесообразна.

Это не зависит от платформы и языка. Вот только сегодня презентацию с TeamLead Conf выкладывали не тему "тестировать или не тестировать": https://t.me/TeamLeadTalks/33311
11. vlad.frost 187 27.02.19 08:33 Сейчас в теме
Отличная демонстрация того, как vanessa-runner инкапсулирует сложность платформенного CLI. А ведь vanessa-runner ещё умеет и переменные окружения использовать - полезный навык если вы строите свою CI/CD.
13. tsukanov 27.02.19 13:55 Сейчас в теме
(11) Не понял каким образом он инкапсулирует сложность. Что API платформы изучать, что API раннера.

Вот буквально утром накидал такой скрипт на повершеле:
$1CPath = "C:\Program Files\1cv8\common\1cestart.exe"
$ArgList = "ENTERPRISE",
           "/F C:\Users\user\Documents\TestBase",
           "/N Administrator",
           "/P `"`"" ,
           "/TESTMANAGER",
           "/Execute `"C:\git\work\vanessa-erp-test\vanessa-automation-single.epf`"",
           "/C`"StartFeaturePlayer;VBParams=C:\git\work\vanessa-erp-test\AutostartSettings.json`""

Start-Process $1CPath -ArgumentList $ArgList
Показать


Чем подобный скрипт будет хуже использования раннера конкретно для этой задачи? Какие грабли я упускаю?
Pr-Mex; grumagargler; +2 Ответить
12. Shmell 273 28.02.19 07:03 Сейчас в теме
Большая работа проделана! Спасибо!
14. kuzyara 1041 01.03.19 08:04 Сейчас в теме
15. Vladimir Litvinenko 2365 01.03.19 13:28 Сейчас в теме
(14) Возможно через какое-то время, если будет заслуживающая этого информация.

По Jenkins нет дефицита материалов. Есть хорошие курсы, даже в открытом доступе. Есть курсы и книги от "Серебряной Пули". Повторять их содержание было бы не вполне корректно и боюсь было бы больше похоже на плагиат )) На основе имеющихся материалов вполне можно разработать CI и даже CD для своего проекта. В общем информации много, она систематизирована и источники известны. Если будет какая-то особенная информация, то будет повод сделать публикацию.

Целью этих публикаций было закрыть дефицит информации по Vanessa-ADD, точнее той её части, что относится к сценарному тестированию и BDD. И систематизировать имеющуюся информацию, которую приходилось собирать по кусочкам по форумам, чатам и гитхабу. Более масштабных целей пока не было.

Ещё в последнее время появилась информация, что для решений на 1С успешно используется не только Jenkins, но и Gitlab CI.
16. sapervodichka 3658 11.06.19 12:14 Сейчас в теме
По быстрому можно так протестировать https://infostart.ru/public/1056811/
17. ms-des 19.06.19 16:31 Сейчас в теме
Спасибо за статью!
Возникла проблема, несколько раз выполнен тест
runner --settings VanessaRunnerSettings.json

Сформировались 4 файла json, делаю
allure generate ...
allure open ...


Но в браузере отображается только один тест кейс. В чем может быть проблема?
Прикрепленные файлы:
18. ms-des 19.06.19 17:47 Сейчас в теме
(17) разобрался, отображается количество уникальных тестов
24. Nastyok_Kur 19.11.19 06:34 Сейчас в теме
Здравствуйте! При попытке вызова allure generate или allure open возникает ошибка:

ERROR: JAVA_HOME is not set and no 'java' command could be found in your PATH.

Please set the JAVA_HOME variable in your environment to match the
location of your Java installation.

Я так понимаю ожидается переменная среды JAVA_HOME, но такой вообще не вижу у себя :(
Из-за чего может возникать ошибка?
25. Vladimir Litvinenko 2365 19.11.19 11:59 Сейчас в теме
(24)
ERROR: JAVA_HOME is not set and no 'java' command could be found in your PATH.


Эту переменную можно либо прописать в переменных окружения в настройках операционной системы, либо устанавливать непосредственно перед выполнением команды.

На Linux через export JAVA_HOME="ПутьКJava" , на Windows через SET JAVA_HOME="ПутьКJava"

https://stackoverflow.com/questions/17315425/error-in-setting-java-home
26. Nastyok_Kur 09.12.19 07:54 Сейчас в теме
Подскажите, пожалуйста, существуют ли обработки генерации фича файлов для дымовых тестов (открытия/закрытия форм объектов метаданных, Проверка макетов СКД и пр.), по аналогии с Дымовое тестирование ввода документов на основании?
Может есть аналогичные, замечательные, статьи, как эта, по работе с дымовыми тестами?)
27. check2 125 23.02.20 12:54 Сейчас в теме
Отдельное спасибо автору за разъяснения allure.
Оставьте свое сообщение
Вопросы с вознаграждением