0. Vladimir Litvinenko 1785 26.02.19 10:00 Сейчас в теме

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

Перейти к публикации

Комментарии
Избранное Подписка Сортировка: Древо
1. Pr-Mex 123 26.02.19 11:07 Сейчас в теме
2. Meteorage 17 26.02.19 11:34 Сейчас в теме
Отличная статья! Мне бы эту статью да года полтора назад, где я на предприятии продвигал идею про BDD и CI/CD. Все подробно написано. Респект.
3. smirnov.es 16 26.02.19 13:05 Сейчас в теме
Отличная статья. Надеюсь на продолжение
4. Viktor_Ermakov 26.02.19 13:49 Сейчас в теме
Спасибо за отличную работу!
5. artbear 1156 26.02.19 13:56 Сейчас в теме
(0) Отличная статья. Очередное большущее спасибо за популяризацию тестирования и инструментов от Ванесса.АДД.

Добавь в статью, что для ванесса-раннер можно в текущий каталог положить спец. файл env.json c необходимыми настройками и тогда можно не указывать путь к файлу настройу, т.е. не задавать параметр --settings

Такой файл удобно положить в корень гит-репозитория своего проекта и потом легко и просто использовать ванесса-раннер.
Vladimir Litvinenko; +1 Ответить
6. Vladimir Litvinenko 1785 26.02.19 14:24 Сейчас в теме
(5) Спасибо за дополнение. Добавлю скоро в публикацию. Надо будет ещё добавить ссылку на https://github.com/silverbulleters/vanessa-runner, где описан приоритет поиска и установки параметров для запуска Vanessa-Runner.
7. valentinko 141 26.02.19 18:20 Сейчас в теме
Спасибо за статью. Полезно. Вопрос к автору: после генерации отчетов, есть все данные, кроме скринов ошибок. При том, что сами скриншоты делаются, однако как вложения - не подтягиваются и не отображаются в самом аллюре.
8. Vladimir Litvinenko 1785 26.02.19 19:05 Сейчас в теме
(7) С таким поведением не сталкивался.

Думаю здесь нужны все условия для воспроизведения ошибки, если она стабильно у Вас воспроизводится.
Версия Allure, версия Vanessa-ADD/Vanessa-Automation, json-файл с настройками для bddRunner.epf и так далее. Исходные json-файлы для отчёта Allure, чтобы увидеть, есть ли в них информация о том, что скриншот должен быть присоединён.
19. for_sale 781 18.08.19 19:33 Сейчас в теме
(8)
Владимир, огромное спасибо за статьи!

Если можно - вопрос: можно ли как-то переиспользовать сценарии? У меня продукт для УТ и УНФ, в основном сценарии совпадают, но много всяких кнопок, которые называются по-разному и прочих мелочей, не позволяющих использовать один сценарий для обеих конфигураций. Но при этом 95% (если не 99%) текстов сценариев - одинаковые. Пока что решаю проблему копированием сценариев, но как и любое копирование, это всё сложнее и сложнее поддерживать. Есть ли возможность написать что-то вроде:

Если ЭтоУТ Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"

Если где-то об этом уже написано - буду признателен за ссылку.
20. Pr-Mex 123 18.08.19 22:18 Сейчас в теме
(19)Да, вы можете использовать условия для этого.
Например вы можете задать глобальную переменную и тогда сценарий будет выглядеть так
Если "$$ЭтоУТ$$" Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"
for_sale; +1 Ответить
21. for_sale 781 18.08.19 23:00 Сейчас в теме
(20)
Большое спасибо за ответ!
Глобальная переменная - это переменная в конфигурации? Т.е. её нужно задать в конфигураторе? Или же имеются в виду какие-то глобальные переменные в контексте Ванессы? Если да, то подскажите, пожалуйста, как её задать?
22. Pr-Mex 123 19.08.19 09:39 Сейчас в теме
(21)
В контексте Ванессы.
Например так:
Дано Я запоминаю значение выражения "Истина" в переменную "ЭтоУТ" глобально
for_sale; +1 Ответить
23. for_sale 781 19.08.19 11:25 Сейчас в теме
9. jaroslav.h 148 27.02.19 00:01 Сейчас в теме
Много трудов прикладают люди для разработки данного решения, но у меня мАленький вопрос.
Кроме самих разработчиков данного решения, кто то использует ещё (не просто установил, а в реальных условиях, в реальных задачах)?
Кто то разобрался с этим?

Есть прмеры (историй) реального использования, кроме разработчиков, на данном сайте или в нете?!
10. Vladimir Litvinenko 1785 27.02.19 00:48 Сейчас в теме
Ответ на этот вопрос достаточно легко найти в поисковиках, Инфостарте, а в последнее время даже на ИТС.
Извиняюсь за переадресацию, вместо прямых ссылок, но это действительно так. Если поищете и действительно не найдёте - напишите, сделаю подборку ссылок )) А лучше заходите в канал https://t.me/testspro1c

Ограничивающим фактором распространения любых практик, способствующих повышению стабильности и качества систем, являются более высокие требования к квалификации специалистов. И необходимость постоянно держать этот вопрос в фокусе и под контролем. То есть еще и более высокие требования к управленческой квалификации. Поэтому очень широкого распространения этих практик, в том числе сценарного тестирования, в среде 1С ждать не стоит. Но там, где важна надёжность, как минимум автоматизация регресса всегда целесообразна.

Это не зависит от платформы и языка. Вот только сегодня презентацию с TeamLead Conf выкладывали не тему "тестировать или не тестировать": https://t.me/TeamLeadTalks/33311
11. vlad.frost 185 27.02.19 08:33 Сейчас в теме
Отличная демонстрация того, как vanessa-runner инкапсулирует сложность платформенного CLI. А ведь vanessa-runner ещё умеет и переменные окружения использовать - полезный навык если вы строите свою CI/CD.
13. tsukanov 57 27.02.19 13:55 Сейчас в теме
(11) Не понял каким образом он инкапсулирует сложность. Что API платформы изучать, что API раннера.

Вот буквально утром накидал такой скрипт на повершеле:
$1CPath = "C:\Program Files\1cv8\common\1cestart.exe"
$ArgList = "ENTERPRISE",
           "/F C:\Users\user\Documents\TestBase",
           "/N Administrator",
           "/P `"`"" ,
           "/TESTMANAGER",
           "/Execute `"C:\git\work\vanessa-erp-test\vanessa-automation-single.epf`"",
           "/C`"StartFeaturePlayer;VBParams=C:\git\work\vanessa-erp-test\AutostartSettings.json`""

Start-Process $1CPath -ArgumentList $ArgList
Показать


Чем подобный скрипт будет хуже использования раннера конкретно для этой задачи? Какие грабли я упускаю?
Pr-Mex; grumagargler; +2 Ответить
12. Shmell 257 28.02.19 07:03 Сейчас в теме
Большая работа проделана! Спасибо!
14. kuzyara 793 01.03.19 08:04 Сейчас в теме
15. Vladimir Litvinenko 1785 01.03.19 13:28 Сейчас в теме
(14) Возможно через какое-то время, если будет заслуживающая этого информация.

По Jenkins нет дефицита материалов. Есть хорошие курсы, даже в открытом доступе. Есть курсы и книги от "Серебряной Пули". Повторять их содержание было бы не вполне корректно и боюсь было бы больше похоже на плагиат )) На основе имеющихся материалов вполне можно разработать CI и даже CD для своего проекта. В общем информации много, она систематизирована и источники известны. Если будет какая-то особенная информация, то будет повод сделать публикацию.

Целью этих публикаций было закрыть дефицит информации по Vanessa-ADD, точнее той её части, что относится к сценарному тестированию и BDD. И систематизировать имеющуюся информацию, которую приходилось собирать по кусочкам по форумам, чатам и гитхабу. Более масштабных целей пока не было.

Ещё в последнее время появилась информация, что для решений на 1С успешно используется не только Jenkins, но и Gitlab CI.
16. sapervodichka 1699 11.06.19 12:14 Сейчас в теме
По быстрому можно так протестировать https://infostart.ru/public/1056811/
17. ms-des 19.06.19 16:31 Сейчас в теме
Спасибо за статью!
Возникла проблема, несколько раз выполнен тест
runner --settings VanessaRunnerSettings.json

Сформировались 4 файла json, делаю
allure generate ...
allure open ...


Но в браузере отображается только один тест кейс. В чем может быть проблема?
Прикрепленные файлы:
18. ms-des 19.06.19 17:47 Сейчас в теме
(17) разобрался, отображается количество уникальных тестов
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.

Вакансии

Автор новостных обзоров на тему 1С и бухучета
Санкт-Петербург
По совместительству

Ведущий программист 1С
Санкт-Петербург
зарплата от 130 000 руб.
Полный день

Программист 1С
Москва
зарплата от 130 000 руб. до 200 000 руб.
Полный день

Бизнес-архитектор 1С, ведущий консультант
Санкт-Петербург
Полный день

Руководитель проектов 1С
Санкт-Петербург
Полный день