0. Vladimir Litvinenko 1755 26.02.19 10:00 Сейчас в теме

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

Перейти к публикации

Комментарии
Избранное Подписка Сортировка: Древо
1. Pr-Mex 123 26.02.19 11:07 Сейчас в теме
2. Meteorage 17 26.02.19 11:34 Сейчас в теме
Отличная статья! Мне бы эту статью да года полтора назад, где я на предприятии продвигал идею про BDD и CI/CD. Все подробно написано. Респект.
3. smirnov.es 16 26.02.19 13:05 Сейчас в теме
Отличная статья. Надеюсь на продолжение
4. Viktor_Ermakov 26.02.19 13:49 Сейчас в теме
Спасибо за отличную работу!
5. artbear 1149 26.02.19 13:56 Сейчас в теме
(0) Отличная статья. Очередное большущее спасибо за популяризацию тестирования и инструментов от Ванесса.АДД.

Добавь в статью, что для ванесса-раннер можно в текущий каталог положить спец. файл env.json c необходимыми настройками и тогда можно не указывать путь к файлу настройу, т.е. не задавать параметр --settings

Такой файл удобно положить в корень гит-репозитория своего проекта и потом легко и просто использовать ванесса-раннер.
Vladimir Litvinenko; +1 Ответить
6. Vladimir Litvinenko 1755 26.02.19 14:24 Сейчас в теме
(5) Спасибо за дополнение. Добавлю скоро в публикацию. Надо будет ещё добавить ссылку на https://github.com/silverbulleters/vanessa-runner, где описан приоритет поиска и установки параметров для запуска Vanessa-Runner.
7. valentinko 139 26.02.19 18:20 Сейчас в теме
Спасибо за статью. Полезно. Вопрос к автору: после генерации отчетов, есть все данные, кроме скринов ошибок. При том, что сами скриншоты делаются, однако как вложения - не подтягиваются и не отображаются в самом аллюре.
8. Vladimir Litvinenko 1755 26.02.19 19:05 Сейчас в теме
(7) С таким поведением не сталкивался.

Думаю здесь нужны все условия для воспроизведения ошибки, если она стабильно у Вас воспроизводится.
Версия Allure, версия Vanessa-ADD/Vanessa-Automation, json-файл с настройками для bddRunner.epf и так далее. Исходные json-файлы для отчёта Allure, чтобы увидеть, есть ли в них информация о том, что скриншот должен быть присоединён.
19. for_sale 769 18.08.19 19:33 Сейчас в теме
(8)
Владимир, огромное спасибо за статьи!

Если можно - вопрос: можно ли как-то переиспользовать сценарии? У меня продукт для УТ и УНФ, в основном сценарии совпадают, но много всяких кнопок, которые называются по-разному и прочих мелочей, не позволяющих использовать один сценарий для обеих конфигураций. Но при этом 95% (если не 99%) текстов сценариев - одинаковые. Пока что решаю проблему копированием сценариев, но как и любое копирование, это всё сложнее и сложнее поддерживать. Есть ли возможность написать что-то вроде:

Если ЭтоУТ Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"

Если где-то об этом уже написано - буду признателен за ссылку.
20. Pr-Mex 123 18.08.19 22:18 Сейчас в теме
(19)Да, вы можете использовать условия для этого.
Например вы можете задать глобальную переменную и тогда сценарий будет выглядеть так
Если "$$ЭтоУТ$$" Тогда
Я нажимаю на кнопку "УТ"
Иначе
Я нажимаю на кнопку "УНФ"
for_sale; +1 Ответить
21. for_sale 769 18.08.19 23:00 Сейчас в теме
(20)
Большое спасибо за ответ!
Глобальная переменная - это переменная в конфигурации? Т.е. её нужно задать в конфигураторе? Или же имеются в виду какие-то глобальные переменные в контексте Ванессы? Если да, то подскажите, пожалуйста, как её задать?
22. Pr-Mex 123 19.08.19 09:39 Сейчас в теме
(21)
В контексте Ванессы.
Например так:
Дано Я запоминаю значение выражения "Истина" в переменную "ЭтоУТ" глобально
for_sale; +1 Ответить
23. for_sale 769 19.08.19 11:25 Сейчас в теме
9. jaroslav.h 147 27.02.19 00:01 Сейчас в теме
Много трудов прикладают люди для разработки данного решения, но у меня мАленький вопрос.
Кроме самих разработчиков данного решения, кто то использует ещё (не просто установил, а в реальных условиях, в реальных задачах)?
Кто то разобрался с этим?

Есть прмеры (историй) реального использования, кроме разработчиков, на данном сайте или в нете?!
10. Vladimir Litvinenko 1755 27.02.19 00:48 Сейчас в теме
Ответ на этот вопрос достаточно легко найти в поисковиках, Инфостарте, а в последнее время даже на ИТС.
Извиняюсь за переадресацию, вместо прямых ссылок, но это действительно так. Если поищете и действительно не найдёте - напишите, сделаю подборку ссылок )) А лучше заходите в канал https://t.me/testspro1c

Ограничивающим фактором распространения любых практик, способствующих повышению стабильности и качества систем, являются более высокие требования к квалификации специалистов. И необходимость постоянно держать этот вопрос в фокусе и под контролем. То есть еще и более высокие требования к управленческой квалификации. Поэтому очень широкого распространения этих практик, в том числе сценарного тестирования, в среде 1С ждать не стоит. Но там, где важна надёжность, как минимум автоматизация регресса всегда целесообразна.

Это не зависит от платформы и языка. Вот только сегодня презентацию с TeamLead Conf выкладывали не тему "тестировать или не тестировать": https://t.me/TeamLeadTalks/33311
11. vlad.frost 185 27.02.19 08:33 Сейчас в теме
Отличная демонстрация того, как vanessa-runner инкапсулирует сложность платформенного CLI. А ведь vanessa-runner ещё умеет и переменные окружения использовать - полезный навык если вы строите свою CI/CD.
13. tsukanov 57 27.02.19 13:55 Сейчас в теме
(11) Не понял каким образом он инкапсулирует сложность. Что API платформы изучать, что API раннера.

Вот буквально утром накидал такой скрипт на повершеле:
$1CPath = "C:\Program Files\1cv8\common\1cestart.exe"
$ArgList = "ENTERPRISE",
           "/F C:\Users\user\Documents\TestBase",
           "/N Administrator",
           "/P `"`"" ,
           "/TESTMANAGER",
           "/Execute `"C:\git\work\vanessa-erp-test\vanessa-automation-single.epf`"",
           "/C`"StartFeaturePlayer;VBParams=C:\git\work\vanessa-erp-test\AutostartSettings.json`""

Start-Process $1CPath -ArgumentList $ArgList
Показать


Чем подобный скрипт будет хуже использования раннера конкретно для этой задачи? Какие грабли я упускаю?
Pr-Mex; grumagargler; +2 Ответить
12. Shmell 256 28.02.19 07:03 Сейчас в теме
Большая работа проделана! Спасибо!
14. kuzyara 785 01.03.19 08:04 Сейчас в теме
15. Vladimir Litvinenko 1755 01.03.19 13:28 Сейчас в теме
(14) Возможно через какое-то время, если будет заслуживающая этого информация.

По Jenkins нет дефицита материалов. Есть хорошие курсы, даже в открытом доступе. Есть курсы и книги от "Серебряной Пули". Повторять их содержание было бы не вполне корректно и боюсь было бы больше похоже на плагиат )) На основе имеющихся материалов вполне можно разработать CI и даже CD для своего проекта. В общем информации много, она систематизирована и источники известны. Если будет какая-то особенная информация, то будет повод сделать публикацию.

Целью этих публикаций было закрыть дефицит информации по Vanessa-ADD, точнее той её части, что относится к сценарному тестированию и BDD. И систематизировать имеющуюся информацию, которую приходилось собирать по кусочкам по форумам, чатам и гитхабу. Более масштабных целей пока не было.

Ещё в последнее время появилась информация, что для решений на 1С успешно используется не только Jenkins, но и Gitlab CI.
16. sapervodichka 1540 11.06.19 12:14 Сейчас в теме
По быстрому можно так протестировать https://infostart.ru/public/1056811/
17. ms-des 19.06.19 16:31 Сейчас в теме
Спасибо за статью!
Возникла проблема, несколько раз выполнен тест
runner --settings VanessaRunnerSettings.json

Сформировались 4 файла json, делаю
allure generate ...
allure open ...


Но в браузере отображается только один тест кейс. В чем может быть проблема?
Прикрепленные файлы:
18. ms-des 19.06.19 17:47 Сейчас в теме
(17) разобрался, отображается количество уникальных тестов
Оставьте свое сообщение
Новые вопросы с вознаграждением
Автор темы объявил вознаграждение за найденный ответ, его получит тот, кто первый поможет автору.

Вакансии

Программист 1С
Екатеринбург
зарплата от 120 000 руб. до 120 000 руб.
Полный день

Бизнес-аналитик 1С
Москва
зарплата от 140 000 руб. до 200 000 руб.
Полный день

Программист 1С
Санкт-Петербург
зарплата от 130 000 руб.
Полный день


Программисты 1С УТ / БУЗ/ЗУП / БИТ ФИНАНС
Москва
зарплата от 100 000 руб. до 180 000 руб.
Полный день