OneScript - WinExt: Работа с окнами, управление мышкой и клавиатурой

29.11.18

Разработка - OneScript

Цель: Инструмент позволяющий автоматизировать управление окнами, мышкой, посылать нажатия клавиш. Задачи: - Поиск окна по части заголовка - Поиск фрагмента изображения похожего на сохраненный в файле кусок. - Возможность позиционировать курсор, нажимать кнопки мышки. - Возможность посылать нажатия клавиш

Скачать файлы

Наименование Файл Версия Размер
OneScript - WinExt: Работа с окнами, управление мышкой и клавиатурой:
.zip 629,97Kb
10
.zip 629,97Kb 10 Скачать

Использовать SikuliX, Selenium не хотелось, слишком громоздко, нужно переучиваться.
В сети, нашел пример поиска части изображения в другом изображении.
Решил добавить функциональность в ВК созданную для проекта SmartConfigurator (WinExt) и опубликовать.

Сначала небольшой пример возможностей ВК.

  • Активировать окно по части заголовка
  • Через меню Операции открыть список документов
  • Создать документ
  • Создать контрагента с наименованием: Контрагент_<ТекущаяДата()>
  • Выбрать контрагента
  • Заполнить ТЧ документа
  • Провести документ
  • Сформировать отчет по остаткам

 

#Использовать WinExt

Перем РаботаСОкнами;
Перем Экран;
Перем Мышь;
Перем Клавиши;

Процедура ПриСозданииОбъекта()
    
    РаботаСОкнами = Новый РаботаСОкнами();
    Мышь = Новый Мышь();
    Экран = Новый Экран();
    Клавиши = Новый МСПослатьКлавиши();

    // Активируем окно по части заголовка (окно не должно быть свернуто)
    РаботаСОкнами.АктивироватьОкноПоЗаголовку("Win ext example ordinary");

    СоздатьПоступлениеТМЦ();
    СформироватьОтчетОстаткиТМЦ();

КонецПроцедуры

Процедура СоздатьПоступлениеТМЦ()

    // меню Операции
    ВыполнитьШаг("img/menu_operations.png");
    Приостановить(1000);
    // Меню Документы
    ВыполнитьШаг("img/menu_documents.png");
    Приостановить(1000);
    // Откроем список Поступлений ТМЦ
    // Для разнообразия нажмем Enter
    Клавиши.ПослатьКлавиши("{ENTER}");
    Приостановить(1000);
    // Нажнем кнопку добавить в списке ПоступлениеТМЦ
    ВыполнитьШаг("img/btn_add.png");
    Приостановить(1000);
    // Найдем подпись контрагенты и кликнем правей, в поле ввода
    ВыполнитьШаг("img/form_title_contragent.png",,100);
    // Откроем окно выбора из списка, создадим контрагента, выберем его
    Клавиши.ПослатьКлавиши("{F4}{INSERT}{TAB}Контрагент_"+ТекущаяДата()+"^({ENTER}){ENTER}");
    // Добавим товар в табличную часть и введем количество, цену, сумму
    Клавиши.ПослатьКлавиши("{TAB}{INSERT}товар1{ENTER}10{ENTER}1{ENTER}10{ENTER}");
    Приостановить(1000);
    // На панели документа нажмем Ок (скрин всей панели, снова делаем сдвиг курсора)
    ВыполнитьШаг("img/panel_doc_buttons.png",,-50);

КонецПроцедуры

Процедура СформироватьОтчетОстаткиТМЦ()

    // меню Операции
    ВыполнитьШаг("img/menu_operations.png");
    Приостановить(1000);
    ВыполнитьШаг("img/menu_reports.png");
    Приостановить(1000);
    Мышь.УстановитьПозициюКурсора(0, 0);
    Приостановить(300);
    ВыполнитьШаг("img/btn_big_ok.png");
    Приостановить(1000);
    ВыполнитьШаг("img/btn_report_run.png");
    Приостановить(1000);
    Мышь.УстановитьПозициюКурсора(0, 0);
    Приостановить(1000);
    ПутьКФрагменту = Новый Файл("img/report_after_receipt.png").ПолноеИмя;
    ФрагментРезультатОтчета = Экран.НайтиФрагмент(ПутьКФрагменту);

    Если ФрагментРезультатОтчета = Неопределено Тогда
        ВызватьИсключение "Ожидаемый фрагмент с результатом отчета не найден.";
    КонецЕсли;

КонецПроцедуры

Процедура ВыполнитьШаг(ИмяФайлаФрагмента, ДвойнойКлик = Ложь, СмещениеЛево = 0, СмещениеВерх = 0)

    ПутьКФрагменту = Новый Файл(ИмяФайлаФрагмента).ПолноеИмя;
    Фрагмент = Экран.НайтиФрагмент(ПутьКФрагменту);

    Если Фрагмент = Неопределено Тогда
        ВызватьИсключение "Не найден фрагмент: " + ИмяФайлаФрагмента;
    КонецЕсли;

    Координаты = КоординатыЦентра(Фрагмент);

    Если ДвойнойКлик Тогда
        Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
        Приостановить(50);
        Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
    Иначе
        Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
    КонецЕсли;

КонецПроцедуры

Функция КоординатыЦентра(Фрагмент)
    
    Лево = Фрагмент.Лево + (Фрагмент.Ширина / 2);
    Верх = Фрагмент.Верх + (Фрагмент.Высота / 2);

    Координаты = Новый Структура();
    Координаты.Вставить("Лево", Лево);
    Координаты.Вставить("Верх", Верх);

    Возврат Координаты;

КонецФункции

Установка

Скачать архив здесь: https://github.com/ret-Phoenix/WinExt/releases

Выполнить команду: `opm install WinExt.ospx`

* Укажите свой путь до файла WinExt.ospx 

Позже будет доступна установка через OneScript OPM без предварительной скачки.

Возможности ВК:

Экран / Sreen

Методы

РазрешениеЭкрана / ScreenResolution()

Получить разрешение экрана

Параметры

  • SreenNumber: Число - Номер экрана, если ничего не задано - берет основной экран

Возвращаемое значение

ФиксированнаяСтруктура (Ширина, Высота)

НайтиФрагмент / FindFragment()

Найти на экране фрагмент из файла

Параметры

  • fragmentFileName: Путь к файлу с искомым фрагментом

Возвращаемое значение

ФрагментЭкрана

ФрагментЭкрана / ScreenFragment

Свойства

Верх / Top

Доступ: Чтение

Лево / Left

Доступ: Чтение

Высота / Height

Доступ: Чтение

Ширина / Width

Доступ: Чтение

РаботаСОкнами / WorkWithWindows

Методы

ЗапомнитьТекущееОкно / GetLinkToCurWindow()

АктивироватьЗапомненноеОкно / WndActivate()

АктивироватьОкноПоЗаголовку / SwitchToWinByTitle()

Мышь / Mouse

Управление мышкой. Установить/Считать позицию. Кликнуть кнопкой.

Методы

ЛеваяКнопкаКлик / LeftMouseClick()

ПраваяКнопкаКлик / RightMouseClick()

СредняяКнопкаКлик / MiddleMouseClick()

УстановитьПозициюКурсора / SetCursorPosition()

Установить позицию курсора

Параметры

  • posX: Позиция X

  • posY: Позиция Y

Возвращаемое значение

Булево - Удалось установить позицию курсора

ПолучитьПозициюКурсора / GetCursorPosition()

Получить позицию курсора

Возвращаемое значение

Структура - Ключи: Верх, Лево

МСПослатьКлавиши / MSSendKeys

Класс для отправки нажатий клавиш, основан на родном .net SendKeys.

Методы

ПослатьКлавиши / SendKeys()

Послать нажатия клавиш. Правила: https://docs.microsoft.com/ru-ru/dotnet/api/system.windows.forms.sendkeys?view=netframework-4.7

Параметры

  • keys: Строка - набор клавиш

ПослатьCtrlG / SendCtrlG()

ПослатьCtrlF / SendCtrlF()

ПослатьCtrlA / SendCtrlA()

ПослатьCtrlO / SendCtrl0()

ПослатьCtrlQ / SendCtrlQ()

ПослатьCtrlT / SendCtrlT()

ПослатьКвадратнуюСкобкуЛевую / SendCtrlSquareBracketLeft()

ПослатьКвадратнуюСкобкуПравую / SendCtrlSquareBracketRight()

ПослатьКонтролИнсерт / SendCtrlInsert()

РаботаСТекстом / WorkWithText

Методы

ПолучитьТекстПоля / GetModuleText()

ЗапомнитьТекущееОкно / GetLinkToCurWindow()

АктивироватьЗапомненноеОкно / WndActivate()

См. также

Особенности национального Workflow: Github Actions и OneScript

Групповая разработка (Git, хранилище) OneScript Бесплатно (free)

Сегодня мы посмотрим на Github Actions - встроенный инструментарий Github для автоматизации рабочих процессов. Разберем, что это такое, зачем и причем тут OneScript.

25.03.2024    1216    bayselonarrend    3    

37

TCP прокси-сервер хранилища конфигурации 1С

DevOps и автоматизация разработки Групповая разработка (Git, хранилище) OneScript Платформа 1С v8.3 Бесплатно (free)

Продолжение истории с прокси хранилища, но уже не на HTTP, а на TCP и без падений по памяти веб-сервера. Проверяем комментарии хранилища, вызываем веб-хуки, старты пайплайнов, gitsync по событию помещения версии в хранилище. И все это полностью на знакомом и понятном OneScript.

17.01.2024    2784    kamisov    17    

57

Что такое ОСень? Или как лучшие практики из мира Java прижились в экосистеме OneScript

OneScript Бесплатно (free)

Думаете, на OneScript неудобно создавать сложные инфраструктурные приложения? Ошибаетесь. Благодаря фреймворку ОСень за последний год экосистема библиотек, упрощающих написание собственных приложений, существенно выросла. Расскажем о самых передовых технологиях OneScript. Спойлер: будет много рефлексии, мета-аннотаций, желудей, напильников и дубов с завязями.

21.11.2023    3121    NikitaIvanchenko    16    

46

Библиотека создания клиент-серверных приложений для сценарного языка OneScript

Инструментарий разработчика Работа с интерфейсом OneScript Россия Бесплатно (free)

Представленная библиотека позволяет создать многопоточный TCP сервер, к которому может одновременно подключиться множество TCP клиентов с удаленных компьютеров. Эти клиенты могут вызывать методы скриптов как на сервере, так и на других клиентах. Методы будут выполнены в контексте скрипта на удаленной машине. Возможна передача параметров в метод и получение результата. Для TCP клиента можно создать графический интерфейс с большим набором элементов управления, модальными диалоговыми окнами и с обработкой событий.

31.07.2023    2019    ahyahy    8    

32

Получаем статистику по git-репозиторию в разрезе разработчиков

DevOps и автоматизация разработки Групповая разработка (Git, хранилище) OneScript Бесплатно (free)

Итак! Представим, что наступил момент, когда разработка через исходный код реализована на предприятии в полном объеме. Мы разрабатываем в EDT или конфигураторе (но выгружаем конфигурацию в исходный код), версионируем внешние отчеты и обработки и расширения, собираем релизы, проверяем код статическим анализом, в разработке царит гармония и мир. Красота! Но менеджерам этого мало, всегда хочется чего-то еще, и вот мне прилетает задача - дай статистику по вкладу в код каждого разработчика.

13.03.2023    3628    ardn    3    

27

Прокси хранилища 1С (IIS, OneScript)

Групповая разработка (Git, хранилище) OneScript DevOps и автоматизация разработки Платформа 1С v8.3 Россия Бесплатно (free)

Избавляемся от версионной зависимости, проверяем комментарии, вызываем веб-хуки, делаем красивые пути. И все это на привычном IIS и понятном OneScript.

08.12.2022    8046    kamisov    57    

95

OneScript на страже порядка на сервере тестовых баз данных

Администрирование СУБД OneScript Бесплатно (free)

Наводим порядок на сервере тестовых баз с помощью любимого инструмента - OneScript. Находим заброшенные базы на сервере MS SQL, определяем кандидатов на удаление.

14.06.2022    4255    ardn    23    

37

Идем в Serverless с кодом 1С

Облачные сервисы, хостинг OneScript Россия Абонемент ($m)

Запускаем код OneScript в Serverless Container Яндекса.

1 стартмани

29.04.2022    3698    1    papami    2    

9
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Vladimir Litvinenko 2869 29.11.18 10:42 Сейчас в теме
Ого, теперь приложения на OneScript, написанные с применением c применением библиотеки GUI можно будет покрывать сценарными тестами ))

А если серьезно, то два вопроса:
- Предполагается ли кросплатформенность с применением mono или хотя бы wine?
- Будет ли на github документация? Хотелось бы более полную документацию чем по https://github.com/ret-Phoenix/oscript-simple-gui, чтобы не приходилось в исходники смотреть для применения ))
15. ret-Phoenix 529 30.11.18 09:37 Сейчас в теме
(1) и часто приходилось лезть в исходник?
Из текущих проблем, знаю только о поиске подчиненного элемента. В остальном, как мне кажется, документация с примерами решают все.
Но я разработчик, мне многое понятно т.к. сам делал, поэтому могу что-то не замечать...
user1316148; +1 Ответить
2. ret-Phoenix 529 29.11.18 10:58 Сейчас в теме
(1)
1. Изначально ВК тестировалась как раз на OneScript GUI (лежит в тестах)
2. Кроссплатформенность - с этим проблемы, поэтому и называется WinExt, т.е. упор на Windows.
Например работа с мышкой и хоткеи - работа через WinAPI, как себя поведет на Wine я не знаю.
Работу под Mono не проверял, по идее класс Экран должен работать, что-то из управления мышкой может получится сделать без WinApi.
3. Документация, на уровне API есть. остальное уже скорее howto.

По тому же GUI громадный фронт работ, по документации так же. Если есть что добавить/подправить - присылайте.

В дальнейшем планируется добавить еще алгоритмы анализа слепков, с возможностью указания какой использовать.
Vladimir Litvinenko; +1 Ответить
3. ret-Phoenix 529 29.11.18 11:25 Сейчас в теме
Кстати, есть возможность использовать плагин из 1С. Например SQL уже так используется. Не помню точно кто это делал, поищу. Как найду - будет 2 статья, но уже по работе из 1С с DLL.
4. Evil Beaver 8108 29.11.18 11:25 Сейчас в теме
5. Makushimo 160 29.11.18 13:35 Сейчас в теме
круто.
а откуда брать координаты для метода ФрагментЭкрана () ?
для тестирования 1С обычные формы еще нельзя использовать?
6. ret-Phoenix 529 29.11.18 13:41 Сейчас в теме
(5)
фрагмент экрана - это что ищем.
см. gif и см код. как раз тестирование обычных форм сделано.
12. Makushimo 160 30.11.18 06:38 Сейчас в теме
(6)то есть координаты фрагмента экрана нужно писать наугад, пока не попадешь? если например у мена нету линейки вертикальной и горизонтальной?
Например в сикули выбираешь область экрана рамкой и она сама координаты фрагмента определяет
13. ret-Phoenix 529 30.11.18 09:24 Сейчас в теме
(12) не понимаю о чем вы вообще пишите.
Читайте API и код.
ФрагментЭкрана - это искомая область, загружаемая из файла. что видно из примеров, документации.
Экран.НайтиФрагмент - ищет на основном экране изображение из ФрагментЭкрана. Если находит вернет структуру с координтами, иначе неопределено. Это видно из примера и документации.
Я ищу не по координатам, а по содержимому. Сикули кстати так же.
16. Makushimo 160 30.11.18 10:52 Сейчас в теме
(13) Закроем эту тему. Видимо мне не удастся донести свой вопрос. Закину в кладовку может найду время разобраться с этим.
пока буду по-старому Сикули использовать.
17. ret-Phoenix 529 30.11.18 11:30 Сейчас в теме
(16) Ваше право, только ФрагментЭкрана лишь возвращает координаты найденного изображения, и принимает только путь с файлом картинки которую нужно найти. Поэтому и не понимаю как писать координаты экрана фрагмента, когда они впринципе не указываются, а возвращаются. В документации и примере это четко видно:

Процедура ВыполнитьШаг(ИмяФайлаФрагмента, ДвойнойКлик = Ложь, СмещениеЛево = 0, СмещениеВерх = 0)

    // ИмяФайлаФрагмента - имя файла с изображением, которое необходимо найти на экране.
    ПутьКФрагменту = Новый Файл(ИмяФайлаФрагмента).ПолноеИмя;
    // ищем изображение из файла на экране
    Фрагмент = Экран.НайтиФрагмент(ПутьКФрагменту);
    // если не нашли - Неопределено
    Если Фрагмент = Неопределено Тогда
        ВызватьИсключение "Не найден фрагмент: " + ИмяФайлаФрагмента;
    КонецЕсли;

    // Нашли, получили класс фрагмент, имеющий ряд свойств, таких как координаты, размеры.
    // Находим координаты центра изображения, для клика, т.к. в моем случае искалась кнопка чтобы кликнуть.
    Координаты = КоординатыЦентра(Фрагмент);
    // какие-то действия

КонецПроцедуры

Функция КоординатыЦентра(Фрагмент)
    
    // Фрагмент.Лево - координаты левого угла по горизонтали
    // Фрагмент.Верх - координаты левого угла по вертикали
    // Фрагмент.Ширина - ширина фрагмента, иначе говоря искомого изображения
    // Фрагмент.Высота - ширина фрагмента, иначе говоря искомого изображения

    Лево = Фрагмент.Лево + (Фрагмент.Ширина / 2);
    Верх = Фрагмент.Верх + (Фрагмент.Высота / 2);

    Координаты = Новый Структура();
    Координаты.Вставить("Лево", Лево);
    Координаты.Вставить("Верх", Верх);

    Возврат Координаты;

КонецФункции
Показать
18. Makushimo 160 30.11.18 14:23 Сейчас в теме
(17) Я, наверное невнимательно смотрел. У вас ФрагментЭкрана - это некий объект со свойствами, который возвращается методом НайтиФрагмент(). А я было подумал, что это метод ФрагментЭкрана(), который аналогично Region() в Сикули, указывает область поиска фрагмента. От этого и возник вопрос.
Ну ОК.
А есть ли у вас метод, который указывает область поиска ? или поиск фрагмента всегда идет по всему экрану?
И как устроен процесс подготовки фрагментов для сценария? Нужно заранее составить библиотеку картинок-скринов элементов интерфейса, например, в Paint ?
19. ret-Phoenix 529 30.11.18 14:37 Сейчас в теме
(18) Метода ограничивающего область поиска нет.
Подготовка фрагментов - нарезка картинок-скринов интерфейса.
Пример из исходников на github
20. Makushimo 160 30.11.18 15:36 Сейчас в теме
7. Tiger77 69 29.11.18 18:54 Сейчас в теме
Было бы неплохо добавить функцию для снятия скриншотов...
14. ret-Phoenix 529 30.11.18 09:28 Сейчас в теме
(7) добавил в задачи, это просто, сделаю в ближайшее время.
8. comol 5051 29.11.18 23:20 Сейчас в теме
Крут крут! И на шарпе наконец то и под оскрипт в исходниках... ещё в ВК обернуть заодно :).

Слушай, а можешь FindSubimage на что-нить другое заменить?

Может заюзаешь https://www.nuget.org/packages/AForge.Vision/ или https://www.nuget.org/packages/OpenCV/ ?

Уже лучше чем сикули работать будет... Точное соответствие это несколько неюзабельно.
Я себе конечно записал в личный бэклог к этой теме вернуться, но чувствую ты быстрее доберёшься...
9. ret-Phoenix 529 30.11.18 00:12 Сейчас в теме
(8) AForge, насколько помню мертв. OpenCV - что-то мелькало по нему, не разбирался.
Точность соответствия пока не регулируется, но это есть в планах.
В будущем хотел разные движки-анализаторы добавлять.
10. comol 5051 30.11.18 00:30 Сейчас в теме
(9) Да, Aforge умер, прочитал :(. Раньше помогал он, в любом случае применение то простое.
Сейчас nuget по CV самый популярный: https://www.nuget.org/packages/Accord.Imaging

Если юзать хотя бы эти движки - с целью скриптов получим лучшее что сейчас есть...
11. ret-Phoenix 529 30.11.18 00:51 Сейчас в теме
(10) еще Magic.Net есть, более известный как ImageMagic
21. 🅵🅾️🆇 522 30.11.18 19:30 Сейчас в теме
22. blackhole321 1303 02.12.18 09:52 Сейчас в теме
Сергей, зайди плз на github, посмотри форк
23. frostrester 07.12.18 07:15 Сейчас в теме
Добрый день. Подскажите, пожалуйста, по каким причинам может быть не найден фрагмент на экране? Есть какие-то условия качества/формата картинки, которую нужно использовать для поиска? Проверила все функции, все работает кроме фрагментов. Может у вас есть какие-то предположения или вы с чем-то подобным сталкивались?
27. Perfolenta 204 18.01.19 13:00 Сейчас в теме
(23) образец лучше всего делать в формате bmp с той же разрядностью цвета как у экрана, т.к. если делать в jpg, то картинка может и не совпадать из-за сжатия...
28. ret-Phoenix 529 18.01.19 16:16 Сейчас в теме
(27) PNG - вполне неплохой вариант.
У меня в тестах он используется.
29. Perfolenta 204 18.01.19 17:04 Сейчас в теме
(28) да, PNG и GIF тоже подходят, они используют сжатие без потерь, но надо следить, что бы палитра в них правильная была выбрана... особенно в GIF...
24. ret-Phoenix 529 07.12.18 10:45 Сейчас в теме
Сталкивался. Когда много шума. Скрины делал в png, программа joxi.
Для начала попробуйте запустить мои тесты. И код точно верный?
25. frostrester 09.12.18 11:35 Сейчас в теме
Да, код верен. Так же делала скрины с помощью joxi. Буду тестировать на других картинках, посмотрю, что получится. Спасибо!
26. ret-Phoenix 529 09.12.18 15:30 Сейчас в теме
(25) Напомню, приложение не должно быть свернутым.
30. premierex 204 20.01.19 12:51 Сейчас в теме
(0)
Поиск окна по части заголовка

А в управляемых формах тоже можно дочернее окно по части заголовка найти?
Я, насколько помню, их там просто нет. Заголовков в смысле. Когда писал компоненту ActiveX контейнер для управляемого интерфейса системы 1С:Предприятие столкнулся с этой проблемой.
31. D_e_X_T_e_R 572 11.08.21 15:45 Сейчас в теме
Доброго времени.
Сделал все по примеру в публикации. Картинка png, обычные формы, но клик уходит мимо изображения, учитывая, что смещение по 0. Почему так может происходить?
Оставьте свое сообщение