OneScript - WinExt: Работа с окнами, управление мышкой и клавиатурой

0. 487 29.11.18 10:33 Сейчас в теме
Цель: Инструмент позволяющий автоматизировать управление окнами, мышкой, посылать нажатия клавиш.

Задачи:
- Поиск окна по части заголовка
- Поиск фрагмента изображения похожего на сохраненный в файле кусок.
- Возможность позиционировать курсор, нажимать кнопки мышки.
- Возможность посылать нажатия клавиш

Перейти к публикации

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Vladimir Litvinenko 29.11.18 10:42 Сейчас в теме
Ого, теперь приложения на OneScript, написанные с применением c применением библиотеки GUI можно будет покрывать сценарными тестами ))

А если серьезно, то два вопроса:
- Предполагается ли кросплатформенность с применением mono или хотя бы wine?
- Будет ли на github документация? Хотелось бы более полную документацию чем по https://github.com/ret-Phoenix/oscript-simple-gui, чтобы не приходилось в исходники смотреть для применения ))
15. ret-Phoenix 487 30.11.18 09:37 Сейчас в теме
(1) и часто приходилось лезть в исходник?
Из текущих проблем, знаю только о поиске подчиненного элемента. В остальном, как мне кажется, документация с примерами решают все.
Но я разработчик, мне многое понятно т.к. сам делал, поэтому могу что-то не замечать...
2. ret-Phoenix 487 29.11.18 10:58 Сейчас в теме
(1)
1. Изначально ВК тестировалась как раз на OneScript GUI (лежит в тестах)
2. Кроссплатформенность - с этим проблемы, поэтому и называется WinExt, т.е. упор на Windows.
Например работа с мышкой и хоткеи - работа через WinAPI, как себя поведет на Wine я не знаю.
Работу под Mono не проверял, по идее класс Экран должен работать, что-то из управления мышкой может получится сделать без WinApi.
3. Документация, на уровне API есть. остальное уже скорее howto.

По тому же GUI громадный фронт работ, по документации так же. Если есть что добавить/подправить - присылайте.

В дальнейшем планируется добавить еще алгоритмы анализа слепков, с возможностью указания какой использовать.
Vladimir Litvinenko; +1 Ответить
3. ret-Phoenix 487 29.11.18 11:25 Сейчас в теме
Кстати, есть возможность использовать плагин из 1С. Например SQL уже так используется. Не помню точно кто это делал, поищу. Как найду - будет 2 статья, но уже по работе из 1С с DLL.
4. Evil Beaver 6892 29.11.18 11:25 Сейчас в теме
5. Makushimo 157 29.11.18 13:35 Сейчас в теме
круто.
а откуда брать координаты для метода ФрагментЭкрана () ?
для тестирования 1С обычные формы еще нельзя использовать?
6. ret-Phoenix 487 29.11.18 13:41 Сейчас в теме
(5)
фрагмент экрана - это что ищем.
см. gif и см код. как раз тестирование обычных форм сделано.
12. Makushimo 157 30.11.18 06:38 Сейчас в теме
(6)то есть координаты фрагмента экрана нужно писать наугад, пока не попадешь? если например у мена нету линейки вертикальной и горизонтальной?
Например в сикули выбираешь область экрана рамкой и она сама координаты фрагмента определяет
13. ret-Phoenix 487 30.11.18 09:24 Сейчас в теме
(12) не понимаю о чем вы вообще пишите.
Читайте API и код.
ФрагментЭкрана - это искомая область, загружаемая из файла. что видно из примеров, документации.
Экран.НайтиФрагмент - ищет на основном экране изображение из ФрагментЭкрана. Если находит вернет структуру с координтами, иначе неопределено. Это видно из примера и документации.
Я ищу не по координатам, а по содержимому. Сикули кстати так же.
16. Makushimo 157 30.11.18 10:52 Сейчас в теме
(13) Закроем эту тему. Видимо мне не удастся донести свой вопрос. Закину в кладовку может найду время разобраться с этим.
пока буду по-старому Сикули использовать.
17. ret-Phoenix 487 30.11.18 11:30 Сейчас в теме
(16) Ваше право, только ФрагментЭкрана лишь возвращает координаты найденного изображения, и принимает только путь с файлом картинки которую нужно найти. Поэтому и не понимаю как писать координаты экрана фрагмента, когда они впринципе не указываются, а возвращаются. В документации и примере это четко видно:

Процедура ВыполнитьШаг(ИмяФайлаФрагмента, ДвойнойКлик = Ложь, СмещениеЛево = 0, СмещениеВерх = 0)

    // ИмяФайлаФрагмента - имя файла с изображением, которое необходимо найти на экране.
    ПутьКФрагменту = Новый Файл(ИмяФайлаФрагмента).ПолноеИмя;
    // ищем изображение из файла на экране
    Фрагмент = Экран.НайтиФрагмент(ПутьКФрагменту);
    // если не нашли - Неопределено
    Если Фрагмент = Неопределено Тогда
        ВызватьИсключение "Не найден фрагмент: " + ИмяФайлаФрагмента;
    КонецЕсли;

    // Нашли, получили класс фрагмент, имеющий ряд свойств, таких как координаты, размеры.
    // Находим координаты центра изображения, для клика, т.к. в моем случае искалась кнопка чтобы кликнуть.
    Координаты = КоординатыЦентра(Фрагмент);
    // какие-то действия

КонецПроцедуры

Функция КоординатыЦентра(Фрагмент)
    
    // Фрагмент.Лево - координаты левого угла по горизонтали
    // Фрагмент.Верх - координаты левого угла по вертикали
    // Фрагмент.Ширина - ширина фрагмента, иначе говоря искомого изображения
    // Фрагмент.Высота - ширина фрагмента, иначе говоря искомого изображения

    Лево = Фрагмент.Лево + (Фрагмент.Ширина / 2);
    Верх = Фрагмент.Верх + (Фрагмент.Высота / 2);

    Координаты = Новый Структура();
    Координаты.Вставить("Лево", Лево);
    Координаты.Вставить("Верх", Верх);

    Возврат Координаты;

КонецФункции
Показать
18. Makushimo 157 30.11.18 14:23 Сейчас в теме
(17) Я, наверное невнимательно смотрел. У вас ФрагментЭкрана - это некий объект со свойствами, который возвращается методом НайтиФрагмент(). А я было подумал, что это метод ФрагментЭкрана(), который аналогично Region() в Сикули, указывает область поиска фрагмента. От этого и возник вопрос.
Ну ОК.
А есть ли у вас метод, который указывает область поиска ? или поиск фрагмента всегда идет по всему экрану?
И как устроен процесс подготовки фрагментов для сценария? Нужно заранее составить библиотеку картинок-скринов элементов интерфейса, например, в Paint ?
19. ret-Phoenix 487 30.11.18 14:37 Сейчас в теме
(18) Метода ограничивающего область поиска нет.
Подготовка фрагментов - нарезка картинок-скринов интерфейса.
Пример из исходников на github
20. Makushimo 157 30.11.18 15:36 Сейчас в теме
7. Tiger77 69 29.11.18 18:54 Сейчас в теме
Было бы неплохо добавить функцию для снятия скриншотов...
14. ret-Phoenix 487 30.11.18 09:28 Сейчас в теме
(7) добавил в задачи, это просто, сделаю в ближайшее время.
8. comol 4384 29.11.18 23:20 Сейчас в теме
Крут крут! И на шарпе наконец то и под оскрипт в исходниках... ещё в ВК обернуть заодно :).

Слушай, а можешь FindSubimage на что-нить другое заменить?

Может заюзаешь https://www.nuget.org/packages/AForge.Vision/ или https://www.nuget.org/packages/OpenCV/ ?

Уже лучше чем сикули работать будет... Точное соответствие это несколько неюзабельно.
Я себе конечно записал в личный бэклог к этой теме вернуться, но чувствую ты быстрее доберёшься...
9. ret-Phoenix 487 30.11.18 00:12 Сейчас в теме
(8) AForge, насколько помню мертв. OpenCV - что-то мелькало по нему, не разбирался.
Точность соответствия пока не регулируется, но это есть в планах.
В будущем хотел разные движки-анализаторы добавлять.
10. comol 4384 30.11.18 00:30 Сейчас в теме
(9) Да, Aforge умер, прочитал :(. Раньше помогал он, в любом случае применение то простое.
Сейчас nuget по CV самый популярный: https://www.nuget.org/packages/Accord.Imaging

Если юзать хотя бы эти движки - с целью скриптов получим лучшее что сейчас есть...
11. ret-Phoenix 487 30.11.18 00:51 Сейчас в теме
(10) еще Magic.Net есть, более известный как ImageMagic
21. 🅵🅾️🆇 474 30.11.18 19:30 Сейчас в теме
22. blackhole321 1190 02.12.18 09:52 Сейчас в теме
Сергей, зайди плз на github, посмотри форк
23. frostrester 07.12.18 07:15 Сейчас в теме
Добрый день. Подскажите, пожалуйста, по каким причинам может быть не найден фрагмент на экране? Есть какие-то условия качества/формата картинки, которую нужно использовать для поиска? Проверила все функции, все работает кроме фрагментов. Может у вас есть какие-то предположения или вы с чем-то подобным сталкивались?
27. Perfolenta 18.01.19 13:00 Сейчас в теме
(23) образец лучше всего делать в формате bmp с той же разрядностью цвета как у экрана, т.к. если делать в jpg, то картинка может и не совпадать из-за сжатия...
28. ret-Phoenix 487 18.01.19 16:16 Сейчас в теме
(27) PNG - вполне неплохой вариант.
У меня в тестах он используется.
29. Perfolenta 18.01.19 17:04 Сейчас в теме
(28) да, PNG и GIF тоже подходят, они используют сжатие без потерь, но надо следить, что бы палитра в них правильная была выбрана... особенно в GIF...
24. ret-Phoenix 487 07.12.18 10:45 Сейчас в теме
Сталкивался. Когда много шума. Скрины делал в png, программа joxi.
Для начала попробуйте запустить мои тесты. И код точно верный?
25. frostrester 09.12.18 11:35 Сейчас в теме
Да, код верен. Так же делала скрины с помощью joxi. Буду тестировать на других картинках, посмотрю, что получится. Спасибо!
26. ret-Phoenix 487 09.12.18 15:30 Сейчас в теме
(25) Напомню, приложение не должно быть свернутым.
30. premierex 20.01.19 12:51 Сейчас в теме
(0)
Поиск окна по части заголовка

А в управляемых формах тоже можно дочернее окно по части заголовка найти?
Я, насколько помню, их там просто нет. Заголовков в смысле. Когда писал компоненту ActiveX контейнер для управляемого интерфейса системы 1С:Предприятие столкнулся с этой проблемой.
Оставьте свое сообщение
Вопросы с вознаграждением