BrowserAutomationStudio. Создавайте автономные многопоточные приложения бесплатно и без навыков программирования.

(Ответов: 74, Просмотров: 36326)
Страница 8 из 8 Первая ... 678
  1. Дипломник Аватар для uridimus
    • Регистрация: 17.12.2011
    • Сообщений: 101
    • Репутация: 74
    Выпущена версия 22.3.0

    Изменение в данной версия касаются парсинга.

    Добавлена возможность генерировать селектор для нескольких элементов сразу. Это делается путем выбора ключевых элементов двух типов: тех, которые обязательно должны присутствовать в списке, и тех, которых там быть не должно. BAS будет пытаться угадать селектор исходя из данной информации. Каждый раз, когда список ключевых элементов будет изменяться, BAS будет обновлять селектор. Таким образом, вы можете "подогнать" результат под тот, который вам необходим постепенно увеличивая количество ключевых точек.

    Вот как это выглядит:



    Короткое видео с субтитрами: https://www.youtube.com/watch?v=PQSQmJRVKvk

    Длинное видео с озвучкой: https://www.youtube.com/watch?v=Lho2Ghd7hj8

    Создание действий, которые выполняются для каждого элемента цикла стало возможно с использованием нового диалога. Он автоматически появляется если место для вставки действия находится внутри цикла. Новый метод более интуитивно понятен, чем отдельное подменю, которое использовалось ранее.



    Клик по количеству найденных элементов приводит к фокусировке следующего элемента. Таким образом, последовательно кликая по этой ссылке можно обойти все найденные элементы.



    Добавлен механизм для поиска элементов находящихся рядом, либо перекрывающих друг друга. Нажимая на стрелки вверх / вниз на клавиатуре можно перебрать абсолютно все элементы находящиеся под курсором. Клавиша Enter - выбор элемента.



    Также была добавлена информация о теге выбранного элемента, классах и идентификаторе если они есть. Как это выглядит вы можете видеть на предыдущем видео.

    Добавлено умное действие для парсинга ссылок "Получить адрес ссылки".


    Мелкие исправления и улучшения:

    • Исправлены проблемы при работе цикла по элементам внутри цикла по элементам.
    • Исправлены проблемы при запуске функции рекурсивно из действия if.
    • Исправлено зависание скрипта, когда количество потоков установлено в 0.
    • Новая стартовая страница.
    • ХТТП клиент может отправлять несколько заголовков одновременно.
    • Отключен автофокус при переходе в режим ручного управления.
    • 0
  2. Дипломник Аватар для uridimus
    • Регистрация: 17.12.2011
    • Сообщений: 101
    • Репутация: 74
    Выпущена версия 22.4.0

    Данная версия содержит три довольно больших изменения.

    Оптимизация скорости работы редактора сценария.

    Некоторые пользователи работают с большими проектами, которые содержат десятки тысяч действий. Раньше отзывчивость интерфейса в таких больших проектах терялась. После обновления, время выполнения любых задач, будь то удаление, копирование действий, создание новых или любых других значительно уменьшилось.

    Чтобы достичь этого, интерфейс редактора сценария был частично переписан, было внесено больше 20 больших изменений, вот некоторые из них:

    1) BAS перерисовывает только те действия, которые были изменены.
    2) Добавлено несколько уровней кеша для генерации кода функции. Теперь как код для целых участков скрипта, так и отдельных действий может быть использован повторно.
    3) Оптимизирована система отправки сообщения об изменениях в проекте.

    Вот время требуемое на удаление одного действия в проекте размером около 10 мб до обновления:



    И после:



    В случае если количество действий в одной функции больше тысячи, все-таки возможны подвисания. Тогда рекомендуется перенести часть действий в другие функции. Это связано с тем, что браузеру трудно перерисовывать столько элементов. Данную проблему можно решить показывая только видимые действия, и динамически загружая/удаляя остальные. Планируется реализовать это в будущем.

    Оптимизация работы системы ресурсов.

    BAS избавился от долгих загрузок проектов с большим количеством ресурсов. На самом деле, время загрузки теперь не зависит от их количества и происходит практически мгновенно.

    Чтобы достичь этого пришлось переписать некоторые компоненты системы ресурсов. Теперь вместо настоящих элементов интерфейса создаются виртуальные, а настоящие создаются только тогда, когда это нужно.

    Время запуска проектов тоже значительно сократилось, но сделать его мгновенным к сожалению не получилось. Это связано с тем, что при запуске все-таки нужно рисовать какое-то количество контролов.

    Совместимость с сервисами от Google.

    В последнее время при попытке входа в Gmail аккаунт, сайт выдавал сообщение о необходимости смены браузера. И хотя это можно было обойти сменив юзер агент на отличный от хрома, все-таки хотелось иметь более подходящее решение. Сейчас это исправлено. Изменения также касаются регистрации аккаунтов. Например, аккаунт на видео был зарегистрирован именно через BAS.



    Для того, чтобы достичь этого пришлось разобрать антибот защиту от Google. В рамках этой задачи был:

    1) Составлен список методов для верификации подлинности браузера используемый сайтом на стороне клиента.
    2) Созданы утилиты для обновления этого списка. Это позволит быстро адаптироваться если список методов будет пополняться.

    Изменения касаются не только сервисов гугл, но могут и позитивно сказаться на работу с другими сайтами.

    Версия FingerprintManager также была обновлена.
    • 0
  3. Дипломник Аватар для uridimus
    • Регистрация: 17.12.2011
    • Сообщений: 101
    • Репутация: 74
    Выпущена версия 22.5.0


    Асинхронный вызов функций


    Добавлен новый модуль 'Асинхронный вызов функции', он позволяет начать выполнение функции в отдельном потоке, дождаться результатов или остановить его при необходимости.



    Фактически, с помощью него вы можете динамически управлять потоками. Модуль имеет множество возможностей таких как: ограничение на максимальное число запущенных потоков, очередь ожидания, экономный запуск функций в старых потоках, ограничение времени выполнения. Один из часто задаваемых вопросов пользователей: "Как сделать столько потоков, сколько строк в файле?" теперь может быть решен просто и быстро:



    Больше информации вы можете найти в документации к модулю или в данном видео




    Вызов функций BAS из других языков программирования

    Новая версия позволяет вызывать функции BAS из других языков программирования. Для этого мы готовим библиотеки для C#, Node.js и Python. В данный момент реализована только версия для C#. Название библиотеки BASRemote.NET. Ее можно найти по ссылке, там же можно найти инструкции по установке, использованию, а также вики с примерами

    https://github.com/CheshireCaat/BASRemote.NET

    Данное нововведение позволяет писать приложения на вашем любимом языке программирования, при этом использовать BAS для взаимодействия с браузером. Например, на этом видео показан процесс создания парсера инстаграм, интерфейс реализован на C# с использованием WinForms, а работа с браузером, парсинг, загрузка файлов - через BAS.



    Процесс создания вы можете найти на видео:

    https://www.youtube.com/watch?v=-YYySZtR--g

    Следует также понимать, что это нововведение позволяет запускать код BAS из С#, но не код C# из BAS.


    Улучшенное взаимодействие с браузером в режиме ручного управления

    Работа в режиме ручного управления стала гораздо удобнее, многие вещи гораздо упростят работу с браузером через BAS. Вот список нововведений:

    * Добавлено контекстное меню для браузера



    * Возможность открывать инструменты разработчика и смотреть код страницы.



    * Интегрирован поиск в гугл





    * Поиск текста на странице



    * Увеличена отзывчивость браузера.

    * Реализована скачивание файлов через браузер.

    * Подсветка текущей вкладки.


    Улучшена работа с вкладками

    Взаимодействие BAS с вкладками также подверглось изменениям:

    * Переработан механизм открытия новой вкладки. Теперь вкладки создаются даже при ошибке загрузки страницы, исправлены другие проблемы.

    * Отложенный запуск новых вкладок. Данный параметр позволяет создать сразу множество вкладок, не загружая при этом страниц. Страница будет загружена при первой активации конкретной вкладки.

    * Добавлено новое действие 'Получить информацию о вкладках'.

    * Добавлено новое апи для получения списка вкладок из веб интерфейса https://wiki.bablosoft.com/web-inter...method-gettabs

    * Исправлена проблема с открытием вкладки из страницы без js контекста, например, из страницы, которая состоит только из изображения.

    * Клик с зажатой клавишей Ctrl открывает новую вкладку.

    * Добавлен новый параметр 'Зажать клавишу ctrl' для клика мышью.


    Другие изменения

    Новое действие "Получить все элементы кэша" позволяет получать весь список запросов и ответов от сервера добавленных в кеш. Сюда входят: статус HTTP запроса, заголовки запроса, заголовки ответа, тело запроса, url, post данные.

    Тихая установка планировщика. Этот метод необходимо вызывать перед тем, как начинать работать с планировщиком из веб интерфейса https://wiki.bablosoft.com/web-inter...gwithscheduler

    Добавлен JSON модуль.

    Реализован механизм, при котором код модуля может игнорироваться в режиме запуска если модуль не используется в проекте. Раньше этот механизм был доступен только для кастомных модулей.

    Перемещение курсора за пределы страницы теперь доступно в том случае, если страница прокручена вниз.


    Исправление ошибок

    Исправлены проблемы с установкой языков для прокси с языком en-GB.
    Оптимизация сохранения/загрузки cookies.
    Исправлено открытия менеджера базы данных из веб интерфейса.
    Улучшен поиск элементов во фреймах.
    Исправлена невозможность удалить параметр функции.
    Исправлено изменение шрифтов в модуле обработки изображений.
    Метод OpenUrl в веб интерфейсе теперь поддерживает аргументы командной строки.
    • 0
  4. Дипломник Аватар для uridimus
    • Регистрация: 17.12.2011
    • Сообщений: 101
    • Репутация: 74
    Выпущена версия 22.6.0

    В этом апдейте версия браузера была обновлена до 79.0.3945.130.



    Большинство времени было потрачено на то, чтобы адаптировать BAS для работы с новой версией браузера.

    Среди других изменений можно отметить:

    • Улучшена работа со вкладками.
    • Некоторые факторы отпечатка не применялись в serviceWorker.
    • Исправлены ошибки работы скрипта, которые начинаются с действия "Выполнить код" с определением функции.
    • Оптимизации запуска скрипта, который содержит множество функций. 200+
    • Добавлена валидация при работе с метками. Метки, которые содержали запятую, могли приводить к некорректной работе.
    • Исправлены падения связанные с с++ модулями BAS и перезапуском скриптов.
    • Между 78 и 79 версией Chrome были добавлены некоторые изменения, которые могли повредить анонимности. В браузер был добавлен патч, чтобы это исправить.
    • Исправил эмуляцию функций toLocaleString, toLocaleDateString и toLocaleTimeString. Теперь, без аргументов они выдают значения согласно локали и часовому поясу установленному в прокси.
    • Новая версия CEF поддерживает сохранение cookies в профиль по требованию. Добавлено их сохранение в случае закрытия браузера. Это поможет избежать потери данных при сохранении профиля.

    Дальнейшее развитие проекта.

    В данный момент начата работа над технологией PerfectCanvas. С помощью нее можно будет получать точные результаты canvas из реальных устройств.

    После этого будет добавлена поддержка touch событий. Соответствующий функционал стал доступен после обновления браузера, но досконально я его еще не изучал.

    Все следующие 6 месяцев будут посвящены обновлениям касающихся анонимности.
    • 0
  5. Дипломник Аватар для uridimus
    • Регистрация: 17.12.2011
    • Сообщений: 101
    • Репутация: 74
    Выпущена версия 22.8.1

    Основное изменение в данном релизе - новая технология PerfectCanvas. Она позволяет обойти даже самые сложные антибот системы основанные на анализе изображения. Идея заключается в следующем:

    • Отрисовать canvas на удаленной машине.
    • Отправить данные canvas на ваш компьютер.
    • Заменить данные внутри вашего браузера.
    Данные canvas будут абсолютно идентичны тем, которые получены из реального устройства. Это включает в себя не только значения пикселей, но также настройки формата изображения, уровень сжатия, параметры экспорта изображения и т. д.

    Более подробно ознакомиться с описанием технологии можно по ссылке.

    О том, как начать использовать.

    Результаты тестов:

    Через сайт https://browserleaks.com/canvas

    FirefoxCanvas.mp4

    Обратите внимание на надпись "it's very likely that your web browser is Firefox and your operating system is Windows.", название браузера получается не из юзер агента, а после анализа изображения. Отпечаток с Firefox был выбран специально, чтобы увидеть, что замена действительно работает. Напоминаю, что BAS основан на Chromе.

    Регистрация Gmail.

    GmailSignup.mp4

    Первая половина видео - регистрация без PerfectCanvas, вторая вместе с PerfectCanvas. На надпись вначале видео влияют не только результаты тестирования canvas, но и прокси, телефон и многое другое.

    Также эта версия содержит множество фиксов:

    • Улучшена производительность браузера.
    • Исправлены проблемы с tiktok.com
    • Замена свойств WebGL2. Будет работать после накопления базы.

    И многое другое.

    Сервис еще находится в бете, поэтому возможны баги с включенным PerfectCanvas.
    • 0
Страница 8 из 8 Первая ... 678

Похожие темы

Темы Раздел Ответов Последний пост
Создавайте и администрируйте сайты для госучреждений, Проконсультирую :)
Другая работа 14 31.07.2016 13:55
Бесплатно создам прототип для сайта / прототип для мобильного приложения (AXURE).
Web программирование 6 03.05.2014 03:44
Заработок на ANDROID! Возможно ли без навыков программирования?
Вопросы от новичков 25 21.01.2013 15:34
[Палю тему] Качаем приложения с appstore БЕСПЛАТНО!
Прочее 2 20.11.2012 19:27

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры