[uridimus]

Уважаемые пользователи!

Мы рады представить эксклюзивную акцию для обладателей Премиум версии:
теперь вы можете получить персональную скидку на XRumer Стандарт + XEvil в размере -$150.

Как многие уже знают, программа XEvil существенно дополняет возможности BrowserAutomationStudio:
программа способна распознавать свыше 8400 различных типов капчи, включая такие популярные,
как РеКапча-1, Яндекс-капча, VK-капча, Google-капча, BING (Hotmail) капча, и тысячи других.
Также открыт предзаказ на модуль распознавания РеКапчи-2, разработка близится к завершению.

Пример использования связки BAS + XEvil:
https://www.youtube.com/watch?v=-owWgjxhEhI

Бесплатная демо-версия XEvil доступна по адресу:
http://xevil.net/

Для получения скидки $150 (экономия почти 50% стоимости!) скопируйте специальный скидочный купон
из персонального кабинета, и сообщите его при покупке XRumer + XEvil.

Акция ограничена, и продлится вплоть до 1 января 2018-го года.

Желаем удачи! :)

[uridimus]

Добавлена поддержка node.js и npm модулей.

Теперь вы можете писать скрипт полностью на node.js, либо решать с помощью ноды только отдельные задачи.

Вот как это выглядит:





Что реализовано?

• Вызов БАС апи из node.js(включая управление браузером).
• Использование переменных BAS в контексте node.js.
• Многопоточность.
• Разделение кода на файлы и повторное использование.
• Интеграция с console.log и с механизмом исключений в node.js.
• Таймауты.
• Работа в скомпилированном скрипте.

Обучающее видео по новому функционалу.



05:33 - Криптография, вычисление хешей.
11:06 - Загрузка данных из таблицы excel.
21:33 - Работа с mysql.
35:52 - Постинг на facebook через апи.
38:34 - Работа с фтп.
44:28 - Скачивание видео с ютуб.
47:55 - Работа с браузером через node.js.
51:02 - Менеджер проекта.

[uridimus]

Приветствую!

Со времени последнего поста было несколько апдейтов.
Вот неполный список:



Обновление сетевого стека.

Все сетевые запросы раньше работали через curl, и с этим решением были некоторые проблемы.
Сейчас используется проксификация, принцип работы тот же, что и в proxifier - абсолютно все запросы процесса отравляются через прокси.



Доработан хттп клиент.

Во первых, есть специальный режим "Захват HTTP запросов".
Это позволяет превратить бота на браузере в бота на хттп клиенте в полуавтоматическом режиме.
БАС автоматом создаст список действий с хттп запросами, аналогичный тому, что происходит в браузере,
но их возможно придется править в ручном режиме.
Во вторых, добавлено окно, в котором отображаются все хттп запросы и ответы от сервера.
Очень полезно для отладки кода.
В третьих, действия GET и POST могут задавать "локальные" заголовки прямо в действиях, чем активно пользуется новый режим.



Плавный запуск

Новый функционал "плавный запуск" ограничивает нагрузку на систему в многопоточном режиме.
Эта опция настраиваемая - можно изменять как количество одновременно запускаемых браузеров,
так и количество памяти и максимальную нагрузку на процессор.
Работает только для самой ресурсоемкой задачи - запуска браузера.



Обновление функциональности софта.

Новый модуль для работы с датой с умным определением формата.
Модуль для работы с буфером обмена.
Обновление для регулярок: появилась поддержка negative lookahead, групп, совместимость с другим софтом.
Удаление писем, поиск по полю получателя письма.



Лог стал более информативным.

Например, если раньше, при отсутствии элемента на странице могло сложиться впечатление, что софт "завис",
то сейчас в лог будет выводиться сообщение об ожидании.
Также, его можно фильтровать по номеру потока, важности сообщения и по тексту сообщения.
Ошибки синтаксиса выдают id действия.

[akron]

Скажите, а может скомпилированый проект работать без доступа к интернету? И как это можно реализовать?
В настоящий момент скомпилированная часть пытается скачать файл из интернета, можно этого как то избежать, например разместив этот файл сразу где то на компьютере?

[uridimus]

akron, Да, можно, если передавать софт после первого запуска.

---------- Сообщение добавлено 12:37 ---------- Предыдущее 12:27 ----------

Вышла версия 20.8.5.
Основное изменение в новой версии - это возможность запускать скрипты БАС через менеджер браузерных профайлов Multilogin.
Было анонсировано еще две фичи. Интерактивная документация и конструктор интерфейса. Первое завершено частично, а второе, к сожалению, не войдет в данный релиз.

Описание
Multilogin - это софт для реалистичной эмуляции отпечатка браузера. В отличии от других решений, смена отпечатка происходит не с помощью внедрения скриптов на страницу, а через изменение кода браузера. Легких способов обнаружения такой замены со стороны сайта не существует. Поэтому при грамотном использовании Multilogin увеличит время жизни ваших ботов и эффективность скриптов.

Список возможностей
На сегодняшний день реализовано множество фич по управлению профилями:

• Клики мышью, ввод текста.
• Человекоподобные движения мыши.
• Все действия над элементами: получение координат, скриншоты, получение стилей, итд.
• Селекторы БАС.
• Работа с фреймами.
• Решение обычной капчи и рекапчи всеми возможными способами.
• Получение результатов запросов(кэш), запрет запросов, изменения заголовков.
• Получение и изменение куков.
• Перетягивание, клики по координатам.
• Ожидание полной загрузки.
• Внедрение скриптов на страницу.

Появились настройки браузера, которые работают только с браузером Multilogin. Это расширения Chrome, изменение адреса WebRTC, маскировка canvas и webgl и другое.
Команда Multilogin сейчас работает над новым методом смены отпечатка Canvas и WebGL обнаружить который будет очень сложно.
Как только эти фичи появятся в Multilogin, они станут доступны для автоматизации через БАС.

Отдельно хочется отметить новый модуль для работы с профилями. Ранее в Multilogin все профили хранилсь исключительно в облаке. Однако, специально для пользователей BAS была проведена отвязка профилей от облака. Теперь BAS может хранить профили из Multilogin локально. Если использовать его вместе с подпиской Multilogin, которая включает синхронизируемые профили, то можно легко конвертировать оффлайн профиль BAS в онлайн профиль Multilogin. После этого такой профиль можно легко передать на другой компьютер или поделиться внутри Multilogin с другим аккаунтом.



Тестирование
Поскольку объем нововведений очень большой и на тесты было относительно мало времени, при автоматизации браузера все еще могут возникать баги. Несколько функций по различным причинам пришлось перенести в следующий блок работ. Просим отнестись к данному факту с пониманием и присоединиться к тестированию новой версии. На время тестирования вы получаете бесплатную подписку, в которой установлены достаточные для тестирования лимиты.

Также хотим отметить, что баги могут содержаться и в механизме передачи и инжекта браузерного финегпринта. По этой причине в ходе теста мы просим не использовать представляющие для вас высокую ценность аккаунты. Если в ходе тестирования будут обнаружены какие-либо проблемы по этой части или по функционалу, обещаем их оперативно устранять.

Статус интеграции можно проверить вот в этой таблице:
https://docs.google.com/spreadsheets...it?usp=sharing


Как начать работу
Чтобы присоединиться к тестированию нужно отправить заявку на адрес support@multiloginapp.com
В заголовке письма обязательно указать "BAS BETA", а в теле письма свой регистрационный аккаунт в Multilogin.
Multilogin поддерживает автоматизацию с помощью BAS начиная с версии 1.4.10. Вы можете скачать софт по ссылке https://www.dropbox.com/s/h2qs92gde6...setup.exe?dl=0
Связывать BAS и Multilogin не нужно, BAS сам найдет и запустит Multilogin.


Как портировать свой скрипт
Чтобы портировать свой старый скрипт на движок Multilogin достаточно 3 кликов мышью!

• Нажать на модуль Multilogin.
• Выбрать действие "Использовать Multilogin".
• Нажать Ok.

Еще нужно проследить, чтобы это действие было добавлено до загрузки страницы, желательно самым первым.

Вы также можете поместить действие "Использовать Multilogin" в "If", а условие привязать к ресурсу, так пользователь скрипта сам сможет выбрать движок браузера при старте приложения.

Мы сделали процесс перехода максимально простым и удобным, но в тоже время и максимально настраиваемым.
Настройки браузера по умолчанию будут давать хорошие результаты: webrtc будет имитировать внешний ип прокси, шум канвас включен по умолчанию, значения user-agent
и свойства navigator будут генерироваться как у реального браузера. При желании все эти настройки можно регулировать вручную если зайти в "Продвинутые настройки".



Если Multilogin используется в качестве браузерного движка, то все действия будут работать именно c браузером Multilogin. Действие "прокси" будет устанавливать прокси для браузера Multilogin, действия "Сохранить cookies" и "Загрузить cookies" тоже будут работать с ним. Формат кук будет точно такой же как и в БАС. В очень редких случаях возможны исключения, но они незначительные.

По умолчанию профиль создается во временной папке. Он хранит в себе отпечаток браузера, cookie, localstorage итд.
Профили во временной папке периодически удаляются, но могут быть перенесены в другую папку, что позволит сохранить все данные и загрузить их потом с диска.
Вот стандартный пример использования:

Код:

Использовать Multilogin
Регистрируем аккаунт
If Аккаунт был зарегистрирован успешно
    Перенести локальный профиль в другую папку "с:/аккаунты/имя сайта/логин аккаунта"

Это позволит потом перебрать все профили в другом скрипте и не производить повторный вход в аккаунт.

Также доступны онлайн профили, и вы можете переключиться на них с помощью действия "Переключиться на онлайн профиль". Вот еще один пример использования:

Код:

Использовать Multilogin
Переключиться на онлайн профиль "Ид профиля"
Отправить сообщения в личку.

После завершения потока данные профиля автоматически сохраняются на сервер.

Если не использовать никакие действия по работе с профилем, то БАС работает с браузером Multilogin точно так же, как и без него.

Браузер Multilogin будет работать только в режиме запуска в режиме записи по прежнему работает браузер БАС. Поскольку все действия, формат селекторов и прочее портированы абсолютно идентично, проблем быть не должно. Скрипт дает точно такие же результаты и в режиме записи и запуска.


Цена
Поскольку не ясна нагрузка, которую создадут пользователи BAS, прайс на пакеты типа "Автоматизация" в Multilogin пока не выработан. Есть временный черновик прайса, который вы можете спросить по мейлу у суппорта Multilogin.

[uridimus]

Последний месяц я работаю над конструктором интерфейса.
На сегодня функционал готов на 80% и через неделю выйдет новая версия БАС, в которой премиум пользователи смогут полность менять интерфейс скомпилированных ботов.

Вот ссылка на интерфейс сгенерированный конструктором(все поля и контролы кликабельны).
https://bablosoft.com/test-interface/index.html
После апдейта вы сможете конвертировать любого бота к данному виду.

И ссылка на сам конструктор, здесь можно отредактировать внешний вид бота с помощью визульных компонент и изменить логику с помощь javascript.
https://bablosoft.com/interface-builder/index.html
По данной ссылке вы также сможете проверить как ваш бот будет смотреться с новым интерфейсом.

Ниже детальное описание будущего апдейта в виде перечисления основных особенностей:


В новой версии будет возможность запускать ботов прямо в браузере.
При запуске бота будет открываться не интерфейс БАС, как раньше, а браузер установленный у вас в системе.
В нем будет отображаться интерфейс созданный разработчиком бота.
БАС будет работать в фоновом режиме и управляться из этого браузера.
Такой подход дает множество преимуществ.

Интерфейс бота можно изменять как угодно.
Здесь вы не ограничены ничем и можете сделать все, что возможно в обычном браузере.
Вы можете добавлять сторонные библиотеки, стили и т. д, как вносить небольшие изменения, так и полность менять внешний вид бота.
Например, были запросы на смену интерфейса таким образом,
чтобы входные параметры отображались всегда, а не только на первом окне.
Теперь это возможно, и вы сами решаете как будет выглядеть ваш бот.

Логика работы бота тоже может быть изменена.
Логика работы написана на javascript и вы можете ее менять.
Например, достаточно легко добавить проверку, чтобы входное поле содержало именно почту, а не просто любую строку и
выводить свое сообщение об ошибке.
Или выводить в лог не все сообщения, а только сообщения об удачной регистрации.
Или вообще убрать лог, а выводить информацию через уведомления в браузере.

Интерфейс бота может быть сгенерирован автоматически из проекта БАС.
Вам не нужно писать интерфейс с нуля. За вас это сделает конструктор интерфейса.
Но в отличии от интерфейса, который генерируется сейчас, у вас будет возможность его менять.

Простые изменения не требуют знания программирования.
Они могут быть осуществлены прямо в конструкторе интерфейса.
Вот примеры таких изменений: изменить текст кнопки, изменить цвет любого элемента, и вообще любые параметры,
спрятать элементы, которые отвечают за отображение браузера, переместить их в другое место(через перетягивание),
изменить название вкладки, добавить свое лого и ссылку на свой сайт.

Сложные измененния требуют знания html/javascript/css
Хотя простые изменения не требуют от пользователя дополнительных знаний, для сложных задач они могут понадобиться.
Например, для добавления нового графика на страницу с ботом потребуется прочитать его документацию и самостоятельно отредактировать код бота.
Конструктор интерфейса предоставляет удобный редактор с предпросмотром(как jsfiddle).

Взаимодействие пользовательского интерфейса и БАС.
Общаться с БАС можно посредством специального апи, его описание скоро появится в вики.
Вот пример вызова метода, который возвращает скриншот браузера из БАС, и обновляет картинку на странице.

Код HTML:

Api.ViewBrowser(BrowserId).then((Res)=>{
	$("#BrowserScreen").attr("src","data:image/png;base64," + Res["image"])
})

Общение с БАС будет происходить и другими методами, так интерфейс бота сможет:
читать/записывать глобальные переменные, получит доступ к базе, сможет выполнять функции БАС и получать результат(запланировано на следующие версии),
а скрипты БАС смогут выполнять произвольный javascript в контексте пользовательского интерфейса.

Запуск ботов удаленно(запланировано на следующие версии).
Разделение интерфейса бота и БАС дает возможность в будущем запускать ботов удаленно, в том числе и на мобильных платформах.
Конечно для запуска БАС все еще потребуется серевер на Windows, но контролировать бота вы сможете с любого устройства, у которого есть доступ в сеть и браузер.

Сроки.
Выпуск версии с поддержкой пользовательского интерфейса я планирую 21 мая. В ней новый функционал станет доступен только премиум пользователям и только для приватных скриптов или скриптов размещенных в магазине. Позже новые фичи станут доступны и для скриптов созданных премиум пользователями без защиты.

Скриншоты.
Ввод ресурсов.


Основной экран бота.


Выбор файла


Редактирование интерфейса


Редактирование кода

[uridimus]

Вышла новая версия, в ней есть возможность полностью изменять интерфейс ботов. Теперь приложения, которое вы отдаете заказчику, стали выглядеть уникальным и пользователи не смогут определить, что оно сделаны в BAS.
Вот один из примеров того, как может выглядеть бот:



Ссылка на gif

Как начать использовать?

• Нужно перейти по ссылке https://bablosoft.com/bas/interface
• Выбрать скрипт, которому вы хотите поменять интерфейс.
• Нажать на кнопку "Включить". После этого интерфейс будет сгенерирован индивидуально для вашего бота.
• После того, как вы убедились, что скрипт работает корректно, нажмите на кнопку "Включить для всех" и все ваши пользователи получат апдейт.

Интерфейс бота является полностью настраиваемым.

Вы можете менять как внешний вид, так и логику без каких-либо ограничений. Для простых изменений доступен визуальный конструктор. Для более сложных есть редактор кода. Изменения в редакторе кода подхватываются как свойства контролов в визуальном конструкторе и наоборот. Интерфейс написан на html и есть возможность добавлять дополнительный библиотеки, такие как: графики, таблицы с данными, сложные элементы управления и другое. В сети таких компонент множество.

Новый функционал поддерживает множество удобств для разработки.

Интерфейс можно отлаживать как в браузере(с помощью эмулятора деятельности скрипта), так и прямо в BAS:



Ссылка на gif

Конечно же можно запускать скомпилированный бот и проверять как он работает. В личном кабинете есть настройки, которые позволяют ограничить доступ к новому интерфейсу машиной разработчика. Поскольку он сделан на html, то его можно отлаживать инструментами для браузера.

В интерфейсе есть возможность использовать API для связи с BAS.

Из BAS в интерфейс приходят события, такие как: вывод в лог, уведомление о запуске и остановке браузеров и потоков, и т. д. Вы можете обрабатывать эти события как угодно, но разработчику бота не нужно писать код с нуля, за вас это сделает генератор, а можете только подправить этот код, если в этом есть необходимость. Интерфейс и сам может обращаться к BAS, например: запускать/останавливать скрипт, получать изображение из браузера, запрашивать разнообразные отчеты, и т. д. Среди методов API также есть работа с встроенной в БАС базой данных, чтение и запись глобальных переменных BAS. Вот пример обработки событий и использования api:



Ссылка на gif

BAS может также выполнять произвольный код в контексте интерфейса.

Все старые свойства интерфейса ботов BAS перекочевали в новый.

Это валидация полей, вкладки, условная видимость ресурсов, локализация.

Новый апдейт доступен только для премиум пользователей.

Это значит, что чтобы создать бота с новым интерфейсом, вы должны быть премиум пользователем. Но вам не нужно иметь премиум подписку чтобы запустить бот. Если вы не уверенны, нужен вам этот функционал, вы можете запустить демо и проверить как будет выглядеть ваш бот в новом интерфейсе https://bablosoft.com/interface-builder/index.html или попробовать как будет работать стандартный бот с новым интерфейсом прямо в браузере https://bablosoft.com/test-interface/index.html
Но поверьте, оно того стоит!

[uridimus]

Вышла версия 21.0.0
В ней фокус был сделан на улучшении пользовательского интерфейса и удобства работы с BAS.
Вот список изменений:

Интерактиваня документация.

Добавлена интерактиваня документация для 10 модулей. Каждое действие и каждый параметр содержит документацию с подробным описанием, примерами и скриншотами. Она помогает понять как действие работает, каким образом его можно использовать при этом не закрывая BAS. Список задокументированых модулей: База данных, Почта, HTTP-клиент, Ресурсы, Xpath, Эмуляция бездействия, Взаимодействие с пользователем, Ручное управление браузером, Управление процессами, Регулярные выражения.



Обновление модулей.

Вместе с интерактивной документацией некторые модули также получили функциональные обновления. Модуль для работы с базы данных теперь умеет сортировать записи, фильтровать их по группам, создавать и манипулировать группами и так далее. Модуль 'Ресурсы' получил новое действие 'Список В Ресурс', http клиент может смешивать двоичные данные и обычные строки при отправке post запроса, действие 'Запустить Процесс' правильно устанавливает кодировку, может получать вывод процесса об ошибках, умеет запускать процесс в заданной папке и скрывает консоль.


Обновлено контекстное меню для взаимодействия с элементами браузера.

Старое контекстное меню было довольно неорганизовано и могло вести себя не так, как
ожидает пользователь. Новое контекстное меню визуально выглядит намного лучше,
в нем оптимизирован порядок компонентов, есть способность фильтровать пункты меню по имени.
После обновления с элементами браузера взаимодействовать стало гораздо легче.



Разнообразные улучшения интерфейса.

Браузер можно прокручивать в режиме записи с помощью колеса мыши. Каждый элемент внутри вкладки сценария содержит информационную подсказку. Многие пользователи не знают о метках и о том, как они бывают полезны, поэтому вкладка сценария теперь содержит две новые кнопки для быстрого добавления и перехода к меткам. После обновления, некоторые другие действия, которые могут быть полезны, выделены красной рамкой.


Модуль для работы с Luminati.

Luminati - самая большая прокси сеть в мире. Они предлагают более 30 миллионов мобильных,
ip, резидентских прокси, прокси из датацентров, которые могут быть отфильтрованы по странам, городам и провайдерам.
Новый модуль позволяет передавать параметры, такие как город, страну, тип прокси через интерфейс BAS.
К сожалению, есть еще несколько проблем с туннелированием прокси-серверов Luminati, туннелирование не работает
для протокола http, но работает для https. Поэтому, если вы хотите использовать прокси для Facebook,
или другого сайта, поддерживающего https, то данный метод будет работать отлично, в другом случае вам нужно
использовать Luminati Proxy Manager вместе со стандартным действием 'Прокси'.

Модуль отключен по умолчанию, чтобы включить его перейдите в Меню -> Помощь -> Менеджер Модулей -> Luminati



Отдельный установщик для премиум пользователей.

Вы можете найти ссылку на новую версию в своем личном кабинете.



Исправление багов:

Как всегда новая версия содержит множество исправлений:

• Действие 'Прокси' может использовать прокси заданные по домену, не только по ип.
• Windows defender теперь не обнаруживает защищенный скрипт как вредоносное ПО.
• Включение webrtc в настройках больше не нуждается в изменениях командной строки.
• Работа Xpath с http клиентом стала быстрее.
• Ошибки для модуля 'Почта' стали содержательными.
• Изменения в профиле сохраняются даже после мгновенного завершения потока.
• Http клиент не дожидается завершения действия после таймаута.
• Исправлена проблема с дополнительными пробелами при парсинге заголовков писем.
• Восстановление настроек интерфейса теперь работает правильно.
• Исправлен спутанный индекс в действии 'Результат' при работе с веб интерфейсом.

[uridimus]

Версия Chrome обновлена до 68.



Архитектура браузера изменилась, теперь для работы каждого браузера запускается несколько процессов вместо одного. Работа с одним процессом плохо поддерживается, поэтому это изменения помогут избежать множества ошибок.

Добавлена поддержка widevine drm. Эти изменения позволят BAS работать с такими сайтами как netflix и spotify.

Добавлено новое действие "Уведомления", теперь вы можете принимать или отклонять уведомления браузера.


Добавлена ограниченная поддержка расширений Chrome. Используйте действие "Настройки браузера", чтобы включить их. К сожалению, большая часть api все еще не реализована. Текущий прогресс можно увидеть по ссылке chromiumembedded / cef / issues / #1947 - Add support for chrome extensions — Bitbucket .

В этой версии вы можете работать с Multilogin в режиме записи.



Чтобы увидеть новые изменения, вам нужно остановить Multilogin при первом запуске и позволить BAS запустить его самостоятельно.

[uridimus]

Был обновлен сервис FingerprintSwitcher:

• Добавлена возможность менять отпечаток Canvas.
• Добавлена возможность менять отпечаток WebGL.
• Модель вашей видеокарты получамая через javascript замененяется значениями из реальных устройств.
• Все данные меняются на уровне браузера, так что замену обнаружить невозможно.
• Подмена данных свойст осуществляется "на лету", поэтому перезапуск браузера не нужен.

Чтобы начать использовать новый функционал нужно оформить подписку на сервис FingerprintSwitcher.
Все, что нужно сделать для того изменить отпечатки - это выполнить действие "Применить отпечаток".
Вот видео с более детальным описанием и демонстарцией работы https://www.youtube.com/watch?v=RqW_DmWeWUY

BAS также обновлен для поддержки новых возможностей:

• Вкладка настроек содержит новые свойства - возможность отключить WebRTC, Canvas, WebGL или добавить шум в Canvas, WebGL.
• В действие "Настройки Браузера" также добавлены новые значения, это позволяет менять настройки в процессе работы для каждого потока отдельно.
• Добавлена интерактивная документация для модуля "Смена отпечатка браузера".
• Добавлены настройки для добавления шума в действие "Применить отпечаток".
• Размер скомпилированного скрипта уменьшен на 150 мб.

Исправлено несколько багов:

• Исправлено перетаскивание закладок.
• Исправлено падение софта при запуске нескольких функций в несколько потоков мгновенно при старте скрипта.
• Баг с добавлением символа 'а' при очистке пустого поля.
• Добавлена поддержка сервиса captcha guru.
• Оптимизация для больших строк в базе.
• При запросе к базе данных теперь можно получать одну запись по id или фильтровать строки по точному значению.

Цена за подписку на FingerprintSwitcher теперь увеличена до 20$ в месяц или 40$ за 3 месяца.
В следующем месяце будет еще много апдейстов связанных с отпечатками, при этом цена повышаться не будет.