http://webmasters.ru/forum/showthread.php?t=65421 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1741838856 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=671532 Mon, 16 Mar 2015 11:37:31 GMT Меня зовут TOB, я твой супер BOT! Опытные руки терпеливо собирали меня и недавно я родился на свет. У меня открытый код модулей и простое API, со мной ты автоматизируешь большинство своих задач. http://tobbot.com/static/index/img/main_window.png Я быстро расту и развиваюсь, т.к. у меня хорошие гены: бесплатный, кроссплатформенный, компактный и портативный, технологичный (многопоточность, OCR сервисы, SOCKS прокси, COOKIE, JAVASCRIPT и др.), И сейчас я уже умею это: http://tobbot.com/static/index/img/modules.gif [INDENT] Например, модуль URL Parse Titles 1 я выучил буквально с полуслова. Теперь я могу получить значение тега для тысячи страниц за считанные секунды. [CODE] URL_GET row_url PARSE row_title http_content "(?ims)title.*?>(.*?) для тысячи страниц за считанные секунды. URL_GET row_url PARSE row_title http_content "(?ims)title.*?>(.*?)<.*?title" Найти меня можно по адресу: TOBBOT.COM (http://tobbot.com/) Качай, тестируй, критикуй и подавай идеи для моего развития. Твой TOB! http://tobbot.com/static/site/img/tob.png]]> http://webmasters.ru/forum/showpost.php?p=673824 Tue, 24 Mar 2015 18:38:26 GMT TOBBOT 0.2.0 :good: Активирована опция Backup. В API добавлена функция URL_HEAD - делает HEAD запрос на указанный адрес. В API добавлена переменная http_headers - содержит заголовки ответа сервера. Улучшены существующие модули. Добавлен модуль Stress Test - эмуляция высокой нагрузки на сайте, Добавлен модуль Referer Spam - запросы к сайтам с любым реферером. http://webmasters.ru/forum/showpost.php?p=674615 Fri, 27 Mar 2015 07:39:13 GMT Вышла версия: TOBBOT 0.3.1 http://tobbot.com/static/site/img/tob.png Модули: Новый модуль Add URL Bing. Другие модули также были доработаны: увеличена их скорость и надежность. API функции: Новая функция SAVE позволяет выполнить промежуточное сохранение данных, что в случае неудачного выполнения большого задания позволяет продолжить с указанного места. Например, если в задании парсятся все 10 страниц выдачи Google и на 4 странице происходит сбой выполнения, то при помощи функции SAVE можно начать парсинг в следующем цикле сразу с 4 страницы. Новая функция REDIRECT включает/выключает автоматический переход в случае редиректа. Возможные значения: REDIRECT+ (по умолчанию) и REDIRECT-. Например, если при запросе страницы сервер делает предварительную цепочку редиректов, то теперь программа пройдет по всем редиректам самостоятельно. Бывает, что нужно обработать цепочку редиректов самому, тогда можно временно выключить REDIRECT-, а потом снова включить REDIRECT+ автоматический переход в случае редиректа. Новая функция REFERER включает/выключает автоматическую смену реферера. Возможные значения: REFERER+ (по умолчанию) и REFERER-. Например, если нужно открыть новую страницу, но после запроса сохранить реферер предыдущей страницы, то нужно сначала выключить REFERER-, а после запроса снова включить REFERER+ автоматическую смену реферера. http://webmasters.ru/forum/showpost.php?p=675982 Thu, 02 Apr 2015 06:08:51 GMT Вышел TOBBOT 0.4.0 http://tobbot.com/static/site/img/tob.png Новые модули: Accounts Hostinger - регистрация фрихостов на панели Hostinger.ru; URL Find Text (RegExp) - поиск текста на странице (через регулярное выражение); URL Find Text (Simple) - поиск текста на странице (от строки A, до строки B). Новые сабмодули (упрощают написание основных модулей): Mail.ru find email - поиск нужного email в папках Входящие / Спам; Recaptcha decode - распознование капчи Recaptcha (новая версия). API функции: Новая функция COOKIE - добавляет новую запись в менеджер Cookie; Новая функция COOKIE_CLEAR - удаляет все записи в менеджере Cookie; Изменения в работе функции SCRIPT: переменные, объявленные в функции SCRIPT, теперь доступны и после ее завершения; Функции VAR_SET и PARSE переименованы в VAR и VAR_RE соответственно. Старые имена функций временно можно использовать как синонимы. Изменения проведены с целью улучшения читабельности кода. :good: Если у вас установлена устаревшая версия Java, то вы можете скачать (http://java.com/inc/BrowserRedirect1.jsp?locale=ru) последнюю версию с официального сайта. Если вы изучили API и желаете оказывать платные услуги по написанию новых модулей, то свяжитесь (http://tobbot.com/contact/) со мной и я добавлю ваши контакты на сайте программы. http://webmasters.ru/forum/showpost.php?p=676189 Fri, 03 Apr 2015 10:30:52 GMT а можно к нему мануал по работе с ним? http://webmasters.ru/forum/showpost.php?p=676192 Fri, 03 Apr 2015 10:38:33 GMT Сделайте перевод на русский. В принципе я и английский немного знаю, но с русским всегда комфортнее работать. http://webmasters.ru/forum/showpost.php?p=676195 Fri, 03 Apr 2015 10:49:48 GMT а можно к нему мануал по работе с ним? Мануал еще пишется. Краткая версия примерно такая: выбрать модуль добавить строки (Add Rows) выделить строки (Select Rows) заполнить строки данными (Edit Selected Rows) если требуется, то настроить распознование капч (Captcha Settings) если требуется, то настроить прокси (Proxy Settings) запустить задание (кнопка Start Work) Сделайте перевод на русский Уже делается http://webmasters.ru/forum/showpost.php?p=676228 Fri, 03 Apr 2015 13:42:17 GMT и не большое видео по работе с разными режимами.уберете кучу не нужных вопросов.я попробовал у меня не получилось поработать..а где проблема не вижу..и посмотреть решение не где http://webmasters.ru/forum/showpost.php?p=676374 Sat, 04 Apr 2015 06:01:24 GMT Вышел TOBBOT 0.5.1 http://tobbot.com/static/site/img/tob.png Добавлен модуль Add URL Google, теперь есть адурилки в Bing, Yandex и Google. Новая API функция FUNCDONE - позволяет отключать обработку функции DONE. Функция может быть полезна при вставке кода из других модулей. Реализована возможность однострочной записи API функций, что заметно повысило читабельность кода модулей. Примеры различного оформления кода модуля URL Parse Title: 1) многострочная запись URL_GET row_url VAR_RE row_title http_content "(?is)(.*?)" 2) однострочная запись URL_GET row_url VAR_RE row_title, http_content, "(?is)(.*?)" (.*?)" 2) однострочная запись URL_GET row_url VAR_RE row_title, http_content, "(?is)"]]> http://webmasters.ru/forum/showpost.php?p=677972 Sat, 11 Apr 2015 08:57:44 GMT меня больше интересует ман. нежели перевод. Пробовал - ничего не получается. Без мана - никак. http://webmasters.ru/forum/showpost.php?p=678006 Sat, 11 Apr 2015 14:27:56 GMT м.дяя...... нужен мануал однозначно, что то не понятно что к чему. http://webmasters.ru/forum/showpost.php?p=678391 Tue, 14 Apr 2015 10:12:11 GMT Вышел TOBBOT 0.7.0 http://tobbot.com/static/site/img/tob.png Новая API функция VAR_COOKIE - присваивает указанной переменной значение cookie для указанной страницы. Новые модули: Accounts FreeWebHostingArea - регистрация фрихостинг аккаунтов на панели FreeWHA.com (10 доменов); SE Index Checker - проверка индексации доменов/страниц в поисковых системах Яндекс, Google и Bing; SMS from AFreeSMS - отправка SMS сообщений в любую страну мира (автор модуля Alex G). Появился человек (Alex G), готовый оказывать платные услуги по написанию модулей к программе: http://tobbot.com/static/site/img/icq.png 689545275 http://tobbot.com/static/site/img/email.png sansalex@mail.ru И наконец-то, появилась первая версия хелпа (http://tobbot.com/help/) к программе TOBBOT :good: http://webmasters.ru/forum/showpost.php?p=678543 Wed, 15 Apr 2015 07:09:11 GMT Выбрал модуль аддурлки Яндекса, добавил 10 адресов, прогнал, получил уведомление о завершении работы. Хотелось бы получить более детальный отчет об ошибках или успешном выполнении. Затем нашел в меню лог, оказалось без указания протокола урлы не обрабатываются, добавил протоколы, одну строку удалил, запустил процесс, в логе 10 ошибок на каждый цикл: Error at line #10 (Index: 0, Size: 0). Зы. На яве интерфейсы всегда не удобные. http://webmasters.ru/forum/showpost.php?p=678549 Wed, 15 Apr 2015 07:24:25 GMT Затем нашел в меню лог, оказалось без указания протокола урлы не обрабатываются, добавил протоколы, правильно. URL всегда указывается с протоколом, ведь есть же еще https. запустил процесс, в логе 10 ошибок на каждый цикл: Error at line #10 (Index: 0, Size: 0). Cпасибо! Вы помогли устранить ошибку в данной версии модуля Add URL Yandex. Скачайте обновление TOBBOT 0.7.1, либо откройте файл modules/Add URL Yandex/actions/Add.txt/Add.txt и удалите 6-ую строку: URL_GET http://webmasters.ru/forum/showpost.php?p=681408 Tue, 28 Apr 2015 17:13:21 GMT Вышел TOBBOT 0.8.0 (http://tobbot.com/TOBBOT.zip) http://tobbot.com/static/site/img/tob.png Оптимизированы аглоритмы программы - скорость выросла min в 5 раз! Добавлены API функции: ROW - добавляет новую строку в таблицу. Что позволяет "наращивать" файл задания прямо во время выполнения дейтсвия. Например, для модуля парсинга Google Suggest можно добавлять найденые кеи для осуществления более глубокого парсинга. VAR_FILE - считывает содержимое указанного файла в указанную переменную; URL_POST_MULTIPART - выполняет POST запрос вида multipart/form-data на указанный адрес с указанными параметрами. Совместное использование этой функци и функции VAR_FILE позволяет писать модули настройки профилей: загрузка фото, аватара и других файлов. http://webmasters.ru/forum/showpost.php?p=682883 Thu, 07 May 2015 06:11:11 GMT Добавьте http://antigate.com/ http://webmasters.ru/forum/showpost.php?p=682888 Thu, 07 May 2015 07:02:48 GMT Drabadan, antigate.com и anti-captcha.com это одно и тоже. http://webmasters.ru/forum/showpost.php?p=683465 Mon, 11 May 2015 13:22:00 GMT Вышел TOBBOT 0.9.0 (http://tobbot.com/) http://tobbot.com/static/site/img/tob.png Проведена оптимизация работы: увеличены скорость изменения числа рабочих потоков и скорость формирования очереди заданий. API функция URL_ENCODE переименована в VAR_URL и стала более "интелектуальной" (прощает распространенные ошибки разработчиков). Добавлены зарезервированные имена переменных: http_ip - содержит IP адрес хоста, http_header_code - содержит код ответа сервера. Новые API функции: Для работы с кодировками переменных CHARSET, CHARSET_CLEAR, VAR_CHARSET. Так функция CHARSET указывает какую кодировку следует использовать для кодирования строки в массив байтов и обратно. FILE - сохраняет значение переменной в файл предварительно закодировав значение указанной кодировкой (функция CHARSET). SCRIPT_GLOBAL - добавляет указанный JavaScript код в начало всех последующих вызовов функций SCRIPT. Более подробно ознакомиться со всеми API функциями программы можно в справочнике разаботчика (http://tobbot.com/help/api/). Появилась страница с информацией о спонсорах программы (http://tobbot.com/sponsor/) :yes: Приглашаю всех принять посильное участие в развитии программы! :drinks: http://webmasters.ru/forum/showpost.php?p=683759 Wed, 13 May 2015 06:57:38 GMT видимо у меня мозг кривой.. я вообще хз как че в это проге включить? нихрена ничего не понятно вот как например ссылку заадурлить? http://webmasters.ru/forum/showpost.php?p=683764 Wed, 13 May 2015 07:17:52 GMT вот как например ссылку заадурлить? Все не так сложно как кажется. Просто нужно один раз вникнуть в механизм работы программы :yes: Для начала можно ознакомьтесь с имеющимся хелпом (http://tobbot.com/help/). Чтобы заадурлить в Яндекс нужно: Указать ключ от любого CAPTCHA сервиса Settigs > Captcha... (т.к. при добавлении урла через форму нужно вводить капчу) Выбрать модуль Yandex Add URL Добавить строки Rows > Add... (кол-во строк = кол-ву добавляемых урлов) Заполнить строки данными. Должно получиться нечто вроде: http://example.com/url1 email1@yandex.com pass1 http://example.com/url2 email2@yandex.com pass2 http://example.com/url3 email3@yandex.com pass3 http://example.com/url4 email1@yandex.com pass1 http://example.com/url5 email2@yandex.com pass2 Captcha... (т.к. при добавлении урла через форму нужно вводить капчу) Выбрать модуль Yandex Add URL Добавить строки Rows > Add... (кол-во строк = кол-ву добавляемых урлов) Заполнить строки данными. Должно получиться нечто вроде: http://example.com/url1 email1@yandex.com pass1 http://example.com/url2 email2@yandex.com pass2 http://example.com/url3 email3@yandex.com pass3 http://example.com/url4 email1@yandex.com pass1 http://example.com/url5 email2@yandex.com pass2]]> http://webmasters.ru/forum/showpost.php?p=684765 Mon, 18 May 2015 11:48:41 GMT Вышел TOBBOT 0.10.0 http://tobbot.com/static/site/img/tob.png Добавлена API функция POST_JSON, которая позволяет выполнить POST/JSON запрос на указанный адрес. Сформировать тело запроса можно с ипользованием функции SCRIPT. SCRIPT data = JSON.stringify({'id': 25, 'params': {'age': 30, 'first name': 'John', 'last name': 'Doe'}}); URL_POST_JSON "http://example.com/update.php", data В API функцию FILE добавлена возможность указать параметры записи в файл. Теперь можно добавлять запись не только в новый файл, но и в уже существующий. FILE "D:/new.txt", data, "a" В главное меню программы добавлена команда File > Open As, которая позволяет открывать рабочие файлы других модулей. Добавлены новые бесплатные и премиум модули: Domain Names Availability - проверка статуса доменов: свободен / зарегистрирован через сервис GoDaddy. $ Yandex Last20 Keywords (http://tobbot.com/modules/yandex-last20-keywords/) - парсинг прямого эфира Яндекса (фильтр по кею, запись в файл). $ Yandex Metrika Open Stats (http://tobbot.com/modules/yandex-metrika-open-stats/) - поиск открых статистик Яндекс.Метрика. Обновляемся, не стесняемся :yes: Open As, которая позволяет открывать рабочие файлы других модулей. Добавлены новые бесплатные и премиум модули: Domain Names Availability - проверка статуса доменов: свободен / зарегистрирован через сервис GoDaddy. $ Yandex Last20 Keywords (http://tobbot.com/modules/yandex-last20-keywords/) - парсинг прямого эфира Яндекса (фильтр по кею, запись в файл). $ Yandex Metrika Open Stats (http://tobbot.com/modules/yandex-metrika-open-stats/) - поиск открых статистик Яндекс.Метрика. Обновляемся, не стесняемся :yes:]]> http://webmasters.ru/forum/showpost.php?p=684850 Mon, 18 May 2015 20:02:15 GMT Всем привет.Если возможно прикрутите пожалуйста функцию по анализу KEI,расчёт конкуренции для заданных ключевых фраз.Здесь на форуме есть статьи с формулами расчёта KEi но только для платного Кей коллектора. Уверен, очень многие здесь будут вам очень признательные за добавление этой функции.Желаю успехов в дальнейшем развитии вашей программы. http://webmasters.ru/forum/showpost.php?p=684887 Tue, 19 May 2015 06:31:35 GMT Если возможно прикрутите пожалуйста функцию по анализу KEI,расчёт конкуренции для заданных ключевых фраз. Вы неверно поняли назначение API функций. API функции это инструмент для создания нужных вам модулей. Модуль расчета конкуренции по кею сделать можно. Но формулу, про которую вы говорите, я не нашел. Точнее нашел слишком много разных. http://webmasters.ru/forum/showpost.php?p=686666 Thu, 28 May 2015 12:16:55 GMT Вышел TOBBOT 1.0.0 (http://tobbot.com/) http://tobbot.com/static/site/img/tob.png 1) Программа и ее модули теперь разделены и скачиваются отдельно. Для обновления модулей не нужно обновлять программу. 2) Добавлена поддержка прокси требующих авторизацию. 3) Улучшена обработка Set-Cookie заголовков в ответе сервера. 4) Улучшена работа с Unicode данными. 5) Добавлена возможность работы с Unicode доменами, например: окна.рф, авто.com. 6) В API функции URL_HEAD и URL_GET добавлена возможность указывать множество параметров. В этом случае адресом страницы будет результат объеденения всех указанных параметров. 7) В API функцию VAR_RE добавлен 4-ый (необязательный) параметр, для формирования значения. 8) Добавлена API функция VAR_PROXY, которая позволяет узнать текущие настройки прокси. 9) Добавлена API функция PROXY, которая позволяет сменить/октлючить прокси в ходе выполнения задания. Таким образом можно осуществлять привязку аккаунтов к определенным IP-адресам. 10) Новый модуль $ Accounts Wordpress.com (http://tobbot.com/modules/accounts-wordpress.com/). 11) Модуль Yandex Metrika Open Stats стал бесплатным. http://webmasters.ru/forum/showpost.php?p=687223 Sun, 31 May 2015 15:32:01 GMT разобрался....) http://webmasters.ru/forum/showpost.php?p=687233 Sun, 31 May 2015 17:40:10 GMT ух тыж какой полезный софт...наконецто ктото заморочился и сделал....лучше бы он был у меня пару лет назад конечно но я рад за тех кому он понадобится щас http://webmasters.ru/forum/showpost.php?p=687240 Sun, 31 May 2015 18:05:01 GMT оказалось не до конца разобрался, а редактировать уже не могу. подскажите как вылечить такую беду. на антигейте не распознается капча яндекса пишет что не принимает такой формат хотя вроде все там правильно отдается gif на рукапче пишется что капча разгадана но в программе она не проходит а теперь вообще ничего даже не доходит до капчесервисов, где то теряется такое ощущение капча) скажите без прокси вообще возможно в адурл яндекса добавить за один раз хотя бы 10 ссылок? кое как одну отравил за полдня и все. в ручную все норм а через прогу не разгадывается капча пишет такое (Captcha: ERROR_UPLOAD) а на самом капчесервисе такое ERROR_IMAGE_TYPE_NOT_SUPPORTED Невозможно определить тип файла капчи, принимаются только форматы JPG, GIF, PNG http://webmasters.ru/forum/showpost.php?p=687258 Sun, 31 May 2015 20:02:46 GMT Go$Ya, скорее всего не так настроил задание, либо аки нерабочие. Софт не может залогинится и вместо капчи получает обычную html страницу, которая не является изображением и потому CAPTCHA не принимают ее. Сам модуль рабочий - только что загнал 10 страниц. http://webmasters.ru/forum/showpost.php?p=687361 Mon, 01 Jun 2015 14:26:01 GMT да, с этим разобрался спасибо) но теперь другую беду выдает)) Error at line #10 (Connection timed out: connect) уже по разному таймаут выставлял и все равно это пишет) http://webmasters.ru/forum/showpost.php?p=687362 Mon, 01 Jun 2015 14:30:28 GMT Error at line #10 (Connection timed out: connect) тут 2 варианта: плохие прокси, URL, который пытаетесь добавить, не отвечает. http://webmasters.ru/forum/showpost.php?p=688198 Fri, 05 Jun 2015 17:32:45 GMT Срочно в номер! Вышел TOBBOT 1.1.0 http://tobbot.com/static/site/img/tob.png Наиболее важные перемены: Изменен формат записи логов: лог пишется в файл, а статистика логов в таблицу Action > Log Stats... Устранена утечка памяти при работе с большим объемом данных: проверка 4.8м ру доменов одним заданием больше не проблема. Новые бесплатные модули: Proxy Parser - парсинг прокси в файл: ip, порт. Socks Proxy Checker - проверка SOCKS прокси: ip, время, скорость. Обновляемся (http://tobbot.com/), не сомневаемся :hi: Log Stats... Устранена утечка памяти при работе с большим объемом данных: проверка 4.8м ру доменов одним заданием больше не проблема. Новые бесплатные модули: Proxy Parser - парсинг прокси в файл: ip, порт. Socks Proxy Checker - проверка SOCKS прокси: ip, время, скорость. Обновляемся (http://tobbot.com/), не сомневаемся :hi:]]> http://webmasters.ru/forum/showpost.php?p=688206 Fri, 05 Jun 2015 19:24:40 GMT Как ранее говорилось, было бы очень хорошо перевести все-таки на русский и может краткий мануал сделать, а то сложно разобраться с чего начинать, хотя вроде и англ. знаю нормально) http://webmasters.ru/forum/showpost.php?p=688207 Fri, 05 Jun 2015 19:28:41 GMT было бы очень хорошо перевести все-таки на русский и может краткий мануал сделать Мануал на русском языке (http://tobbot.com/help/)уже есть. Перевода на русский язык не будет. http://webmasters.ru/forum/showpost.php?p=695255 Sun, 19 Jul 2015 22:16:28 GMT снова я) скажите почему я руками добавляю в адурилку ссылку все нормально хоть три хоть 10 ссылок. даю задание проге она мне пишет в лога 0: ? Error at line #7 (Connect timed out) 2: ? Error at line #7 (Connect timed out) 1: ? Error at line #7 (Connect timed out) соответственно ни одной ссылки не адурлит. пробовал и с прокси и без, таймауты ставил от 0 до 60 секунд http://webmasters.ru/forum/showpost.php?p=695269 Mon, 20 Jul 2015 04:55:13 GMT Go$Ya, если и без прокси такие записи в логах, то у программы проблемы с доступом в сеть. Возможно, что антивирус блочит. http://webmasters.ru/forum/showpost.php?p=695628 Tue, 21 Jul 2015 17:18:43 GMT А можно мне инструкцию скинуть на почту kopninovys@yandex.ru .Спасибо. так не разобраться по быстрому что к чему !))))изучал китайский язык в школе ))) http://webmasters.ru/forum/showpost.php?p=695699 Wed, 22 Jul 2015 06:22:43 GMT kopninovys, ссылка на мануал есть парой сообщений выше. http://webmasters.ru/forum/showpost.php?p=696988 Thu, 30 Jul 2015 08:36:31 GMT TOBBOT, по данной вами ссылке, открывается страница без текста. Пожалуйста исправьте. http://webmasters.ru/forum/showpost.php?p=697188 Fri, 31 Jul 2015 10:53:27 GMT TOBBOT, по данной вами ссылке, открывается страница без текста. Пожалуйста исправьте. Обновлял дизайн сайта. Сейчас все работает :i_am_so_happy: http://webmasters.ru/forum/showpost.php?p=698031 Wed, 05 Aug 2015 12:32:40 GMT http://tobbot.com/icon.png Последние новости: новый адаптивный дизайн сайта; новый раздел справочника: FAQ (http://tobbot.com/help/faq/); все модули программы (http://tobbot.com/modules/) прошли ревизию - все работает! http://webmasters.ru/forum/showpost.php?p=698208 Thu, 06 Aug 2015 12:33:35 GMT Интересует мнение пользователей о скорости и добавлении в индекс Яндекса, ещё актуально, кто-нибудь пользуется? http://webmasters.ru/forum/showpost.php?p=699855 Mon, 17 Aug 2015 17:45:34 GMT Новые бесплатные (http://tobbot.com/modules/#free) модули :i_am_so_happy: Accounts MailRu - регистрация email аккаунтов на Mail.ru (4 домена); SE Backlinks Index Checker - проверка индексации ссылок в Bing, Google и Яндекс (проверка через кеш страниц). http://webmasters.ru/forum/showpost.php?p=711433 Mon, 26 Oct 2015 10:58:22 GMT http://tobbot.com/icon.png Последние новости: Выбирать профиль настроек при запуске программы теперь обязательно. Добавлена функция включения/выключения EXCEPTION (http://tobbot.com/help/api/#EXCEPTION), которая позволяют включить/выключить остановку выполения задания в случае возникновения ошибки. Добавлена функция PROXY_NEXT (http://tobbot.com/help/api/#PROXY_NEXT), которая позволяет переключиться на следующий прокси из списка. В функции GOTO (http://tobbot.com/help/api/#GOTO)добавлен параметр {направление}, который позволяет указать направление поиска метки: "-" искать вверх, "+" искать вниз. В функцию VAR_CAPTCHA (http://tobbot.com/help/api/#VAR_CAPTCHA) добавлен необязательный параметр {comment}, который позволяет оставить примечание для работника по правильному распознаывнию капчи. В функции FILE (http://tobbot.com/help/api/#FILE)исправлена ошибка записи в файл. Обновлен модуль Common Files (http://tobbot.com/modules/common-files/) и другие модули, которые используют этот модуль в своей работе. Модули проверки индексации в поисковых системах (http://tobbot.com/modules/) разделены на 3 модуля: SE Check Index (Backlinks) SE Check Index (Domains) SE Check Index (Pages) Важно! Не забывайте удалять старые и ненужные версии модулей, чтобы избежать путаницы. http://webmasters.ru/forum/showpost.php?p=711584 Tue, 27 Oct 2015 08:44:46 GMT Сегодня утром я получил письмо с просьбой написать модуль для удаления страниц из индекса Яндекса: https://webmaster.yandex.com/delurl.xml Для решения данной задачи мне понадобилось не более 15 мин. При этом большая часть времени ушла на изучение и тестирование различных поведений сервиса. Предлагаю вам изучить процесс создания новых модулей на озвученном выше примере. Шаг 1. Изучение сервиса. Запускаем снифер запросов, которые передает браузер в процессе "общения" с сайтами. Я рекомендую использовать бесплатный снифер Fiddler2 (http://www.telerik.com/fiddler), но можно ограничиться и простым плагином HttpFox (https://addons.mozilla.org/en-us/firefox/addon/httpfox/) к браузеру Firefox. Открываем страницу сервиса и вводим различные адреса (правильные и неправильные, проиндексированные и нет) и записываем ответы сервера на отправленные запросы. Шаг 2. Создание модуля. Согласно справочника разработчика (http://tobbot.com/help/api/#scheme) модули должны иметь следующую архитектуру: http://tobbot.com/static/img/help/module-scheme.png Обязательными являются файлы и директории выделенные на схеме красным цветом Поэтому создаем следующие директории и файлы: В директории modules/ программы создаем директорию с модулем Del URL Yandex/ Переходим в указанную директорию и создаем файл columns.txt и директорию actions/ Переходим в директорию actions/ и создаем файл действия Del.txt В результате этого у нас получилось 2 текстовых файла: columns.txt - содержит заголовки колонок модуля del.txt - содержит кодом действия удаления URL из Яндекс Для удаления адресов нам потребуется указать их URL, поэтому откроем файл columns.txt и вставим туда всего одну строку: url Теперь откроем файл Del.txt и запишем туда следующий код действия: // устанавливаем случайный User-Agent ... "modules/Common Files/Actions/Set random useragent.txt" // открываем форму запроса на удаление URL URL_GET "https://webmaster.yandex.com/delurl.xml" // парсим скрытые поля формы VAR_RE form_key, http_body, "name=\"key\" type=\"hidden\" value=\"(.*?)\"" VAR_RE form_sk, http_body, "type=\"hidden\" name=\"sk\" value=\"(.*?)\"" // загружаем капчу в кодировке BASE64 и передаем ее на распознавание OCR сервису CHARSET "BASE64", http_body URL_GET "https://i.captcha.yandex.net/image?key=", form_key CHARSET "", http_body VAR_CAPTCHA captcha_text, http_body, "0","0","0","0","4","10","0" // отправляем запрос на удаление // переменные с префиксом row_ содержат значения данных из таблицы, // т.е. переменная row_url содержит адрес страницы, которую нужно удалить URL_POST "https://webmaster.yandex.com/delurl.xml" "url", row_url "do", "remove" "rep", captcha_text "key", form_key "sk", form_sk // проверяем ответ сервера на наш запрос SCRIPT // если задание выполнено if ((http_body.indexOf('The URL will be removed shortly') > 0) || (http_body.indexOf('not indexed') > 0)) { // выполняем команду DONE (выполнено успешно) return 'DONE'; } // если задание не может быть выполнено if ((http_body.indexOf('There is no reason to delete this URL') > 0) || (http_body.indexOf('protocol is not supported') > 0) || (http_body.indexOf('Invalid URL') > 0)) { // выполняем команду UNDONE (не может быть выполнено) return 'UNDONE'; } // если капча распознана неверно, то задание переносится на следующий цикл if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG "Incorrect CAPTCHA code"'; Важно! Созраняем все файлы в кодировке UTF-8 без BOM. Поздравляю! Ваш модуль готов к работе :yes: Скачать готовый модуль Del URL Yandex (http://tobbot.com/static/etc/modules/del-url-yandex.zip). 0) || (http_body.indexOf('not indexed') > 0)) { // выполняем команду DONE (выполнено успешно) return 'DONE'; } // если задание не может быть выполнено if ((http_body.indexOf('There is no reason to delete this URL') > 0) || (http_body.indexOf('protocol is not supported') > 0) || (http_body.indexOf('Invalid URL') > 0)) { // выполняем команду UNDONE (не может быть выполнено) return 'UNDONE'; } // если капча распознана неверно, то задание переносится на следующий цикл if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG "Incorrect CAPTCHA code"'; Важно! Созраняем все файлы в кодировке UTF-8 без BOM. Поздравляю! Ваш модуль готов к работе :yes: Скачать готовый модуль Del URL Yandex (http://tobbot.com/static/etc/modules/del-url-yandex.zip).]]> http://webmasters.ru/forum/showpost.php?p=713955 Wed, 11 Nov 2015 14:40:17 GMT Добавлена функция SESSION: разрешает/запрещает потоку использовать текущую сессию (cookie + proxy) при работе над следующим заданием. Добавлена функция VAR_SESSION: позволяет узнать кол-во выполненых заданий через текущую сессию. Где же это может пригодится? При выполнении заданий где требуется предварительная авторизация, например: // проверка сессии: новая или старая // а) если начата новая сессия, то идет авторизация в админку // б) если продолжается старая, то этап авторизации пропускается VAR_SESSION sessions_counter SCRIPT if (sessions_counter > 0) return 'GOTO "Already authorized"' // авторизация в админку URL_POST "http://example.com/wp-login.php" "log", "admin" "pwd", "qwerty" "wp-submit", "Войти" "redirect_to", ""http://example.com/wp-admin/" "testcookie", "1" LABEL "Already authorized" // устанавливаем флаг передачи текущей сессии в следующее задание SESSION+ // выполнение работ внутри админки //... //... Появилась новая версия модуля Add URL Yandex (http://tobbot.com/modules/add-url-yandex/). В работе модуля использованы функции конроля сессии, что позволило сократить расходы на капчу и увеличить скорость. http://tobbot.com/static/img/modules/add-url-yandex-0.png 0) return 'GOTO "Already authorized"' // авторизация в админку URL_POST "http://example.com/wp-login.php" "log", "admin" "pwd", "qwerty" "wp-submit", "Войти" "redirect_to", ""http://example.com/wp-admin/" "testcookie", "1" LABEL "Already authorized" // устанавливаем флаг передачи текущей сессии в следующее задание SESSION+ // выполнение работ внутри админки //... //... Появилась новая версия модуля Add URL Yandex (http://tobbot.com/modules/add-url-yandex/). В работе модуля использованы функции конроля сессии, что позволило сократить расходы на капчу и увеличить скорость. http://tobbot.com/static/img/modules/add-url-yandex-0.png]]> http://webmasters.ru/forum/showpost.php?p=715607 Mon, 23 Nov 2015 10:27:29 GMT после обновления адурилки перестала работать. пишет такое Error at line #18 (connect timed out) хотя до обновления работало норм и сейчас в ручную через браузер норм адурлится. как это исправить можно? http://webmasters.ru/forum/showpost.php?p=715608 Mon, 23 Nov 2015 10:36:26 GMT после обновления адурилки перестала работать. пишет такое Error at line #18 (connect timed out) В 18-ой строке указан код URL_GET "https://passport.yandex.com/" т.е. софт открывает страницу авторизации в Яндексе: https://passport.yandex.com/ может быть несколько причин по которой она у вас не открывается, но обновление тут не причем. Попробуйте позже. Попробуйте с/без прокси. http://webmasters.ru/forum/showpost.php?p=715618 Mon, 23 Nov 2015 12:03:35 GMT обновил java и вроде пошло дело http://webmasters.ru/forum/showpost.php?p=715648 Mon, 23 Nov 2015 13:54:59 GMT Go$Ya, вряд ли это связано, но я рад, что в итоге все получилось :good: http://webmasters.ru/forum/showpost.php?p=715665 Mon, 23 Nov 2015 15:46:48 GMT может и не связано, может и совпадение но факт) http://webmasters.ru/forum/showpost.php?p=719418 Wed, 16 Dec 2015 14:14:23 GMT Новая версия программы TOBBOT 1.5.1 http://tobbot.com/icon.png - Улучшен интерфейс программы. - Протестирована совместимость программы TOBBOT с программой TOR (https://www.torproject.org/projects/torbrowser.html.en). Чтобы запустить программу через TOR укажите в настройках прокси Settings > Proxy следующий адрес: 127.0.0.1:9150. - В API функциях основные изменения связаны с уточнением кодировок чтения / записи, указанием типа переменных и работе с Cookie: // загрузить бинарный файл с аватаркой используя кодировку BASE64 CHARSET "BASE64" VAR_FILE file_avatar, "D:/avatar.png" TYPE_FILE file_avatar, "BASE64", "avatar.png" // отправить POST запрос на сервер (загрузить аватарку) в кодировке Windows-1251 CHARSET "Windows-1251" URL_POST_MULTIPART "http://example.com/configure.php" "name", "Иванов Иван" "avatar", file_avatar "Submit", "Изменить аватар" Proxy следующий адрес: 127.0.0.1:9150. - В API функциях основные изменения связаны с уточнением кодировок чтения / записи, указанием типа переменных и работе с Cookie: // загрузить бинарный файл с аватаркой используя кодировку BASE64 CHARSET "BASE64" VAR_FILE file_avatar, "D:/avatar.png" TYPE_FILE file_avatar, "BASE64", "avatar.png" // отправить POST запрос на сервер (загрузить аватарку) в кодировке Windows-1251 CHARSET "Windows-1251" URL_POST_MULTIPART "http://example.com/configure.php" "name", "Иванов Иван" "avatar", file_avatar "Submit", "Изменить аватар"]]> http://webmasters.ru/forum/showpost.php?p=722791 Wed, 06 Jan 2016 12:13:32 GMT Поздравляю всех вебмастеров с Новым годом и Рождеством! И желаю вам: Мгновенной индексации, Отсутствия фильтрации, Высокой конвертации, За счет автоматизации! :drinks: Вышла версия TOBBOT 1.6.1 (http://tobbot.com/) Добавлены API функции HEADER и HEADER_DELETE, которые позволяют изменять заголовки HTTP запросов. Добавлены API функции для работы с файлами и директориями: DIR, DIR_DELETE, FILE_DELETE, VAR_FILE_SIZE. Добавлен бесплатный модуль Download File для массового скачивания файлов по ссылкам на них. Добавлен бесплатный модуль Accounts Yandex для регистрации и проверки аккаунтов Яндекс. Доработан бесплатный модуль Add URL Yandex. Также опубликован план развития (http://tobbot.com/donate/#todo) программы на 2016 год. Ваша помощь и предложения приветствуются! http://tobbot.com/icon.png http://webmasters.ru/forum/showpost.php?p=728360 Thu, 04 Feb 2016 11:12:07 GMT Вышла версия TOBBOT 1.7.1 http://tobbot.com/icon.png http://tobbot.com/static/img/index/main-window.png Упрощен интерфейс. Удалено назойливое окно "Work stopped Is everything ok?" :icon_question: Добавлена API функция URL_REQUEST (http://tobbot.com/help/api/#URL_REQUEST): позволяет выполнить запрос с любым методом: GET, POST, PUT, DELETE и др. Функция жизненно необходима при работе с RESTful сервисами работающими на AngularJS и аналогах. Добавлены новые бесплатные модули (http://tobbot.com/modules/): LiveInternet Rating Parser - собрать БД сайтов рейтинга LiveInternet. Google Suggests Parser - собрать поисковые подсказки для кейвордов (с подстановками). Google Translate Files - автоматически перевести тектовые файлы (любого размера!) на другой язык. Спасибо пользователю SZ, за разрешение вынести модули в общий доступ :drinks: http://webmasters.ru/forum/showpost.php?p=732659 Tue, 01 Mar 2016 08:12:02 GMT :shout: В течение недели ожидается выход TOBBOT 2.0 http://webmasters.ru/forum/showpost.php?p=732665 Tue, 01 Mar 2016 08:52:04 GMT Add url для яши и бинга нашел, а для гугла нет. http://webmasters.ru/forum/showpost.php?p=732666 Tue, 01 Mar 2016 08:59:50 GMT ggkettle, для гугла сейчас нет. http://webmasters.ru/forum/showpost.php?p=737260 Mon, 04 Apr 2016 14:41:48 GMT Вышла версия TOBBOT 2.0.0 http://tobbot.com/icon.png Прощай GOTO, здравствуй полноценный синтаксис современных языков программирования: циклы, функции, исключения и др. Можно использовать язык JavaScript (стандарт ECMAScript 5.1); Можно использовать язык Java (Java 8); Можно использовать объект T. для доступа к методам бота, например: T.addLog("Привет!"). Добавлено пространство глобальнных переменных: T.getGlobalObject(String key) - получить значение / объект; T.setGlobalObject(String key, Object object) - установить значение / объект. Добавлена возможность синхронизации потоков при выполнении действия: T.lock() - заблокировать доступ остальным потокам; T.unlock - разрешить доступ остальным потокам. Добавлены короткие синонимы для вызова наиболее популярных методов: T.log() для T.addLog(); T.get() для T.getRowValue(); T.set() для T.setRowValue() и другие методы. Немного изменен интерфейс пользователя: В окне массвового редактирования строк добавлена кнопка Path, для указания пути к файлу / файлам; Изменен интерфейс всплывающих уведомлений / ошибок. Часть бесплатных модулей уже перенесены на новую версию. ----- С днем вебмастера, друзья! TOBBOT 2.0.0 это мой вам подарок сегодня. Пользуйтесь на здоровье :drinks: http://webmasters.ru/forum/showpost.php?p=738244 Tue, 12 Apr 2016 19:00:40 GMT Несколько старых модулей обновлены для использования с новой версий программы. Добавлен бесплатный модуль: Yandex Parser (http://tobbot.com/modules/yandex-parser/) Парсер перебирает все страницы выдачи по указанному кею и записывает результат в указанный файл. Вы можете ограничить количество результатов по запросу (по умолчанию 1000). http://webmasters.ru/forum/showpost.php?p=744652 Wed, 08 Jun 2016 07:09:29 GMT Интересный софт. Когда будет готов Add URL Yandex?) http://webmasters.ru/forum/showpost.php?p=744675 Wed, 08 Jun 2016 10:24:27 GMT Когда будет готов Add URL Yandex?) Если новой работы не подкинут, то сделаю к концу недели. http://webmasters.ru/forum/showpost.php?p=749835 Wed, 20 Jul 2016 14:54:14 GMT Вышла новая версия TOBBOT 2.1.3 (http://tobbot.com/) http://tobbot.com/icon.png Исправлены ошибки предыдущих версий. Добавлена возможнось использования сторонних Java библиотек: JavaMail, Apache POI и т.д. Просто добавьте интересующие вас библиотеки (JAR файлы) в директорию libs/ программы. Все модули (http://tobbot.com/modules/)протестированы и приведены в рабочее состояние: Accounts Yandex - авторегистрация Яндекс аккаунтов; Yandex Parser - парсер выдачи Яндекса; Yandex Add URL - отправка запроса на добавление страницы в индекс Яндекса; Yandex Del URL - отправка запроса на удаление страницы (код 404) из индекса Яндекса; Bing Add URL - отправка запроса на добавление страницы в индекс Bing; Download Files - загрузка файлов по указанным ссылкам. http://webmasters.ru/forum/showpost.php?p=751881 Thu, 11 Aug 2016 02:56:45 GMT В новом вебмастере аддурилка привязана к кабинету вебмастера, есть ли возможность с помощью TOBBOT обходить ограничения? http://webmasters.ru/forum/showpost.php?p=751892 Thu, 11 Aug 2016 07:18:54 GMT Модуль Add URL Yandex работает через старую версию вебмастера https://old.webmaster.yandex.ru/ http://webmasters.ru/forum/showpost.php?p=752366 Tue, 16 Aug 2016 20:01:00 GMT Заказал модуль, ТС исчез с радара... http://webmasters.ru/forum/showpost.php?p=752799 Fri, 19 Aug 2016 13:39:06 GMT ТС сделал сложный парсер, ценой и результатом доволен. http://webmasters.ru/forum/showpost.php?p=752803 Fri, 19 Aug 2016 13:58:27 GMT Скачал, но не вижу экзешника для запуска. http://webmasters.ru/forum/showpost.php?p=752836 Fri, 19 Aug 2016 17:14:49 GMT Запустите .jar