[alexz15]

На форуме доступна для скачивания Beta-версия!

1. Теперь моды будут в папке inc/mods, включая мод комментов.



2. В конфиге есть опция

PHP код:

$fullParseMod = '0'; // парсить сайты/выдачу ПС полностью, включая html-код (1 - ДА, 0 - НЕТ)
# если ДА, то дорген спарсит страницу 


Опция сырая!



3. Автообновление парсеров:
В конфиге есть опция

PHP код:

$autoUpdateParsers = '48'; // через сколько часов проверить и обновить (если требуется) нерабочие парсеры (кол-во часов - АВТООБНОВЛЕНИЕ ВКЛЮЧЕНО, 0 - НЕ ИСПОЛЬЗОВАТЬ АВТООБНОВЛЕНИЕ) 


Чтобы опция заработала - перейдите на форум и активируйте ее http://seodor.biz/forum/account/upgrades
Скрипт будет проверять наличие обновлений для парсеров. Опция будет с символической платой, чтобы парсеры обновлялись автоматически, если они нерабочие. Всегда бесплатно их можно будет обновить вручную, скачав архив на форуме.



4. Теперь в макросах генерации текста типа [L_KEY_TO_TEXT-X]content[/L_KEY_TO_TEXT] - X выводит указанное кол-во вставляемых кеев. Эти макросы можно прописать так:
[L_KEY_TO_TEXT-X-Y]content[/L_KEY_TO_TEXT], где X-Y - кол-во кеев в content'e от X до Y.
Чтобы отключить выделение кеев жирным шрифтом, в файле inc/functions.php в функции insert_key_to_text укажите пустую переменную $tags.



5. При формировании урлов вырезаются слова, которые меньше 3-х символов.



6. Новые макросы:

[L_MAPLINK_TO_TEXT-X]content[/L_MAPLINK_TO_TEXT] - Вставляет в content рандомную ссылку из карты сайта, где X - кол-во ссылок (можно прописать так: X-Y, т.е. ОТ и ДО ссылок).

[L_MAPLINK_TO_RTEXT-X]content[/L_MAPLINK_TO_RTEXT] - Вставляет в content рандомную ссылку из карты сайта и перемешивает в нем части речи (разделителями между частями речи считаются символы ",.!?"), где X - кол-во ссылок (можно прописать так: X-Y, т.е. ОТ и ДО ссылок).

[L_MAPWORDSLINK_TO_TEXT-X]content[/L_MAPWORDSLINK_TO_TEXT] - Вставляет в content рандомную ссылку из карты сайта, разбитую на случайное слово в ней, где X - кол-во ссылок (можно прописать так: X-Y, т.е. ОТ и ДО ссылок).

[L_MAPWORDSLINK_TO_RTEXT-X]content[/L_MAPWORDSLINK_TO_RTEXT] - Вставляет в content рандомную ссылку из карты сайта и перемешивает в нем части речи (разделителями между частями речи считаются символы ",.!?"), разбитую на случайное слово в ней, где X - кол-во ссылок (можно прописать так: X-Y, т.е. ОТ и ДО ссылок).

Марковка:

[L_MARKOV-X-Y]content[/L_MARKOV] - сгенерит марковку из content'a, от X до Y предложений.

[L_MARKOV_KEY-{N1-NX}-X-Y]content[/L_MARKOV_KEY] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX кеев из $keywords.
[L_MARKOV_KEYLINK-{N1-NX}-X-Y]content[/L_MARKOV_KEYLINK] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX ссылок-кеев из $keywords на новые страницы дора.
[L_MARKOV_KEYWORDSLINK-{N1-NX}-X-Y]content[/L_MARKOV_KEYWORDSLINK] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX ссылок-кеев из $keywords, разбитые на случайные слова.

[L_MARKOV_QUERY-{N1-NX}-X-Y]content[/L_MARKOV_QUERY] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX раз текущий запрос.
[L_MARKOV_QUERYWORDS-{N1-NX}-X-Y]content[/L_MARKOV_QUERYWORDS] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX раз текущий запрос разбитый на слова.

[L_MARKOV_MAPLINK-{N1-NX}-X-Y]content[/L_MARKOV_MAPLINK] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX случайных ссылок из карты.
[L_MARKOV_MAPWORDSLINK-{N1-NX}-X-Y]content[/L_MARKOV_MAPWORDSLINK] - сгенерит марковку из content'a, от X до Y предложений, где вставит от N1 до NX случайных ссылок из карты разбитые на слова.

Пример:

[L_MARKOV_QUERY-{1-2}-4-8][L_REPEAT-20-20][Q_CONTENT] [/L_REPEAT][/L_MARKOV_QUERY] - из 20 спарсенных предложений сделает 4-8 предложений с марковкой и вставит в текст 1-2 раза текущий запрос

[alexz15]

На форуме добавил 5 новых парсеров - 4 контента и 1 парсер картинок.

Всего парсеров 43:
18 контента;
11 картинок;
10 видео;
универсальный парсер сайтов по запросу;
парсер rss-лент;
парсер кеев из rss-лент и txt;
парсер Твиттера.

Прошу внимания пользователей SEoDOR'a!

[alexz15]

Внимание всем желающим приобрести дорген со скидкой!

До 31.03.2014 23:59 действует акция 200$-45%=110$

Акция продлится всего два дня, поэтому не упустите свой шанс приобрести дорген и доступ на форум техподдержки!

Для покупки доргена пишите в аську 775084 или скайп alexz006.

[zxgame]

Сеодор - довольно нужная вещь в хозяйстве, сейчас работает стабильно (по-началу приходилось конечно ручками дорабатывать). Использую как парсер ПС под свои нужды (т.е. вы можете приспособить - допилить под себя), код открыт - делайте что хотите. Есть 2 проги десктопных, в свое время обошлись в 2,5 к/р (сейчас, конечно, не использую), они делали %20 от того над чем сейчас трудится Сеодор.
Связка Сеодор + Зенка = безграничные возможности
Обновления постоянно, можете вносить свои пожелания - если они стоящие, включаются в новые версии. Если вы уже задумывались, но сомневались над покупкой - акция - удачный вариант!

[Yuzver]

Давно купил продукт.
А сейчас хочется выразить благодарность за тех. поддержку, советы и просто так.
СД стоит своих денег. Пожалуй, самое удачное приобретение из ветки чудогенераторов.

[habapup]

В последнее время автор добавил очень много различных полезных функций, что стоит только маскировка дорвея под известные CMS, те-же короткие новости. При грамотном подходе можно штамповать ДДЛ которые будут нормально входить в индекс и приносить профит. Спасибо автору.

[fortinbras]

Отличный продукт, приобрел его давненько. Автор постоянно балует дополнениями и обновлениями. Да и поддержка с его стороны присутствует. Считаю, что деньги потрачены не зря.

[alexz15]

Всем привет! Отдельное спасибо пользователям за отзывы!)
До 20 апреля действует скидка 20% (160$), плюс учитываются промокоды от пользователей
Также готовится скорое обновление, в котором, как всегда, будут улучшения и новые фичи!

[alexz15]

Поздравляю всех с Днем Победы! Пусть в ваших домах всегда будет мир, покой и радость!

До 10 мая (включительно) действует акция - 25% - 150$!

Близится обновление, в котором будет реализовано много полезностей, таких как поиск по дору, похожие новости, маскировка удаленных url'ов картинок под "свои" (было в шаблоне site.ru/image.jpg, стало dor.ru/123-key.jpg), новые виды ЧПУ, новые макросы, локальные макросы без повторов на странице, улучшения некоторых функций и другие фичи :)

[alexz15]

Приветствую, уважаемые форумчане!

Рад представить Вам обновленный SEoDOR v3.0!

И сразу пару демок:
http://www.mp3vk.org/ - демонстрирует возможности мультикеев, похожих новостей, поиск и скачивание музыки с контакта (ссылки на mp3 прямые, как бы "свои"), а также поиск по сайту.
http://tramtararam.net/ - режим мешанки параграфов со спарсенных сайтов-доноров по запросу, поиск по сайту, короткие новости.

Стоимость доргена составляет $200.
Обновления бесплатные!

ICQ: 775084, другие контакты.

Новые возможности:

Маскировка удаленных URL'ов картинок под 'свои':

Было в шаблоне:

Код:

<img src="http://site.com/image.jpg">

Стало:

Код:

<img src="/imgs/123-keyword.jpg">
или
<img src="/imgs/he6hkl3o3.jpg">

Теперь в файле мультикеев, а также просто в шаблоне, можно указывать урлы на картинки с сайтов-доноров и дорген их будет выводить как "свои".


Новые возможности режима Мультикей:

- генерация своего URL'a страницы для кейворда.
Например, файл кеев такой:

Код:

Кейворд;любой_url_для_этого_кея

Тогда в шаблоне можно прописать вывод ссылки на страницу так:

Код:

<a href="[S_DOR_URL][MKEYURL-metka-2]" title="[L_MULTIKEY-metka-1]">
[MKEYPART-metka-1]
</a>

На выходе получим:

Код:

<a href="http://dor.ru/lyboy-url-dlya-etogo-keya.html" title="Кейворд">
Кейворд
</a>

Также по одному мультикею теперь можно сгенерировать несколько страниц, например, один мультикей - 2 страницы:
http://www.mp3vk.org/artists/beastie-boys.html
http://www.mp3vk.org/beastie-boys/he...-2009-cd1.html
Урлы, как и выше я описывал, генерируются макросом [MKEYURL-X-Y], где:
X - метка строки;
Y - номер подключа.


Парсинг аудио с соц. сети VK:

Можно парсить MP3 по любому указанному кейворду в шаблоне. Если не указан кейворд, то парсинг происходит по текущему кею страницы. Ссылки на файлы MP3 получаются прямыми, т.е. как бы "свои": /mp3/73616548_259281488.mp3. Для работы с VK нужно создать приложение и получить токен, т.к. парсинг идет через API.


Поиск по сайту:

В поисковой форме сайта можно ввести запрос и дорген выдаст страницы, отвечающие этому поисковому запросу. Поисковый запрос автоматически становится текущим кейвордом (он выводится в шаблоне макросами [L_QUERY] и [L_QUERY_FULL]), т.е. если в шаблоне указаны макросы парсинга любого контента, то поисковыми результатами будет спарсенный контент по этому запросу.
Как, например, сайт www.mp3vk.org - поиск музыки с VK + демонстрация режима мультикеев + "свои" картинки + похожие новости.

В конфиге доргена указывается префикс, который говорит доргену, что это поисковый запрос. Например,

• префикс search/, то при переходе на http://dor.ru/search/любой запрос - покажет результаты поиска по сайту по запросу "любой запрос".
• Префикс можно написать еще так: search.php?q=, тогда поиск будет работать в таком URLе: http://dor.ru/search.php?q=любой запрос
• А если его вообще убрать, то результаты поиска будут в таком урле: http://dor.ru/любой запрос

В конфиге можно указать кешировать результаты поиска или нет:

• не кешировать,
• кеш обновляется по указанному периоду времени,
• результаты кешируются как страницы - в постоянный кеш, записывается ссылка на страницу в карту сайта.

Похожие новости:

Эти макросы похожи с "короткими новостями" и "поиском по сайту", но они сверяют схожесть текущего запроса с уже закешированными новостями и выводят релевантные. С закешированными страницами сверяется каждое слово из текущего запроса.


Поддержка прокси с авторизацией:

Типы поддерживаемых прокси: HTTP, SOCKS4, SOCKS5.
Поддерживаемые форматы файла с проксями:

Код:

ip:port
username:password@ip:port
http://ip:port
socks5://username:password@ip:port

Если не указан тип прокси (socks5:// и тд), то используется из опции в конфиге доргена.


Новые виды URL'ов:

Поддерживаемые типы URL'ов (это касается и режима сабдоменов - url_type_sab.site.ru) :

1. httр://www.dоr.ru/category/sample-post.html - По умолчанию
2. httр://www.dоr.ru/2013/05/13/sample-post.html - День и название
3. httр://www.dоr.ru/2013/05/sample-post.html - Месяц и название
4. httр://www.dоr.ru/category/91dbd3dbd0e3ca61e1d3834304417636.html - md5(sample-post)
5. httр://www.dоr.ru/sample-post/ - Название записи
6. httр://www.dоr.ru/category/12345-sample-post.html - Префикс и название
7. httр://www.dоr.ru/category/fnzcyr-cbfg.html - str_rot13(sample-post)
8. httр://www.dоr.ru/category/fnzcyrcbfg.html - str_rot13(samplepost) - без тире
9. httр://www.dоr.ru/category/91dbd3dbd0.html - обрезанный md5 до 10 символов
10. httр://www.dоr.ru/category/1234567890.html - 10 символов из цифр

Новые виды парсинга:

Поддерживаемые виды парсинга в доргене:

1. "Обычный" - макрос Q_CONTENT будет выводить спарсенное предложение с рандомной ПС по запросу.
2. "Мешанка" - макрос Q_CONTENT будет выводить спарсенное предложение с сайта-донора.
3. "Мешанка из абзацев" - макрос Q_CONTENT будет выводить абзац из нескольких предложений со спарсенных сайтов по запросу.
4. "Полные статьи" - макрос Q_CONTENT будет выводить статью полностью с сайта-донора.
5. "Контент между <body>" - макрос Q_CONTENT будет выводить спарсенную страницу между тегами <body> с сайта-донора.

Кол-во сайтов-доноров, которые нужно спарсить за один проход указывается в конфиге.


Автообновление парсеров:

В конфиге доргена указывается период времени, через который скрипт проверит обновления парсеров и обновит их, если это требуется. Автообновление включает в себя обновление парсеров контента, видео, картинок и аудио. Опция начинает работать после символической оплаты - 3$/месяц.
В APPS появилась кнопка, при нажатии на которую скрипт немедленно проверит обновления.


Работа с кешем доров в APPS:

В APPS, в разделе кеширования, появилась возможность удаления отдельных частей кеша доров, плюс полное удаление страницы с сайта - при удалении страницы будет выдаваться 404:


Если вам не нужна определенная страница, то удалите из файла кеев ненужный кей этой страницы и нажмите кнопку "Удалить страницу".


Уникализация, генерация контента:

В предыдущей бета-версии появились макросы генерации контента на основе цепей Маркова. Источником для генерации контента может быть любой текстовый контент - как спарсенный, так и заготовленный самостоятельно.

Улучшения:

• Оптимизирована функция автоопределения кодировки сайта-донора, которая избавляет сайт от крякозябр и неверной перекодировки контента.
• Оптимизирована функция обработки контента при парсинге нескольких сайтов по запросу в режимах статей, которая экономит ресурсы сервера, а также увеличивает скорость обработки.
• В APPS теперь рабочий шаблон можно выбрать из списка.
• В макросах генерации контента, типа [L_KEY_TO_TEXT-X], X выводит указанное кол-во вставляемых кеев в текст, а не процент.
• Макрос {SHORT_USER_DATA_COPY-X} теперь "копирует" любой контент с меткой X для "коротких новостей/похожих новостей/поиска по сайту", который затем "вставляется" макросом {SHORT_NEWS_USER_DATA-X}, с этой же меткой X. Метка может называться как удобно.
• Следующие локальные макросы теперь выводят контент без повторов на странице:
  
  Код:

  [L_KEY-{Z}-X-Y] - Случайный кейворд из $keywords
  [L_BKEY-{Z}-X-Y] - Случайный кейворд из $keywords с большой буквы
  [L_KEY_URL-{Z}-X-Y] - url со случайным кейвордом из $keywords в латинице (sluchayniy-keyword.html)
  [L_KEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords
  [L_BKEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords с большой буквы
  [L_MAP_URL-{Z}-X-Y] - Случайный внутренний URL из карты сайта
  [L_MAP_KEY-{Z}-X-Y] - Случайный анкор из карты сайта
  [L_MAP_HREF-{Z}-X-Y] - Случайная внутренняя ссылка из карты сайта
  [L_RANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt
  [L_BRANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt с большой буквы

  Два последних макроса выше выведут контент без повторов, только если используются доп. параметры -{Z}-X-Y.

Новые макросы:

• [I_VK_TRACK-{Z}-X-Y-{Q}] - выводит трек по поисковому запросу с VK в виде аудио-плеера, где Q - поисковый запрос. Если нет поискового запроса (макрос прописан так: [I_VK_TRACK-{Z}-X-Y]), то поиск будет идти по текущему кею.
• [S_TEMPL_REAL] - в отличии от [S_TEMPL], который при маскировке под CMS выведет путь типа /wp-content/themes/my_templ/, данный макрос выведет реальный путь к текущему шаблону /templates/my_templ/
• {{привет||{{здравствуйте||доб рый день}}||эге-ге-ге!}} - вставляется рандомный текст из указанных, разделенный «||». Можно использовать любые макросы и указывать много вариантов. Поддерживается вложенность.

Обновил плагин макросов (вкладка "Плагин для N++"), а также макросы на сайте.
Еще были многочисленные изменения в коде по оптимизации, а также некоторые фиксы, о которых расписывать не буду).