http://webmasters.ru/forum/showthread.php?t=75640 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1743608644 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=751431 Sun, 07 Aug 2016 08:18:04 GMT Дорген нового поколения с модульной структурой и легкой расширяемостью для создания белых дорвеев (серых сайтов) с «живым» контентом (автонаполнение, постепенное появление юзерских профилей, записей и ответов), которые ничем не будут похожи на привычные уродливые доры с генеренным нечитаемым текстом. Легкая расширяемость (добавления своих скриптов и парсеров контента) поможет легко создать уникальный дорвей, не похожий на те дорвеи, которые генерируют другие этим же доргеном. А удобный шаблон (требуется знание основ PHP) поможет сделать дорвей с неповторимой структурой, с «закосом» под живой форум, блог, статейник или даже интернет магазин. Нагрузка на сервер от доргена минимальна. https://imgwm.com/img/9ff/6b3/276fb62ca0972c53e6200a5ff4.png https://imgwm.com/img/c44/299/cc9214527cee58e854218acfc2.png https://imgwm.com/img/8d0/523/d665ab007930d10b6c385143bd.png https://imgwm.com/img/72b/856/f721b55a7508aea6b4f57cc5db.png Демо версии: пример с форумной структурой - punbb.ml (http://punbb.ml), пример с блоговой структурой - blog.punbb.ml (http://blog.punbb.ml). Партнерка «Где слон?» одобряет дорген WmsnDorgen. https://imgwm.com/upload/4ee/a37/8c6d9f0c3065852789d7a211c5.png Купить генератор дорвеев: купить за 20$ (обновления бесплатные) https://wmsn.biz/dorgen.php?page=5203 Перед работой с доргеном - внимательно прочитайте всю эту инструкцию: Требования к хостингу: php 5.5 и выше, sqlite3, curl. Если что-то пойдет не так, в папке с доргеном может появиться лог ошибок в файле error_log.txt, там может быть ответ на произошедшую ошибку. Установка: Все файлы и скрипты сохранять в utf-8 кодировке. Настроить перед заливкой на сервер конфиг db/conf.php, список ключевиков db/keys.txt, список категорий db/categories.txt, залить на сервер, поставив права на запись на папки: avatars, cache, db. Первый заход на сайт сгенерит базу и 20 первоначальных пользователей. Далее поставить на крон парсер, добавив cron задание типа: */10 * * * * wget -U DorGen --spider --no-cache --no-parent http://дорвей/cron.php Установка завершена. Описание скриптов и структура доргена: Папка avatars - папка для хранения аватарок, имя папки можно изменить в конфиге и переименовать саму папку. При переустановке дорвея (удалении основной базы) - очищать от собранных аватарок. Папка cache - папка для кеша и временных файлов, при переустановке дорвея очищать от всех файлов, кроме index.html. Папка cms - скрипты ядра движка, все минималистично, трогать скрипты без надобности не надо, при обновлениях доргена на новые версии - перезаписывать старые версии новыми. Папка db - пользовательские данные, там будет создана база, туда загружать ключевики и категории. Папка parsers - скрипты парсеров. Папка templates - папки с шаблонами. Скрипты в корне: .htaccess, category.php, contact.php, cron.php, error.php, index.php, page.php, redirect.php, rss.php, sitemap.php, user.php - скрипты ядра движка, без надобности в них лазить не надо. При выходе новых версий - старые скрипты перезаписывать новыми. Файл db/categories.txt - список рубрик. Используется только один раз, при первоначальной загрузке данных в базу. Формат (максимально полный), через вертикальную черту: Человеческое название рубрики|url-category-na-latinitse|Человеческое описание рубрики. Можно также только: Название|urlcategory. Минимальный формат: просто построчно список рубрик на русском языке (или на любом другом, использующем кирилицу или латиницу), урл рубрики будет сгенерен из транслита названия. Для других непонятных языков, не поддающихся транслиту будет сгенерен урл в виде md5 хэша названия. Файл db/keys.txt - список ключевиков. Используется только один раз, при первоначальной загрузке данных в базу. Формат (максимально полный), через вертикальную черту: Ключевик|url-category-na-latinitse (ключевик и урл или название на русском категории в которую его размещать). Можно просто список ключевиков построчно, тогда по категориям ключевики будут раскиданы рандомно. Файл db/counter.txt - код счетчиков, инклудится в шаблонах. Поменять содержимое можно в любое время при жизне дорвея. Файл db/htmllines.txt - список строк для вставки в виде ответов, при использовании парсера answers_htmllines.php Файл db/tut.txt - список слов, используемых в парсере answers_tut_link.php. Парсеры из parsers: titles_*.php - при парсинге будет браться рандомно один из парсеров заглавий, если один парсер не получил результат - будет применен следующий парсер, если ни один из парсеров ничего не получил - заглавием будет первоначальный ключевик. contents_*.php - при парсинге будет браться рандомный парсер контента страницы, если один парсер не получил результат - будет применен следующий парсер, если ни один из парсеров ничего не получил - контентом будет первоначальный ключевик. answers_*.php - парсеры ответов (комментарии), применяются все имеющиеся парсеры по очереди, в базу записываются только успешные результаты парсинга ответов к странице. Почти в каждом парсере внутри есть дополнительные настройки. Потому рекомендуется просмотреть все скрипты парсеров и настроить их под себя. titles_bing_snip.php - получает заглавие для страницы из title тематического сайта из топа bing.com. titles_otvet_mail.php - получает тематическое заглавие из вопроса с сайта otvet.mail.ru contents_bing_snip.php - получает контент из снипета (дескрипшена) тематического сайта из топа bing.com, получается очень коротенькая запись. contents_otvet_mail.php - получает контент с сайта otvet.mail.ru, запись получается короткая, в 95% случаев в виде вопросительного предложения. contents_rich_content.php - контент получается по схеме - парсятся ссылки на тематические сайты из топа bing.com, потом парсер идет по ссылкам и ищет там абзацы (в теге p), получаются красивые большие куски (абзацы) читаемого текста. Парсер медленный. contents_youtube_image.php - контент в виде тематического скрина (.jpg) с видео из youtube.com + названия видео. Картинка размечена микроразметкой schema.org/ImageObject contents_youtube_video.php - контент в виде тематического видео и его названия с youtube.com answers_bing_image.php - коммент, в качестве ответа будет просто тематическая картинка из топа bing.com answers_bing_snip.php - парсер ответа из дескрипшена рандомного сайта из топа bing.com answers_htmllines.php - добавление в ответ рандомной строки из файла db/htmllines.txt answers_otvet_mail.php - краткий ответ из ответов otvet.mail.ru answers_rich_content.php - ответ получается по схеме - парсятся ссылки на тематические сайты из топа bing.com, потом парсер идет по ссылкам и ищет там абзацы (в теге p), получаются красивые большие куски (абзацы) читаемого текста. Парсер медленный. answers_slon.php - добавление в ответ рефссылок на товары партнерки "Где слон". answers_tut_link.php - добавление рандомного текста из файла db/tut.txt + ссылку на тдс через локальный редирект + цитирование стартового поста. answers_twitter.php - ответы из записей твиттера. answers_youtube_image.php - парсер ответа из youtube (картинка + название видео), картинка размечена микроразметкой schema.org/ImageObject. answers_youtube_video.php - парсер ответа из youtube (видео + название видео) users_vk.php - парсер профилей из вконтакта. Структура шаблонов: в папке templates папки с именами шаблонов, в папке с шаблоном собственно шаблоны: category.php (шаблон рубрики, в которой списки страниц), contact.php (контактная форма), error.php (страница ошибки, можно делать фейковой формой авторизации), index.php (главная страница сайта), page.php (страница отдельной записи), user.php (страница профиля юзера). Для редактирования или создания новых шаблонов нужно знать основы php. Прочие нюансы: RSS лента находится по адресу rss.xml, показывает последние 25 записей. XML карта сайта находится по адресу sitemap.xml, поставить на нее ссылку в robots.txt Форма обратной связи contact.html настоящая, с нее могут приходить письма, от спама норм защищена. Желательно делать не больше 50000 ключевиков на дор, если больше - sitemap.xml будет невалидным и тормозить. Скрипт в ближайшее время будет активно развиваться. Следите за обновлениями. https://imgwm.com/img/f22/f27/c4bc9bf936bce82bbbad6fb4a8.png https://imgwm.com/img/4d7/168/0122362fd7d8585f8d2dafc21b.png https://imgwm.com/img/750/bf0/7bb62139895ea452f0cc4e76b9.png https://imgwm.com/img/ad8/55b/27c7f4b0411ec085bc08c1e0ce.png https://imgwm.com/img/d11/374/4f3652d0ef2aa4c99ae0a0ff0d.png https://imgwm.com/img/0ed/f24/98e13644722124926c73bfc2fa.png https://imgwm.com/img/fe7/20a/a21ad7c5f326849b0db8f443b2.png https://imgwm.com/img/17b/6fc/02f62aea264701c354cad2723c.png https://imgwm.com/img/9fa/14a/d4db4b216a6bdccf175487cff5.png https://wmsn.biz/dorgen.php?page=5203 http://webmasters.ru/forum/showpost.php?p=751501 Mon, 08 Aug 2016 03:11:52 GMT не забанят ли парсеры ip с котрого идет парсинг? на первый взгляд вид это тот же самый sed в юнном возрасте)? http://webmasters.ru/forum/showpost.php?p=751502 Mon, 08 Aug 2016 03:32:58 GMT Доры по определению не могут быть белыми) Но схема инетресная. http://webmasters.ru/forum/showpost.php?p=751680 Tue, 09 Aug 2016 13:05:55 GMT Go$Ya, не понял кто кого должен забанить. Но доры работают замечательно. http://webmasters.ru/forum/showpost.php?p=751804 Wed, 10 Aug 2016 08:03:39 GMT Megasonic,забанят источники тот ip сервера( дора) те откуда парситься контент за частые обращения. доры может работают замечательно но нафига на ру дорах из примеров выше тексты на иностранных языках? https://i.gyazo.com/29af16af2d2ad0814fb026912fef263e.png https://i.gyazo.com/da45caf7f7b2ae3adc64ba695bd70eb7.png https://i.gyazo.com/aa2672c99ce7808e4cf518ea07015781.png http://webmasters.ru/forum/showpost.php?p=751845 Wed, 10 Aug 2016 13:17:27 GMT С дорами новичок, в программировании и всем таком не разбираюсь. Так... взял побаловаться, сделал дор. Получился затык с кроном, автоматические не хотели новые страницы создаваться. Техподдержка говорит такое: http://f3.s.qip.ru/X3Xjlfzf.png Удалил эти строки с htaccess, это норм? Или надо что то как то по другому сделать? Ну парсинг после этого заработал. Хостинг бегет если что ))) http://webmasters.ru/forum/showpost.php?p=751867 Wed, 10 Aug 2016 17:02:31 GMT С уникальностью есть некоторые проблемы, сколько дор живет в среднем? http://webmasters.ru/forum/showpost.php?p=751955 Thu, 11 Aug 2016 11:47:26 GMT С уникальностью есть некоторые проблемы, сколько дор живет в среднем? Доргену отроду неделя. Сам только пару дней как купил. Но предыдущий дорген автора (автодор) до сих пор все нахваливают. Внимание: 15-го числа повышение цены до 30$ http://webmasters.ru/forum/showpost.php?p=751972 Fri, 12 Aug 2016 00:34:50 GMT Видел такие доры в выдаче. Парсят контент с сайтов из топов и засирают выдачу поисковиков. Ничего нового, в общем, и оригинального. http://webmasters.ru/forum/showpost.php?p=752076 Sat, 13 Aug 2016 05:34:29 GMT Видел такие доры в выдаче. Парсят контент с сайтов из топов и засирают выдачу поисковиков. Ничего нового, в общем, и оригинального. Нового здесь то, что это кнопка Бабло . Форумные доры всегда нравились поисковикам. Здесь получается динамический дор, который ест мало ресурсов в отличие от других доров. Качество дора получается выше чем делать шаблоны под другие доргены, т.к. снаружи получается полноценный форум, а не его видимость. И делается все это из коробки: закинул ключи, категории и все! Он работает. Для тех кто хочет попробовать дорвеи прямо сейчас, но нет времени в них разбираться - вообще идеальный вариант. ---------- Сообщение добавлено 14:34 ---------- Предыдущее 14:03 ---------- но нафига на ру дорах из примеров выше тексты на иностранных языках? Ответ автора: текущие парсеры допилил, чтоб там меньше маячило контента на не том языке, который хотелось бы, сделал парсеры бурж профилей юзера, парсер ответов Yahoo, добавил еще один крутой парсер красивого контента (для всех языков). http://webmasters.ru/forum/showpost.php?p=752106 Sat, 13 Aug 2016 20:09:34 GMT ТС, раньше никогда не имел дела с дорами. Интересно просто поковырять. Скажите, а под бурж оно нормально парсит и генерит? http://webmasters.ru/forum/showpost.php?p=752118 Sun, 14 Aug 2016 04:35:03 GMT Автор что-то там доделывал для работы с буржом. Обещал выкатить с обновлением. Из его блога: Пример того, что в новой версии дорген может надергать из ответов яхо (каждый абзац из разной страницы) на инглише : френч: #wmsndorgen на других языках там правда нихрена хорошего нету. количество результатов настраиваемо. https://wmsn.biz/dorgen.php?page=5203 https://imgwm.com/img/8c0/870/3261b879bc4bec0b491fa3f29a.png Сам я не пробовал с буржом. http://webmasters.ru/forum/showpost.php?p=752199 Mon, 15 Aug 2016 04:56:19 GMT Я бы прикупил такой доргенчик, если бы диалоги в нем были бы похожи на реальное общение, а не бред душевно больных юзеров. Оно и понятно, что форумы поисковики любили и будут любить всегда. http://webmasters.ru/forum/showpost.php?p=752420 Wed, 17 Aug 2016 06:28:51 GMT Я бы прикупил такой доргенчик, если бы диалоги в нем были бы похожи на реальное общение, а не бред душевно больных юзеров. Оно и понятно, что форумы поисковики любили и будут любить всегда. а зачем там реальное общение? Это же доры! Они и без этого денег приносят. Реальное общение - это уже только полный копипаст. А как сейчас работает копипаст я не знаю.