смысл в том, что если из выдачи спарсился урл по какому-то признаку, то он по определению в индексе, даже если его роботс и пытался запретить, так что метода эта работает.
03.11.2011 14:48- 0
- 04.11.2011 07:23Дипломник
- Регистрация: 06.07.2010
- Сообщений: 111
- Репутация: 14
Отличный материал. Не плохо было бы научиться проверять Nofollow и Noindex либо ручками, либо программками. Судя по активности на форуме, именно простые темы становятся наиболее популярными. Может еще кто поделиться элементарными познаниями, которые для профи считаются азбукой?
- 0
- 04.11.2011 19:08Дипломник
- Регистрация: 22.09.2011
- Сообщений: 173
- Репутация: 24
http://yandex.ua/yandsearch?date=&te...mdoc=50&lr=142 таков мой способ... заодно позволяет обойти noindex... + регион для гео таргетинга + дата посвежее, чтоб не сильно заспамлены были...
- 0
- 07.11.2011 16:54Дипломник
- Регистрация: 29.08.2011
- Сообщений: 112
- Репутация: 6
Прекрасная тема. По моему до Вас никто еще так подробно не описывал эту тему.
p.s Еще бы как - то автоматизировать этот процесс)- 0
- 09.11.2011 16:49Дипломник
- Регистрация: 18.09.2011
- Сообщений: 106
- Репутация: 11
Попробуем спасибо, для работы очень пригодиться.
- 0
- 09.11.2011 17:12
Спасибо,статья полезная...учту...
- -1
- 14.11.2011 19:50Дипломник
- Регистрация: 30.08.2011
- Сообщений: 142
- Репутация: 9
Благодарю, давно хотел собрать свою базу, но никак не знал как к этому подойти, но теперь конечно все будет просто!
- 0
- 14.11.2011 19:56Новичок
- Регистрация: 06.10.2011
- Сообщений: 7
- Репутация: 6
Могу вам подкинуть еще идейку, наверняка не все такое знают:
Пример поиска страницы добавления новости на DLE
inurl:"addnews.html"
Аналогичен следующему запросу
-intext:"addnews.html" -intitle:"addnews.html" "addnews.html"
Тут написано
Искать точные совпадения addnews.html не в text и не в title
А кроме тексат и титла можно искать только в URL
По казалось бы двум одинаковым запросам получаем разную выдачу, которую сразу и не поймешь на первой странице поиска - если сайтов в выдаче разумеется много.
Такой подход уже давно задействован у нас в парсере.
А для поиска форумов у нас например в парсере по умолчанию уже имеется 63 подобных запросов - которые называются Доп Фразы и плюс ко всему они еще крутятся с Другими фразами + можно накладывать ограничение на выдачу по датеПоследний раз редактировалось cybermake; 14.11.2011 в 19:59.
- 0
- 31.01.2012 19:02Новичок
- Регистрация: 07.10.2011
- Сообщений: 12
- Репутация: 0
Рабочая тема. А чтобы сразу видеть, закрыты ли ссылки, достаточно установить SEO плагин браузера
- 0
- 06.02.2012 01:25Новичок
- Регистрация: 02.02.2012
- Сообщений: 16
- Репутация: 1
kickboxer, спасибо. Было бы отлично найти список этих самых признаков парсинга. То есть, для разных движков свои запросы... А то вручную найти эти все движки, которые используются для гостевых, форумов, блогов и т.д. для меня тяжёлая задача...
- 0
Тэги топика:
- action,
- board,
- cgi-bin,
- chat,
- discussion,
- foorum,
- foorumi,
- foro,
- forum,
- forumas,
- forums,
- get_profile,
- get_topic,
- index,
- inurl,
- messageboard,
- print_topic,
- showthread,
- support,
- ultimatebb,
- vbulletin,
- viewforum,
- viewtopic,
- yabb,
- обратный,
- поиск,
- получение,
- пример,
- регистрация,
- сайт,
- спасибо,
- ссылка,
- страница
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Ссылки с автомобильных сайтов (постовые или другие ссылки навсегда) | Ссылки, статьи, баннеры | 6 | 22.09.2011 14:15 |
Инфографика: 7 шагов для получения идеальной ссылки в Sape | Дайджест блогосферы | 5 | 27.07.2011 15:50 |
Поиск по блогам Яндекса перестал читать сокращенные ссылки в Твиттере | Яндекс, Mail.ru, Рамблер и т.п. | 11 | 09.10.2010 20:37 |
Создание сайтов для медиков как средство получения бабла. | Вопросы от новичков | 47 | 04.12.2009 01:41 |
Создание сайтов для медиков как средство получения бабла. | Google, Yahoo, Bing и т.п. | 7 | 06.09.2009 13:55 |