смысл в том, что если из выдачи спарсился урл по какому-то признаку, то он по определению в индексе, даже если его роботс и пытался запретить, так что метода эта работает.
03.11.2011 16:48- 0
- 04.11.2011 09:23Критик
- Регистрация: 06.07.2010
- Сообщений: 248
- Репутация: 30
Отличный материал. Не плохо было бы научиться проверять Nofollow и Noindex либо ручками, либо программками. Судя по активности на форуме, именно простые темы становятся наиболее популярными. Может еще кто поделиться элементарными познаниями, которые для профи считаются азбукой?
- 0
- 04.11.2011 21:08
http://yandex.ua/yandsearch?date=&te...mdoc=50&lr=142 таков мой способ... заодно позволяет обойти noindex... + регион для гео таргетинга + дата посвежее, чтоб не сильно заспамлены были...
- 0
- 07.11.2011 17:54Banned
- Регистрация: 29.08.2011
- Сообщений: 536
- Репутация: 89
Прекрасная тема. По моему до Вас никто еще так подробно не описывал эту тему.
p.s Еще бы как - то автоматизировать этот процесс)- 0
- 09.11.2011 17:49Дипломник
- Регистрация: 18.09.2011
- Сообщений: 118
- Репутация: 13
Попробуем спасибо, для работы очень пригодиться.
- 0
09.11.2011 18:12Спасибо,статья полезная...учту...
- -1
- 14.11.2011 20:50Опытный
- Регистрация: 30.08.2011
- Сообщений: 250
- Репутация: 19
Благодарю, давно хотел собрать свою базу, но никак не знал как к этому подойти, но теперь конечно все будет просто!
- 0
- 14.11.2011 20:56Новичок
- Регистрация: 06.10.2011
- Сообщений: 11
- Репутация: 7
Могу вам подкинуть еще идейку, наверняка не все такое знают:
Пример поиска страницы добавления новости на DLE
inurl:"addnews.html"
Аналогичен следующему запросу
-intext:"addnews.html" -intitle:"addnews.html" "addnews.html"
Тут написано
Искать точные совпадения addnews.html не в text и не в title
А кроме тексат и титла можно искать только в URL
По казалось бы двум одинаковым запросам получаем разную выдачу, которую сразу и не поймешь на первой странице поиска - если сайтов в выдаче разумеется много.
Такой подход уже давно задействован у нас в парсере.
А для поиска форумов у нас например в парсере по умолчанию уже имеется 63 подобных запросов - которые называются Доп Фразы и плюс ко всему они еще крутятся с Другими фразами + можно накладывать ограничение на выдачу по датеПоследний раз редактировалось cybermake; 14.11.2011 в 20:59.
- 0
- 31.01.2012 20:02Новичок
- Регистрация: 07.10.2011
- Сообщений: 18
- Репутация: 2
Рабочая тема. А чтобы сразу видеть, закрыты ли ссылки, достаточно установить SEO плагин браузера
- 0
- 06.02.2012 02:25Banned
- Регистрация: 02.02.2012
- Сообщений: 16
- Репутация: 1
kickboxer, спасибо. Было бы отлично найти список этих самых признаков парсинга. То есть, для разных движков свои запросы... А то вручную найти эти все движки, которые используются для гостевых, форумов, блогов и т.д. для меня тяжёлая задача...
- 0
Тэги топика:
- action,
- board,
- cgi-bin,
- chat,
- discussion,
- foorum,
- foorumi,
- foro,
- forum,
- forumas,
- forums,
- get_profile,
- get_topic,
- index,
- inurl,
- messageboard,
- print_topic,
- showthread,
- support,
- ultimatebb,
- vbulletin,
- viewforum,
- viewtopic,
- yabb,
- обратный,
- поиск,
- получение,
- пример,
- регистрация,
- сайт,
- спасибо,
- ссылка,
- страница
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Ссылки с автомобильных сайтов (постовые или другие ссылки навсегда) | Ссылки, статьи | 6 | 22.09.2011 15:15 |
Инфографика: 7 шагов для получения идеальной ссылки в Sape | Дайджест блогосферы | 5 | 27.07.2011 16:50 |
Поиск по блогам Яндекса перестал читать сокращенные ссылки в Твиттере | Поисковые системы | 11 | 09.10.2010 21:37 |
Создание сайтов для медиков как средство получения бабла. | Вопросы от новичков | 47 | 04.12.2009 02:41 |
addurl adsense cpa html proxy radikal wordpress yandex yandex.ru youtube zennoposter аккаунт баннер блог быть вконтакт год гугл деть добавить думать есть кейс ключ конечный контент магазин место может накрутка нужный отзыв оффера парсер партнёрка партнёрская программа первый программа продажа продвижение прокси просто работа работать регистрация рубль сайт сделать сервис скрипт сообщение софт ссылка стать страница трафик хороший хостинг цена яндекс
Тем:
77,576Сообщений:
762,890Пользователей:
30,080Сейчас на сайте:
0 пользователей и 101 гостей
