http://webmasters.ru/forum/showthread.php?t=8324 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1743454236 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=113347 Wed, 22 Sep 2010 15:48:26 GMT Парсинг google Нагляднее всего работает бесплатный парсер Байрона (http://www.altalabs.ru/files/Parser.rar). Ещё нам понадобится список доменных зон интернет (http://kamolanenasheva9157.narod.ru/black_SEO_images/zones.txt) и бесплатная программа Befouler (cтрокоизвращатель). Скачать ее можно на любом варезнике. Берём файл список доменных зон, "скармливаем" его Строкоизвращателю. Добавляем впереди каждой строки inurl:minibbs.cgi site:. http://i054.radikal.ru/1009/a2/9e0a81c6e266.jpg Полученный список добавляем в Парсер Байрона. Задержку нужно ставить 11 секунд (11000 мс.). Парсер Байрона хорош тем, что после определённого количества запросов google предложит ввести капчу, и мы сможем это сделать в нижнем фрейме. Также нужно периодически чистить кукисы. http://s59.radikal.ru/i166/1009/c1/ac59c9aa7dba.jpg Для того, чтобы углубить парсинг, нужно к запросам добавить дату, год: 0, 00, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 2009, 2008, 2007, 2006, 2005, 2004, 2003, 2002, 2001 и т.д. Или слова из словаря 100 самых популярных английских (http://www.world-english.org/english500.htm) (японских, эстонских, корейских) слов. Дополнительные запросы для парсинга: site:*com - в зоне .com без дефиса в имени домена site:com -site:*com - в зоне com с одним или несколькими дефисами в имени домена site:*-*com только домены с одним дефисом в имени домена site:*-*-*com только домены с двумя дефисами в имени домена site:*-*...-*com только домены с N кол-вом дефисов в имени домена site:com -site:*com -site:*-*com -site:*-*-*com только домены с двумя дефисами подряд или с тремя и более дефисами в имени домена site:*.*com только домены с одной точкой в имени домена (сабдомены) site:*.*.*com только домены с двумя точками в имени домена site:*.*...*.*com только домены с N кол-вом точек в имени домена site:com/* в адресе одна и более поддиректорий site:com/*/* в адресе есть 2 поддиреторий site:com/*/*/* в адресе есть 3 поддиреторий site:com/*/*.../* в адресе есть n поддиреторий Вот еще полный список операторов (http://code.google.com/apis/soapsearch/reference.html). Признаки парсинга Признаки парсинга можно собрать у любого дорвея фарма-тематики из TOP10Google, используя запросы приведенные выше в "Мониторим бонусные хосты". Незаюзанные признаки для парсинга будут выложены в закрытом разделе нашего форума. Парсинг беклинков Для парсинга беклинков будем использовать поисковую систему yahoo.com. Запрос имеет вид: link:www.movabletype.org/members/bettyclay. Парсить беклинки можно с помощью бесплатной программы Aggress Parser (http://vector-seo.info/?p=8). Для того, чтобы Aggress Parser парсил Yahoo, его надо настроить. Для этого в папку C:\Program Files\AGGRESS\Parser\search кладём файл YahooB.txt с содержимым: url- AbsoluteUrl-http://siteexplorer.search.yahoo.com/search?p={REQUEST}&bwm=i&bwmf=u&bwms=p&fr2=seo-rd-se UntilTextAfter-text/html {TEXT} UntilNextLinkAfter-class="last next"> text/html {TEXT} UntilNextLinkAfter-class="last next">,

(в том месте, где разрешён html или AGCode) - т.к. Google может посчитать ваш блок ссылок оформленный в виде списка - элементом меню. Софт для парсинга Allsubmitter (http://www.webloganalyzer.biz/eng/allsubmitter.html)- Отличное ПО для парсинга поисковых систем, хранения и сортировки баз, определения PR, автоматического и ручного постинга. Xkovator (http://xkovator.com)- неплохой парсер.]]>