[KipiaSoft]

Судя по количеству создаваемых тем на форумах для web мастеров, проблемы индексации сайтов поисковой системой Яндекс, как новых, так и в возрасте, являются самой животрепещущей темой во все времена. Не стал исключением и форум WebMasters.Ru. Количество тем о плохой индексации сайта, либо о вылете страниц из индекса, растут как грибы после дождя. У каждого вэбмастера со стажем есть свои методы ускорения индексации сайтов, проверенные годами. В рамках конкурса Конкурс seo статей на 1000 у.е. от webmasters.ru и RDS я решил поделиться своими многолетними наработками. Практически всех авторов, опубликовавших свои статьи на эту тему, упрекнули в наличии большого количества "воды" в опубликованных материалах. Дабы избежать этой ошибки, в моей статье Вы найдете только конкретные действия и все необходимые инструменты для того что бы Ваш новый сайт на платформе WordPress попал в индекс поисковой системы Яндекс в кратчайшие сроки. И так, встречайте:

Как ускорить индексацию нового сайта на WordPress в Яндексе и других поисковых системах by KipiaSoft

Наша задача: максимально ускорить индексацию нового сайта, построенного на платформе WordPress, поисковой системой Яндекс.

Методы решения этой задачи: пинг
Что такое пинг? В словарях можно найти различное толкование этого слова. С точки зрения поисковой системы Яндекс ( а нам ведь нужна именно эта поисковая система), пинг - это специальное сообщение для поисковой системы о том, что на Вашем сайте опубликован новый материал, и самое время прислать на Ваш сайт робота для его индексации. источник
Небольшое отступление: А Вы не задумывались, почему все известные блого сервисы (ЖЖ, твиттер и т.п) так великолепно индексируются поисковыми системами? Ответ можно найти на самом Яндексе - система автоматического оповещения (то бишь пинг) в эти сервисах работает по умолчанию.

Шаг первый - Используем внутренние возможности платформы WordPress
После того как Вы установили все необходимые темы, плагины и шаблоны, настроили ЧПУ и постоянные ссылки (на этом подробно останавливаться не буду, так как это тема отдельной статьи, которая отходит от рамки нашего задания), а также запретили к индексации всевозможные дубли страниц, которыми так грешит платформа WordPress (об этом немного ниже), переходим к настройке собственно самого пинга.

В панели администратора WordPress, в левой колонке находим раздел Параметры и в нем вкладку Написание (см. рисунок)



Переходим на страницу настроек параметров написания. Нас интересует самый последний по расположению (однако один из самых главных по назначению для ускорения индексации) подраздел на этой странице - Сервисы обновления (см. рисунок)



Как указано в самом WP - "Когда вы публикуете новую статью, WordPress автоматически уведомляет следующие сайты служб слежения за обновлениями".
По умолчанию, там указывается всего один адрес подобного сервиса, эффективность от которого для нашей задачи равна практически нулю. Для того что бы повысить эту самую эффективность, вносим в соответствующее поле вот этот самый списочек дополнительных адресов (по одному адресу в каждой строке):

20

http://rpc.pingomatic.com/
http://blogsearch.google.ru/ping/RPC2
http://ping.blogs.yandex.ru/RPC2
http://rpc.weblogs.com/RPC2
http://www.blogdigger.com/RPC2
http://www.feedsky.com/api/RPC2
http://www.snipsnap.org/RPC2
http://api.moreover.com/RPC2
http://api.my.yahoo.com/RPC2
http://pingoat.com/goat/RPC2
http://rcs.datashed.net/RPC2
http://rpc.blogbuzzmachine.com/RPC2
http://pingoat.com/goat/rpc2

[свернуть]

И жмем кнопку Сохранить изменения
Теперь после публикации нового материала на Вашем сайте, сообщение об этом будет автоматически отправлено поисковым системам. При ежедневной публикации по 1-2 статье, новости или материала другого характера, уже через 2-7 дней поисковая система Яндекс делает выводы о том, что в глобальной сети интернет появился часто обновляемый сайт (это чисто мое предположение, которое однако подтверждается практикой), на сайте начинает частенько заходить робот индексирующий новый материал, страницы в течении нескольких часов появляются в быстроиндексе (их уже можно даже наблюдать некоторое время в панели Яндекс вэбмастер и в результатах поиска) , в ближайший полноценный апдейт поисковой выдачи Яндекса, все страницы проиндексированные роботом попадают и в основную выдачу поисковой системы Яндекс.
Немного отступления Если немного погуглить, то можно найти списки более 150-ти сервисов, на которые можно отправлять сообщения о новом материале на сайте, и которые помогают ускорить его индексацию. Однако для моих сайтов вполне хватает и этих.

Шаг второй - Использование сторонних сайтов

Роботов для индексации нового сайта можно заманить на свой сайт не только напрямую с поисковой системы, но и с сайтов, на которых они успешно пребывают уже длительное время. Для этого необходимо произвести несколько телодвижений.
Шаг второй показал свою эффективность не только для сайтов на платформе WordPress, но что бы сильно не уходить от темы показывать и рассказывать буду все таки на его примере.

1. Для начала настраиваем RSS ленты нашего сайта. Для этого в разделе Параметры находим вкладку Чтение (см. рисунок):



и выставляем количество сообщений публикуемых в RSS ленте ( я обычно ставлю в диапазоне 5-10 сообщений), а также в настройках указываем публикацию анонса новой статьи, а не все статьи в целом (что бы хоть как то усложнить жизнь некоторым недобросовестным вебмастерам, которые воруют контент).

2. Регистрируем и оформляем по человечески аккаунт в сервисе микроблогов Twitter - https://twitter.com/
На форумах всплывали сообщения, что для индексации материалов можно использовать и абсолютно нулевые аккаунты этого сервиса микроблогов, однако рисковать не хочется. Поэтому целесообразней потратить некоторое время на заполнение всех полей в своем профиле, тем более что их не так уж и много, загрузить аватарку и заменить стандартный бэкграунд, то бишь фон, на что нибудь оригинальное. Тем более, что в дальнейшем для привлечения читателей, или как их называют в twittere followers, человеческий вид Вашего аккаунта будет огромным плюсом. Также добавляем десяток другой сообщений (твитов) дабы он не выглядел совсем пустым.

В интернете огромное огромное количество сайтов и сервисов, на которых можно взять аватарки и фоны абсолютно бесплатно и дабы не рекламировать эти ресурсы, дам лишь ссылку на бесплатные бэкграунды и бесплатные аватарки, а право выбора оставляю на Ваше усмотрение.

3. Приступаем к привлечению читателей (followers) на наш красочно оформленный twitter-аккаунт. Для этого будем использовать программу Twidium. Программа платная, однако у нее есть бесплатный тестовый период 7 дней, которых нам хватит за глаза что бы привлечь сотню другую читателей, далеко не на один аккаунт. Если же Вам потребуется прокаченные аккаунты в промышленных масштабах, то стоит задуматься о покупке платной версии, тем более что стоимость программы вполне приемлема.
Скачиваем программу на этой странице. Устанавливаем ее на свой компьютер. Добавляем данные (логин и пароль) Вашего twitter аккаунта:
Настройки - Настройки аккаунтов - Добавить аккаунт



Далее создаем проект для массфоловинга:
Проект - Создать проект -Масфоловинг



Выбираем аккаунт, для которого будем производить поиск читателей, вводим хештеги для эффективного поиска аккаунтов, которые с большой степенью вероятности ответят нам взаимностью.
Вот собственно и сам список этих хештегов:

20

#sledui
#ff
#follow
#Retweet
#followfriday
#ru_ff
#VIPFollow
#ru_followfriday
#MustFollow
#TeamFollowBack
#InstantFollow
#FollowBack
#iFollowBack
#FollownGain
#confessionfriday
#AutoFollowBack
#InstantFollowBack
#followxfollow
#teamautofollow
#XtraFollowBack
#listingback
#rufollowme

[свернуть]

Выставляем в задании фоловить не более 200 читателей в день, для того бы наш молодой аккаунт не попал под бан со стороны администрации. И нажимаем кнопку Старт. Как показывает практика, более 60% аккаунтов которые мы зафолловили, ответят нам взаимностью. Тех же кого не привлек Ваш твиттер аккаунт с помощью все той же программы twidium можно удалить.

4. Когда наша RSS лента настроена и твиттер аккаунт оформлен и прокачан, самое время настроить автоматическую трансляцию записей из Rss ленты в twitter. Для этого можно воспользоваться сервисом TwitterFeed - http://twitterfeed.com/ либо плагином для WordPress под названием RF Twitter Post - http://wordpress.org/extend/plugins/rf-twitterpost/

Возникает вполне резонный вопрос - а сколько нужно твиттер-аккаунтов для ускорения индексации нового сайта?
Здесь можно спорить и размышлять до посинения, поэтому расскажу лишь о схеме которая успешно работает у меня:
Я создаю тематический twiiter-аккаунт, в который транслирую материалы с нескольких сайтов той же тематики. Используя все тот же Twidium прокачиваю данный аккаунт дополнительно в поиске реальных читателей, что кроме ускорения индексации привлекает дополнительных посетителей на группу сайтов. Данный метод также позволяет постоянно держать на своем twitter-акаунте быстророботов, когда уделяешь внимание больше тому или иному сайты в данный момент времени, а другие сайты в этот момент не обновляются.

Если же заморачиваться с глубокой прокачкой twittera не хочется, вполне достаточно будет настроить трансляцию с одного сайта в подготовленный для этого один twitter аккаунт.

Кроме твиттера можно использовать кросспостинг анонсов в социальные сети, блоговые сервисы, публикацию Ваших новостей на крупных новостных порталах, но это уже тема отдельного разговора, да и не все эти кросспостинги и публикации можно автоматизировать.

Вот и все. Сделав всего два несложных шага, Вы получите ускорение индексации Вашего нового сайта поисковой системой Яндекс в автоматическом режиме,т.е это не потребует от Вас в дальнейшем абсолютно никаких действий, ну за исключением публикации новых материалов, конечно! Кстати и для старого сайта эти манипуляции будут не лишними.

Плюсы: минимум телодвижений с нашей стороны – один раз введя прилагаемый список адресов сервисов оповещения, Вы получаете инструмент по ускорению индексации Вашего сайта на весь срок его жизни, что экономит Ваше драгоценное время

Минусы: При использовании пинга, резко ужесточаются требования к качеству Вашего сайта. Иначе страницы как быстро влетают в индекс поисковых систем, так же быстро будут и вылетать из индекса, ускоряя наступление санкций со стороны поисковых систем.

Для того что бы пинг не повредил Вашему молодому сайту обратите внимание на следующие моменты:
1. Следует публиковать только качественный, уникальный контент написанный людьми и для людей. Но это относится ко всем СДЛ, поэтому более подробно останавливаться на этом пункте не буду.
2. Следует избавиться от дублей страниц, которыми так грешит платформа WordPress. Для этого можно воспользоваться возможностями файла robots.txt, запретив в нем роботам поисковых систем посещать те или иные страницы и разделы сайта:
Пример содержания файла robots.txt которые используются на всех моих сайтах построенных на движке WordPress

20

User-agent: *
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Sitemap: http://www.........com/sitemap.xml
Host: www.........com

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/*
Allow: /wp-content/uploads
Sitemap: http://www..........com/sitemap.xml
Host: www..........com

[свернуть]

Или же используя плагин All in One SEO Pack включить использование тэга noindex и nofollow для архивов, рубрик, для архивов по тегам, комментарием и т.п.

3. Следует использовать только надежный и всегда доступный хостинг для Вашего сайта. Очень странно, что большинство авторов, пишущих про индексацию сайтов не уделяют должного внимание хостингу на котором размещается новый сайт. А между тем недоступность сайта в момент посещения его роботами поисковых систем, может раз и навсегда отвадить их от Вашего сайта.
Список хостингов на которых у мня не возникало проблем с WordPress даже минимальных тарифных планах:

Развернуть текст

http://www.beget.ru
http://infobox.ru
http://gtxhosting.ru

[свернуть]

На этом заканчиваю. Удачи Всем в продвижении Ваших проектов!
Да нашлет Яндекс быстророботов на Ваши сайты!

[Massanet]

очень даже не плохо, твитер интересный инструмент для индексации сайтов, но делать такую работу для каждого сайта очень нудно, сделать стоит для сайтов в ГГЛ

[Сергей Нижегородцев]

Я тоже очень уважаю Твиттер как средство индексации новых страниц :)

[KipiaSoft]

но делать такую работу для каждого сайта очень нудно

Если сделать такую работу нудно, то можно купить уже готовый, прокаченный по минимуму аккаунт. Предложений таких на рынке seo услуг хватает.

А можно создать один театический аккаунт и использовать его для всех сайтов этой тематики

---------- Сообщение добавлено 15:32 ---------- Предыдущее 15:28 ----------

Я тоже очень уважаю Твиттер как средство индексации новых страниц

В данном случае twitter - это своего рода контрольный в голову Яндекса.
В движке WordPress есть свой, вполне действенный способ для индексации сайта.

[Katrich]

Хорошая статья. Дарю всем кому надо список для пинга сервисов обновлений

Развернуть текст

http://rpc.pingomatic.com/
http://1470.net/api/ping
http://a2b.cc/setloc/bp.a2b
http://api.feedster.com/ping
http://api.moreover.com/RPC2
http://api.moreover.com/ping
http://api.my.yahoo.com/RPC2
http://api.my.yahoo.com/rss/ping
http://bitacoles.net/ping.php
http://bitacoras.net/ping
http://blogdb.jp/xmlrpc
http://blogdigger.com/RPC2
http://blogmatcher.com/u.php
http://blogoole.com/ping
http://blogoon.net/ping
http://blogpeople.net/servlet/weblogUpdates
http://blogshares.com/rpc.php
http://blogsnow.com/ping
http://blogstreet.com/xrbin/xmlrpc.cgi
http://blog.goo.ne.jp/XMLRPC
http://bulkfeeds.net/rpc
http://coreblog.org/ping
http://lasermemory.com/lsrpc
http://mod-pubsub.org/kn_apps/blogchatter/ping.php
http://newsisfree.com/xmlrpctest.php
http://ping.amagle.com
http://ping.bitacoras.com
http://ping.blo.gs
http://ping.bloggers.jp/rpc
http://ping.blogmura.jp/rpc
http://ping.cocolog-nifty.com/xmlrpc
http://ping.exblog.jp/xmlrpc
http://ping.feedburner.com
http://ping.myblog.jp
http://ping.rootblog.com/rpc.php
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://ping.weblogs.se
http://pingoat.com/goat/RPC2
http://rcs.datashed.net/RPC2
http://rpc.blogbuzzmachine.com/RPC2
http://rpc.blogrolling.com/pinger
http://rpc.pingomatic.com/
http://rpc.technorati.com/rpc/ping
http://rpc.weblogs.com/RPC2
http://snipsnap.org/RPC2
http://trackback.bakeinu.jp/bakeping.php
http://topicexchange.com/RPC2
http://weblogues.com/RPC
http://xping.pubsub.com/ping
http://xmlrpc.blogg.de
http://bblog.com/ping.php
http://blogbot.dk/io/xml-rpc.php
http://catapings.com/ping.php
http://effbot.org/rpc/ping.cgi
http://thingamablog.sourceforge.net/ping.php
http://blogsearch.google.com/pingRPC2
http://rpc.newsgator.com
http://newsisfree.com/RPCCloud
http://mod-pubsub.org/ping.php
http://pingqueue.com/rpc
http://rpc.britblog.com
http://services.newsgator.com/ngws/xmlrpcping.aspx
http://holycowdude.com/rpc/ping
http://wasalive.com/ping
http://blogpeople.net/servlet/weblogUpdates
http://blogsearch.google.com/pingRPC2nd
http://api.my.yahoo.com/rpc2
http://pinger.blogflux.com/rpc
http://rpc.icerocket.com:10080
http://blog.goo.ne.jp/xmlrpc
http://pingoat.com/goat/rpc2
http://rcs.datashed.net/rpc2
http://rpc.blogbuzzmachine.com/rpc2
http://newsisfree.com/rpccloud
http://queerfilter.com/ping
http://weblogues.com/rpc
http://api.mw.net.tw/RPC2
http://api.my.yahoo.com/ping
http://blogsdominicanos.com/ping
http://blogsearch.google.co.uk/pingRPC2
http://blogsearch.google.us/pingRPC2
http://feedsky.com/api/RPC2
http://fgiasson.com/pings/ping.php
http://focuslook.com/ping.php
http://holycowdude.com/rpc/ping
http://imblogs.net/ping
http://ping.blogg.de
http://ping.blogs.yandex.ru/RPC2
http://ping.fakapster.com/rpc
http://ping.wordblog.de
http://pinger.onejavastreet.com
http://rpc.tailrank.com/feedburner/RPC2
http://rpc.wpkeys.com
http://rssfeeds.com/suggest_wizzard.php
http://rssfwd.com/xmlrpc/api
http://signup.alerts.msn.com/alerts-...ngExtended.doz
http://weblogalot.com/ping
http://xianguo.com/xmlrpc/ping.php
http://zhuaxia.com/rpc/server.php
http://focuslook.com/ping

[свернуть]

[KipiaSoft]

Хороший список. Можно использовать для пинга используя соответствующее программное обеспечение. Однако в WP дабы не создавать лишней нагрузки на хостинг, вполне достаточно и того что приведено в статье.

[Анальгин]

Кстати, кто будет использовать список для пинга выше, рекомендую предварительно побанить ненужные буржуйские поисковики. В robots прописываете нечто вроде:

Код HTML:

User-agent: *
Disallow: /

User-agent: Yandex
User-agent: Googlebot
User-agent: Mail.Ru
Disallow:

[KipiaSoft]

В robots прописываете нечто вроде:

Гораздо эффективней для борьбы роботами ненужных поисковых систем использовать возможности файла .htaccess
Если кому интересно, то могу поискать интересную статейку по этому поводу. Тем более что эта метода позволяет в несколько раз снизить нагрузку на сервер именно за счет запрета ненужных роботов и ботов

[Анальгин]

KipiaSoft, можно и использовать .htaccess, но нужно знать юзерагенты или айпишники роботов. Делается как-то так

Код:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^ Bot1 [OR]
RewriteCond %{HTTP_USER_AGENT} ^ Bot2 [OR]
....
RewriteRule ^.*$ - [F]

[Nitrino]

Интереснейшая статья, спасибо. Как раз создаю пару сайтов на WP, интересный был момент с твитерром.