[umarkt-stepanov@yandex.ru]

На сегодняшний день есть несколько сервисов, предоставляющих данную услугу платно, но мы же русские люди - нам нужна халява, халява и еще больше халявы. ))
Ниже я расскажу Вам о том как быстро и без заморочек проверить все страницы вашего сайта на предмет того находятся ли они в выдаче поисковой системы Яндекс или нет.

Не буду углубляться в рассуждения зачем нам, как оптимизаторам, важно знать какие страницы проиндексированы на сайте, какие нет (или какой процент от общего количества страниц не проиндексирован). Если коротко - это позволяет выявить различные проблемы оптимизации, связанные например с файлами robots.txt и sitemap.xml

Способ первый
Для работы нам понадобятся:

• Браузер Mozilla Firefox
• Расширение для данного браузера Вебмастер SAPE
• Netpeak Spider (сайт программы http://netpeak.ua/software/netpeak-spider/) прога бесплатная
  Я вместо спайдера использую гораздо более функциональный инструмент Screaming Frog (сайт программы http://www.screamingfrog.co.uk/seo-spider/) Данный софт платный, но функционал в разы шире
  (кому нужны дешевые лицензии - обращайтесь в личку)

1. Первым делом потребуется получить список всех URL вашего сайта с помощью программы Netpeak Spider или Screaming Frog и экспортировать в отдельный файл, обычно все программы экспортируют в файл экселя, нам необходимо скопировать все урл и вставить их в файл .txt формата. В рамках данной статьи предполагается, что вы можете сделать это самостоятельно, но если с этим возникнут проблемы - обращайтесь в личку, помогу без проблем.
   
2. Дальше нам потребуется зайти в браузер ФФ и установить данное расширение
   
   
3. После того как расширение добавлено перейдем к настройке. Мы увидим, что появилась дополнительная панель инструментов с кучей иконок, при необходимости можно убрать лишние элементы на вкладке "Настройки", но обязательно оставить значок YP.
   
   
4. А так же тем, у кого есть ключ сервиса антикапчи необходимо будет его прописать на вкладке "Сервисы", я использую сервис Antigate
   
   
5. Закрываем окно настроек и добавляем наш список страниц к проверке. Для этого жамкаем иконку на панели задач, в открывшемся окне нажимаем кнопку "Добавить" и выбираем наш txt файл со списком урл сайта
   
   
6. Мы попадем на страницу со списком наших урл импортированных из файла, теперь нам потребуется нажать на ту самую кнопку YP скрывать в настройках которую я не советовал
   
   
7. Начнется проверка страниц, справа от урл начнут появляться значки красного и зеленого цвета.
   Красный значок и галочка справа означает, что страницы нет в индексе, зеленый значок - страница в индексе есть.
   
   
8. После того, как проверка завершена можно выгружать результаты. Для этого перейдем на вкладку "Экспорт данных", в списке выберем "Индексация страниц" и нажмем ссылку справа "Экспортировать"
   
   
9. При нажатии на «экспортировать» вылезет окно сохранения. По умолчанию сохраняет в .tsv, так же можно выбрать .csv оба файла можно открыть в экселе.

Способ второй
Подойдет тем, кто по каким-либо причинам не может воспользоваться первым способом
Нам понадобятся программы:
Allsabmiter (сайт программы http://www.webloganalyzer.biz/rus/allsubmitter.html) программа платная, но нас устроит и функционал бесплатной версии.
Netpeak Spider (сайт программы http://netpeak.ua/software/netpeak-spider/) прога бесплатная
Я вместо спайдера использую гораздо более функциональный инструмент Screaming Frog (сайт программы http://www.screamingfrog.co.uk/seo-spider/) Данный софт платный, но функционал в разы шире
(кому нужны дешевые лицензии - обращайтесь в личку)


Итак, приступим

1. Первый пункт у нас идентичен, я просто скопирую свою надпись выше
   

   Первым делом потребуется получить список всех URL вашего сайта с помощью программы Netpeak Spider или Screaming Frog и экспортировать в отдельный файл, обычно все программы экспортируют в файл экселя, нам необходимо скопировать все урл и вставить их в файл .txt формата. В рамках данной статьи предполагается, что вы можете сделать это самостоятельно, но если с этим возникнут проблемы - обращайтесь в личку, помогу без проблем.

2. Устанавливаем и запускаем AllSubmiter, при необходимости в настройках вводим ключ антикапчи, на главном окне выбираем пункт Анализатор бирж Sape.ru, Linkfeed.ru
   
   
3. Далее заходим в пункт Учетные записи –> Добавить свои данные
   
   
4. Пишем Название, URL проверяемого сайта, и выбираем через обзор наш файл.txt и жмем Создать
   Название файла и название проекта лучше писать на русском, с латиницей у меня возникли проблемы на дальнейших шагах
5. 
   
6. Откроется окно со списком проектов. Если Вы уже создавали ранее проекты, то необходимо кликнуть 2 раза по нужному проекту, если Вы заходите первый раз, то просто закройте появившееся окно
   
   
7. Теперь выбираем в нижнем левом окне наш проект - нужно проставить 2 галочки согласно скриншоту, удостовериться, что напротив списка урл в столбце YAP стоят галочки и далее жмем Определить параметры сайтов
   
   
8. В открывшемся окне выбираем YAP жмякаем ОК
   
   
9. Начнется процесс проверки страниц, по завершении получим список страниц с различными параметрами, нас интересует параметр YAP - выбираем нужный фильтр и жмем квадратную кнопку справа. Выбрать можно как попавшие в индекс, так и не попавшие в него страницы
   

Я не специалист в составлении гайдов - это дебютный, однако искренне надеюсь, что кому-то помогла эта статья.
Если эта инструкция показалась Вам интересной - не поленитесь жамкнуть по кнопке "сказать спасибо"
Удачи всем!

[Redgar]

Подождем ответа опытных пользователей))

[Stza]

umarkt-stepanov@yandex.ru, Эм, по моему мощнее связки чем sitemap сайта(при условии что правильно работает) + xml.yandex.ru не существует, хотя насчет последнего есть варианты. Хотя при таком подходе мы можем пройти мимо проиндексированного мусора.Но тут на помощь beta.webmaster.yandex.ru приходит, нужно выгрузить список проиндексирвоанных страниц и сравнить его со списком вашего sitemap, разницу закрыть от индексации

[umarkt-stepanov@yandex.ru]

Stza, К сожалению я не пробовал такой метод - не хочу критиковать, но у меня сразу же появилось несколько вопросов.

1)

мощнее связки чем sitemap сайта(при условии что правильно работает)

В сети навалом сайтов вообще без сайтмапа или со статическим сайтмапом, составленным руками (без автогенерации и не со всеми урлами как правило), а если Вы делаете аудит не у своего клиента - доступов и возможности поставить плагин нет, то как вы будете реализовывать свой способ?
2)

xml.yandex.ru

алсаб и плагин сапы как раз используют xml для проверки индексации, если что. Но хотелось бы узнать подробнее в деталях что вы подразумеваете под этой фразой - как именно предлагаете производить проверку и с помощью чего?
3)

Но тут на помощь beta.webmaster.yandex.ru приходит

Вот тут я не понял - вы практикуете так или это из разряда теории? Во-первых Бета Вебмастер косячит и выдает ошибки. Во-вторых в списке проиндексированных страниц могут лежать ссылки со времен мамонтов, которых и на сайте-то давно уже нет.

И еще опишите что в вашем варианте гарантирует точность результатов? Пока что я вижу только кучу "если" и "может быть" т.е. способ заведомо не универсальный

[Stza]

umarkt-stepanov@yandex.ru,
1) Я так понял вы специализируетесь на клиенстком сео, где приходится иметь с сайтами разного качества.
Просто я привык что на моих сайтов все ок всегда).
могу сканер сайтов от content downloader посоветовать, довольно гибкий инструмент
2) Посылаю напрямую get запросы вида: https://yandex.ru/search/xml?user=lo...s-in-group%3D1
Раньше через zennoposter делал, сейчас на python перевёл все.
Логика такая, раз в сутки робот заходит и тырит все urls из sitemap, потом каждый пробивает через xml. Такой подход позволяет наблюдать динамику.
3) Вообще с закрытого бета тестирования снимаю и сравниваю, там как было: вначале выложили сырой алгоритм, он косячил жестко, потом вообще убрали(выгружалось и писалось что 0 страниц в индексе). Но после того как вернули страдает лишь актуальность(где то на 3-4 недели остаёт)

[umarkt-stepanov@yandex.ru]

Stza, Да, тружусь в клиентском сео, но это немногое меняет - я знаю массу примеров, когда на личных проектах у сеошников творится какой-то ад. Просто, мне кажется, вы поспешили и оценили мою статью сугубо с одной только Вашей колокольни.

Посылаю напрямую get запросы вида: https://yandex.ru/search/xml?user=lo...s-in-group%3D1
Раньше через zennoposter делал, сейчас на python перевёл все

Ну Зеннопостер платный, а я ж вроде как бесплатные способы рассматривал
А на пухане мало кто из сеошников прогает. Да и вообще мало кто из сеошников прогает хоть на чем-то =))
Мне кажется - это очевидные минусы для большей части аудитории.

Но в целом - ваша идея мне понравилась, если ее брать чисто для своих клиентов - самое то, гемора меньше. Попробую взять на вооружение.

[Stza]

umarkt-stepanov@yandex.ru,
ну так то да, у Netpeak вроде два инструмента бесплатных: сканер сайта(http://netpeak.ua/software/netpeak-spider/) и пробивка страниц на параметры(http://netpeak.us/software/netpeak-checker/), по хорошему этого достаточно
P.s. выпарсить список проиндексированных страниц из самого яндекса довольно проблематично,т.к. в serp яндекса существует защита(ну впринципе обходится антикаптчей какой-нибудь), а так же ограничение в 1000 результатов(можно спарсить, но если у вас вложенная система url и нет разделов больше 1000 страниц site:www.site.ru/razdel) поэтому советую смотреть в сторону beta.webmaster.yandex.ru

[umarkt-stepanov@yandex.ru]

Stza, в пределах данной статьи чекер нет смысла вспоминать - это другая история

выпарсить список проиндексированных страниц из самого яндекса довольно проблематично

ограничение в 1000 результатов(можно спарсить, но если у вас вложенная система url и нет разделов больше 1000 страниц site:www.site.ru/razdel)

на счет 1к страниц не совсем понял - в каком смысле?
Можно парсить хоть 100к страниц, проблем не будет

[Stza]

umarkt-stepanov@yandex.ru,
как спарсить все проиндексированные страницы ну скажем sports.ru? в результате поиска 1000 результатов,а страниц больше миллиона, типо просканировать сайт и проверить все ли страницы проиндексированы?
Тогда встает вопрос, а если какой то мусор затесался(помимо основных страниц сайта), как его выявить?

[umarkt-stepanov@yandex.ru]

в результате поиска 1000 результатов,а страниц больше миллиона, типо просканировать сайт и проверить все ли страницы проиндексированы?

Не знаю я зачем вы приплели 1к результатов. Вы думаете индексация всех страниц выполняется с помощью запроса типа site:domain? Да и сайты с миллионом страниц должны уже использовать отдельные разработки, применять данный способ к такому сайту - это все равно что валить лес ручной пилой.