ГАЙД - как МАССОВО проверить все страницы сайта на индексацию

(Ответов: 17, Просмотров: 4252)
Страница 1 из 2 12 Последняя
  1. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    На сегодняшний день есть несколько сервисов, предоставляющих данную услугу платно, но мы же русские люди - нам нужна халява, халява и еще больше халявы. ))
    Ниже я расскажу Вам о том как быстро и без заморочек проверить все страницы вашего сайта на предмет того находятся ли они в выдаче поисковой системы Яндекс или нет.

    Не буду углубляться в рассуждения зачем нам, как оптимизаторам, важно знать какие страницы проиндексированы на сайте, какие нет (или какой процент от общего количества страниц не проиндексирован). Если коротко - это позволяет выявить различные проблемы оптимизации, связанные например с файлами robots.txt и sitemap.xml


    Способ первый
    Для работы нам понадобятся:
    • Браузер Mozilla Firefox
    • Расширение для данного браузера Вебмастер SAPE
    • Netpeak Spider (сайт программы http://netpeak.ua/software/netpeak-spider/) прога бесплатная
      Я вместо спайдера использую гораздо более функциональный инструмент Screaming Frog (сайт программы http://www.screamingfrog.co.uk/seo-spider/) Данный софт платный, но функционал в разы шире
      (кому нужны дешевые лицензии - обращайтесь в личку)

    1. Первым делом потребуется получить список всех URL вашего сайта с помощью программы Netpeak Spider или Screaming Frog и экспортировать в отдельный файл, обычно все программы экспортируют в файл экселя, нам необходимо скопировать все урл и вставить их в файл .txt формата. В рамках данной статьи предполагается, что вы можете сделать это самостоятельно, но если с этим возникнут проблемы - обращайтесь в личку, помогу без проблем.
    2. Дальше нам потребуется зайти в браузер ФФ и установить данное расширение
      Нажмите на изображение для увеличения.  Название:	Screenshot_1.jpg  Просмотров:	17  Размер:	11.5 Кб  ID:	20346
    3. После того как расширение добавлено перейдем к настройке. Мы увидим, что появилась дополнительная панель инструментов с кучей иконок, при необходимости можно убрать лишние элементы на вкладке "Настройки", но обязательно оставить значок YP.
      Нажмите на изображение для увеличения.  Название:	Screenshot_2.jpg  Просмотров:	9  Размер:	17.4 Кб  ID:	20347
    4. А так же тем, у кого есть ключ сервиса антикапчи необходимо будет его прописать на вкладке "Сервисы", я использую сервис Antigate
      Нажмите на изображение для увеличения.  Название:	Screenshot_3.jpg  Просмотров:	1  Размер:	15.7 Кб  ID:	20348
    5. Закрываем окно настроек и добавляем наш список страниц к проверке. Для этого жамкаем иконку на панели задач, в открывшемся окне нажимаем кнопку "Добавить" и выбираем наш txt файл со списком урл сайта
      Нажмите на изображение для увеличения.  Название:	Screenshot_4.jpg  Просмотров:	10  Размер:	14.7 Кб  ID:	20349
    6. Мы попадем на страницу со списком наших урл импортированных из файла, теперь нам потребуется нажать на ту самую кнопку YP скрывать в настройках которую я не советовал
      Нажмите на изображение для увеличения.  Название:	Screenshot_5.jpg  Просмотров:	5  Размер:	14.2 Кб  ID:	20350
    7. Начнется проверка страниц, справа от урл начнут появляться значки красного и зеленого цвета.
      Красный значок и галочка справа означает, что страницы нет в индексе, зеленый значок - страница в индексе есть.
      Нажмите на изображение для увеличения.  Название:	Screenshot_6.jpg  Просмотров:	4  Размер:	9.8 Кб  ID:	20351
    8. После того, как проверка завершена можно выгружать результаты. Для этого перейдем на вкладку "Экспорт данных", в списке выберем "Индексация страниц" и нажмем ссылку справа "Экспортировать"
      Нажмите на изображение для увеличения.  Название:	Screenshot_7.jpg  Просмотров:	4  Размер:	18.2 Кб  ID:	20352
    9. При нажатии на «экспортировать» вылезет окно сохранения. По умолчанию сохраняет в .tsv, так же можно выбрать .csv оба файла можно открыть в экселе.


    Способ второй
    Подойдет тем, кто по каким-либо причинам не может воспользоваться первым способом
    Нам понадобятся программы:
    Allsabmiter (сайт программы http://www.webloganalyzer.biz/rus/allsubmitter.html) программа платная, но нас устроит и функционал бесплатной версии.
    Netpeak Spider (сайт программы http://netpeak.ua/software/netpeak-spider/) прога бесплатная
    Я вместо спайдера использую гораздо более функциональный инструмент Screaming Frog (сайт программы http://www.screamingfrog.co.uk/seo-spider/) Данный софт платный, но функционал в разы шире
    (кому нужны дешевые лицензии - обращайтесь в личку)


    Итак, приступим
    1. Первый пункт у нас идентичен, я просто скопирую свою надпись выше
      Первым делом потребуется получить список всех URL вашего сайта с помощью программы Netpeak Spider или Screaming Frog и экспортировать в отдельный файл, обычно все программы экспортируют в файл экселя, нам необходимо скопировать все урл и вставить их в файл .txt формата. В рамках данной статьи предполагается, что вы можете сделать это самостоятельно, но если с этим возникнут проблемы - обращайтесь в личку, помогу без проблем.
    2. Устанавливаем и запускаем AllSubmiter, при необходимости в настройках вводим ключ антикапчи, на главном окне выбираем пункт Анализатор бирж Sape.ru, Linkfeed.ru
      Нажмите на изображение для увеличения.  Название:	Screenshot_1.jpg  Просмотров:	4  Размер:	11.4 Кб  ID:	20353
    3. Далее заходим в пункт Учетные записи –> Добавить свои данные
      Нажмите на изображение для увеличения.  Название:	Screenshot_2.jpg  Просмотров:	5  Размер:	17.9 Кб  ID:	20354
    4. Пишем Название, URL проверяемого сайта, и выбираем через обзор наш файл.txt и жмем Создать
      Название файла и название проекта лучше писать на русском, с латиницей у меня возникли проблемы на дальнейших шагах
    5. Нажмите на изображение для увеличения.  Название:	Screenshot_3.jpg  Просмотров:	5  Размер:	13.0 Кб  ID:	20355
    6. Откроется окно со списком проектов. Если Вы уже создавали ранее проекты, то необходимо кликнуть 2 раза по нужному проекту, если Вы заходите первый раз, то просто закройте появившееся окно
      Нажмите на изображение для увеличения.  Название:	Screenshot_4.jpg  Просмотров:	2  Размер:	10.2 Кб  ID:	20356
    7. Теперь выбираем в нижнем левом окне наш проект - нужно проставить 2 галочки согласно скриншоту, удостовериться, что напротив списка урл в столбце YAP стоят галочки и далее жмем Определить параметры сайтов
      Нажмите на изображение для увеличения.  Название:	Screenshot_5.jpg  Просмотров:	7  Размер:	21.2 Кб  ID:	20357
    8. В открывшемся окне выбираем YAP жмякаем ОК
      Нажмите на изображение для увеличения.  Название:	Screenshot_6.jpg  Просмотров:	4  Размер:	17.9 Кб  ID:	20358
    9. Начнется процесс проверки страниц, по завершении получим список страниц с различными параметрами, нас интересует параметр YAP - выбираем нужный фильтр и жмем квадратную кнопку справа. Выбрать можно как попавшие в индекс, так и не попавшие в него страницы
      Нажмите на изображение для увеличения.  Название:	Screenshot_7.jpg  Просмотров:	6  Размер:	19.9 Кб  ID:	20359


    Я не специалист в составлении гайдов - это дебютный, однако искренне надеюсь, что кому-то помогла эта статья.
    Если эта инструкция показалась Вам интересной - не поленитесь жамкнуть по кнопке "сказать спасибо"
    Удачи всем!

    Миниатюры Screenshot_2.png   4cKdWhU.jpg  
    • 0

    Спасибо сказали:

    buninsan(09.02.2016), struvva(09.02.2016),
  2. Студент Аватар для Redgar
    • Регистрация: 17.01.2016
    • Сообщений: 36
    • Репутация: 9
    • Webmoney BL: ?
    Подождем ответа опытных пользователей))
    • 0
  3. Дипломник Аватар для Stza
    • Регистрация: 20.04.2015
    • Сообщений: 198
    • Репутация: 64
    umarkt-stepanov@yandex.ru, Эм, по моему мощнее связки чем sitemap сайта(при условии что правильно работает) + xml.yandex.ru не существует, хотя насчет последнего есть варианты. Хотя при таком подходе мы можем пройти мимо проиндексированного мусора.Но тут на помощь beta.webmaster.yandex.ru приходит, нужно выгрузить список проиндексирвоанных страниц и сравнить его со списком вашего sitemap, разницу закрыть от индексации
    • 0
  4. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    Stza, К сожалению я не пробовал такой метод - не хочу критиковать, но у меня сразу же появилось несколько вопросов.

    1)
    Цитата Сообщение от Stza Посмотреть сообщение
    мощнее связки чем sitemap сайта(при условии что правильно работает)
    В сети навалом сайтов вообще без сайтмапа или со статическим сайтмапом, составленным руками (без автогенерации и не со всеми урлами как правило), а если Вы делаете аудит не у своего клиента - доступов и возможности поставить плагин нет, то как вы будете реализовывать свой способ?
    2)
    Цитата Сообщение от Stza Посмотреть сообщение
    xml.yandex.ru
    алсаб и плагин сапы как раз используют xml для проверки индексации, если что. Но хотелось бы узнать подробнее в деталях что вы подразумеваете под этой фразой - как именно предлагаете производить проверку и с помощью чего?
    3)
    Цитата Сообщение от Stza Посмотреть сообщение
    Но тут на помощь beta.webmaster.yandex.ru приходит
    Вот тут я не понял - вы практикуете так или это из разряда теории? Во-первых Бета Вебмастер косячит и выдает ошибки. Во-вторых в списке проиндексированных страниц могут лежать ссылки со времен мамонтов, которых и на сайте-то давно уже нет.

    И еще опишите что в вашем варианте гарантирует точность результатов? Пока что я вижу только кучу "если" и "может быть" т.е. способ заведомо не универсальный
    • 1

    Спасибо сказали:

    struvva(09.02.2016),
  5. Дипломник Аватар для Stza
    • Регистрация: 20.04.2015
    • Сообщений: 198
    • Репутация: 64
    umarkt-stepanov@yandex.ru,
    1) Я так понял вы специализируетесь на клиенстком сео, где приходится иметь с сайтами разного качества.
    Просто я привык что на моих сайтов все ок всегда).
    могу сканер сайтов от content downloader посоветовать, довольно гибкий инструмент
    2) Посылаю напрямую get запросы вида: https://yandex.ru/search/xml?user=lo...s-in-group%3D1
    Раньше через zennoposter делал, сейчас на python перевёл все.
    Логика такая, раз в сутки робот заходит и тырит все urls из sitemap, потом каждый пробивает через xml. Такой подход позволяет наблюдать динамику.
    3) Вообще с закрытого бета тестирования снимаю и сравниваю, там как было: вначале выложили сырой алгоритм, он косячил жестко, потом вообще убрали(выгружалось и писалось что 0 страниц в индексе). Но после того как вернули страдает лишь актуальность(где то на 3-4 недели остаёт)
    • 0
  6. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    Stza, Да, тружусь в клиентском сео, но это немногое меняет - я знаю массу примеров, когда на личных проектах у сеошников творится какой-то ад. Просто, мне кажется, вы поспешили и оценили мою статью сугубо с одной только Вашей колокольни.

    Цитата Сообщение от Stza Посмотреть сообщение
    Посылаю напрямую get запросы вида: https://yandex.ru/search/xml?user=lo...s-in-group%3D1
    Раньше через zennoposter делал, сейчас на python перевёл все
    Ну Зеннопостер платный, а я ж вроде как бесплатные способы рассматривал
    А на пухане мало кто из сеошников прогает. Да и вообще мало кто из сеошников прогает хоть на чем-то =))
    Мне кажется - это очевидные минусы для большей части аудитории.

    Но в целом - ваша идея мне понравилась, если ее брать чисто для своих клиентов - самое то, гемора меньше. Попробую взять на вооружение.
    • 0
  7. Дипломник Аватар для Stza
    • Регистрация: 20.04.2015
    • Сообщений: 198
    • Репутация: 64
    umarkt-stepanov@yandex.ru,
    ну так то да, у Netpeak вроде два инструмента бесплатных: сканер сайта(http://netpeak.ua/software/netpeak-spider/) и пробивка страниц на параметры(http://netpeak.us/software/netpeak-checker/), по хорошему этого достаточно
    P.s. выпарсить список проиндексированных страниц из самого яндекса довольно проблематично,т.к. в serp яндекса существует защита(ну впринципе обходится антикаптчей какой-нибудь), а так же ограничение в 1000 результатов(можно спарсить, но если у вас вложенная система url и нет разделов больше 1000 страниц site:www.site.ru/razdel) поэтому советую смотреть в сторону beta.webmaster.yandex.ru
    Последний раз редактировалось Stza; 28.01.2016 в 16:30.
    • 0
  8. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    Stza, в пределах данной статьи чекер нет смысла вспоминать - это другая история

    Цитата Сообщение от Stza Посмотреть сообщение
    выпарсить список проиндексированных страниц из самого яндекса довольно проблематично
    Цитата Сообщение от Stza Посмотреть сообщение
    ограничение в 1000 результатов(можно спарсить, но если у вас вложенная система url и нет разделов больше 1000 страниц site:www.site.ru/razdel)
    на счет 1к страниц не совсем понял - в каком смысле?
    Можно парсить хоть 100к страниц, проблем не будет
    • 0
  9. Дипломник Аватар для Stza
    • Регистрация: 20.04.2015
    • Сообщений: 198
    • Репутация: 64
    umarkt-stepanov@yandex.ru,
    как спарсить все проиндексированные страницы ну скажем sports.ru? в результате поиска 1000 результатов,а страниц больше миллиона, типо просканировать сайт и проверить все ли страницы проиндексированы?
    Тогда встает вопрос, а если какой то мусор затесался(помимо основных страниц сайта), как его выявить?
    • 0
  10. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    Цитата Сообщение от Stza Посмотреть сообщение
    в результате поиска 1000 результатов,а страниц больше миллиона, типо просканировать сайт и проверить все ли страницы проиндексированы?
    Не знаю я зачем вы приплели 1к результатов. Вы думаете индексация всех страниц выполняется с помощью запроса типа site:domain? Да и сайты с миллионом страниц должны уже использовать отдельные разработки, применять данный способ к такому сайту - это все равно что валить лес ручной пилой.
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Как проверить массово - в индексе ли страницы?
Вопросы от новичков 2 13.12.2014 16:33
проверить индексацию G/Y/B
Yahoo, MSN,BING... 2 04.11.2014 17:53
Как массово проверить параметры большого количества сайтов?
Вопросы от новичков 11 09.09.2014 10:05
Массово проверить список сайтов на наличие вирусов.
Безопасность в сети 2 16.06.2014 22:23
Чем массово проверить отзыв сервера, код 200 и ВС?
Софт, скрипты, сервисы 2 16.02.2012 12:52

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры