Работа с robots.txt

(Ответов: 15, Просмотров: 1690)
Страница 1 из 2 12 Последняя
  1. Опытный
    • Регистрация: 10.11.2013
    • Сообщений: 347
    • Репутация: 28
    Привет, уважаемые форумчане, форумчанки и форумчата :) Ситуация:
    Имеется сайт заказчика (интернет магазин), данные в яндекс-вебмастере: загружено роботом 111376 страниц, в поиске 224 страницы, исключено роботом 23755 страниц (99% из них по ошибке 404).
    Заранее должен оговориться, что уже не в первый раз замечаю такую же ситуацию с инет-магазинами.
    Вопросы:
    1. 111376-23755 не равно совсем 224, т.е. получается, что страницы (кроме исключенных роботом) так же не в индексе. Возникает вопрос почему? Поисковик всегда выкидывает из индекса, например, карточки товаров и оставляет только страницы категорий? Или же это что-то не то с сайтом, что столько страниц не индексируется?
    2. Как поступать с 23755 страницами с ошибкой 404, их нужно закрывать в роботсе или вы просто забиваете на такие вещи, когда они встречаются?
    3. Как вы вообще подходите к работе над инет магазинами заказчиков? Понятно, что когда проект свой, то все делаешь чинно-благородно, можно и потратить месяц на исправление всяких косяков, но вот как быть с сайтами заказчиков. Например, попадается инет магазин с нескольким десятком тысяч страниц с кривыми ЧПУ. По-хорошему их нужно настроить на правильные, но ведь это столько гемора прогерам + редиректов нужно будет потом кучу наставить, выявить все страницы, какая на какую будет вести и т.д. Как вы поступаете в подобных случаях?
    Всем заранее спасибо за ответы.
    • 0
  2. Гуру Аватар для free
    • Регистрация: 13.03.2012
    • Сообщений: 536
    • Репутация: 24
    Та же проблема, робот находит 800, в индексе только 200
    • 0
  3. Рождённый в СССР Аватар для Gann
    • Регистрация: 30.04.2012
    • Сообщений: 1,073
    • Репутация: 310
    Fish_su, робот яндекса выкидывает из индекса дубли. Лучше всего сделать это самому.

    Я делаю так:
    1. Делаю список всех страниц сайта (карта сайта)
    2. Нахожу дубли страниц. Если ЧПУ настроены правильно - дублями считаю страницы со всякими /rek=&hjvjhhvj и т.д.
    3. Захожу в вебмастерс яндекс и составляю робот.тхт - для каждой страницы, которую закрываю - проверяю не пропадёт ли нормальная страница.
    4. Жду отвала дублей.
    По вашим вопросам:
    1.не понятная ситуация. Смотрите роботс.тхт - может из-за него карточки товаров выкидваются, а категории - наоборот. В составлении правильного роботса и проверки запрета идексировании страницы используйте: http://webmaster.yandex.ru/robots.xml - там внизу "Список УРЛ" - вставляйте ссылку и увидите результат
    2.Я просто забиваю на них, но можно и роботсом запретить... если это не ошибки сервера - меняйте хостинг)
    3. я несколько раз делал магазины на опенкарте. Первое и самое главное - настраиваю ЧПУ. Дальнейший гемор сразу пропадает.
    • 0
  4. Студент Аватар для Denikin
    • Регистрация: 24.08.2013
    • Сообщений: 66
    • Репутация: 12
    (99% из них по ошибке 404)
    Создали карточку - товар закончился - убрали карточку - 404 осталась висеть.
    Сделайте 301-й редирект с них на категории или на действующие карточки товаров.
    • -1
  5. Опытный
    • Регистрация: 10.11.2013
    • Сообщений: 347
    • Репутация: 28
    Создали карточку - товар закончился - убрали карточку - 404 осталась висеть.
    Это понятно.
    Сделайте 301-й редирект с них на категории или на действующие карточки товаров.
    Шутите? Сделать 23755 редиректов? Сами пробовали? На это месяц чистого времени уйдет. Отыскать все эти страницы и отыскать те, на которые должен идти редирект.
    • 0
  6. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,814
    • Репутация: 251
    Создали карточку - товар закончился - убрали карточку - 404 осталась висеть.
    Сделайте 301-й редирект с них на категории или на действующие карточки товаров.
    вот это делать не рекомендуется.

    ---------- Сообщение добавлено 18:58 ---------- Предыдущее 18:54 ----------

    Шутите? Сделать 23755 редиректов? Сами пробовали? На это месяц чистого времени уйдет. Отыскать все эти страницы и отыскать те, на которые должен идти редирект.
    а это и есть работа по "оптимизации сайта" :)
    Сами страницы есть? Или удалены? Проверьте, что эти страницы отдают именно код 404, а не 200. По идее должны отвалится давно.
    Сделайте то, что рекомендовал Gann скачайте программу Xenu и посмотрите где эти ссылки есть на сайте(в списке правой кнопкой и пропертис) и удалите с страниц.
    • 0
  7. Опытный
    • Регистрация: 10.11.2013
    • Сообщений: 347
    • Репутация: 28
    pyramida, привет, а ты с такими ситуациями сталкивался, как я описал? Какие-нибудь решения можешь предложить?

    ---------- Сообщение добавлено 17:38 ---------- Предыдущее 17:29 ----------

    pyramida, привет, а ты с такими ситуациями сталкивался, как я описал? Какие-нибудь решения можешь предложить?
    Сами страницы есть? Или удалены? Проверьте, что эти страницы отдают именно код 404, а не 200. По идее должны отвалится давно.
    Сделайте то, что рекомендовал Gann скачайте программу Xenu и посмотрите где эти ссылки есть на сайте(в списке правой кнопкой и пропертис) и удалите с страниц.
    Страниц нет точно, да 404 отдает. А на них забить не вариант? Т.к. товары в любом случае добавляются, удаляются и переносятся и это постоянный эффект, каждый раз гоняться за удаленными страницами накладно. Большое кол-во 404 страниц вообще негативно влияет на ранжирование или можно просто забить?
    Ну и вопрос №1 очень волнует.
    • 0
  8. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,814
    • Репутация: 251
    Fish_su, тебе уже даже план действий расписали. Что еще нужно? Сделать может за тебя? :)
    Делал такое конечно уже.

    ---------- Сообщение добавлено 19:14 ---------- Предыдущее 19:12 ----------

    А на них забить не вариант?
    не должно быть с страниц сайта много ссылок на 404 страницы. Пинка получить можно из ПС. Если лень, найди кто сделает.
    • 0
  9. Опытный Аватар для Pirat
    • Регистрация: 20.09.2012
    • Сообщений: 251
    • Репутация: 53
    Подходить к вопросу об оптимизации все страниц надо с понимания четкой цели итоговой. Для чего вам это?
    Вы через рекламу продаете товар, либо пытаетесь продвинуться по запросам.
    Также Вам довольно ясно сказали, если хотите загнать страницы в поиск, уберите дубли.
    Дубли можно убрать на основе пару десятков страниц.
    Выясните, сколько видов дублей создает ваш сайт и ведет на одну страницу. Оставьте ЧПУ, остальные закройте.
    А по какой причине выкидывает ПС вас, причин много.
    Это дубли страниц
    Дубли title
    Дубли Description
    Может у вас описаний нет
    Может страницы с ошибкой в коде, и тд тп.
    • 0
  10. Студент Аватар для Denikin
    • Регистрация: 24.08.2013
    • Сообщений: 66
    • Репутация: 12
    вот это делать не рекомендуется.
    а это и есть работа по "оптимизации сайта" :)
    pyramida, я нахожу противоречие в ваших высказываниях.


    Сделайте 301-й редирект с них на категории или на действующие карточки товаров.
    Почему этого делать не рекомендуется со страниц с 404 ответом?
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
robots.txt
Общие вопросы поисковой оптимизации 5 23.06.2013 00:40
robots.txt
Вопросы от новичков 9 23.04.2013 20:23
АГС или robots.txt
Вопросы от новичков 11 04.12.2012 20:37
Все о robots.txt
Общие вопросы поисковой оптимизации 19 03.07.2012 12:46
robots.txt
Прочее 0 18.03.2011 10:44

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры