[dprosvetov]

Как создать карту сайта для поисковых систем.
Как это работает.
Когда поисковый робот заходит на блог, он находит эту карту. В ней есть ссылки на все статьи.
Там тоже такие ссылки стоят и индексируют наш блог в полном объеме.
Для чего необходим файл robots.txt.
Движок wordpress устроен таким образом, что если мы, например, находимся на главной странице по определенному адресу, то мы видим вот эти заметки. Если теперь перейдем к архивам блога, то здесь адрес у нас уже изменяется, а заметки те же. Это называется дубли.

[pyramida]

Скачайте Xenu она не сложная разберетесь если нет в ЛС я помогу.

[oleg_ug]

Комментарий модератора: oleg_ug

1. Дополнение к правилам:
   1. В связи с тем, что каждый зарегистрировавшийся новичек взял для себя моду сразу публиковать анонсы с сылками на свои блоги - Запрещается постить в разделе "Дайджест" анонсы новостей пользователям, с кол-вом сообщений меньше 50.