[Демиург]

вот оттуда, как я понял, чем меньше тем лучше?

Чем меньше - тем меньше нагрузка на сервер. Я не гуру робофайла, это мой первый опыт его создания, но вроде бы именно так.

Ребят, всё же хотелось бы попросить вернуться к теме. Если с роботом всё нормально - в чём может быть причина того, что Яндекс, вроде бы как полюбивший сайт, и в какой-то момент даже начавший неплохо ранжировать его страницы, перестал индексировать, а после сегодняшнего апа вместе с двумя влетевшими страницами вылетело ещё целых 30?

[AntonMarin]

По поводу дублей вы чуть чуть ошибаетесь.
Дублированные страницы это страницы у которых одинаковое содержание но различные URL.
раздел категории в это описание совсем не вписывается.

Я Вас уверяю, Вам стоит открыть этот раздел.

Так же мой совет сделать нормальную карту .xml
и сообщить ее адрес в яндекс вебмастере.
На данный момент я не вижу у Вас на сайте карты такого формата.

P/S/ еще раз пробежался по сайту. раздел /category открыть!!!

[Демиург]

Так же мой совет сделать нормальную карту .xml
и сообщить ее адрес в яндекс вебмастере.
На данный момент я не вижу у Вас на сайте карты такого формата.

.../sitemap.xml (домен ведь помните?) - всё есть) в Вебмастер она была добавлена 4 месяца назад, в день запуска сайта :)

Насчёт категорий и тегов будем думать, спасибо за мнение...

---------- Сообщение добавлено 13:35 ---------- Предыдущее 13:34 ----------

Брррр, стоп, что-то не то. Только что покидал ссылку на сайтмап четверым товарищам - у всех всё нормально. Вот что говорит по поводу сайтмапа Яндекс:

Путь Добавлен Проверен Загружен Файл содержит Ошибки и замечания
.../sitemap.xml 22.06.2011 29.07.2011 29.07.2011 183 ссылки Ok

Почему проверен 22 июня - видать, я его тогда перегружал на сервер после смены домена. Почему с 29 июля он не обновляет сайтмап - вопрос. К слову, Вебмастер говорит о том, что сайтмапы всех моих сайтов не загружались с 29-30 июля. Как я понимаю, имеется ввиду загрузка поисковым роботом Яндекса?

С другой стороны, Гугл:

Sitemap Статус Тип Загружено URL отправлены URL в интернет-индексе
/sitemap.xml Sitemap 10.08.2011 206 202

AntonMarin, я так понимаю, вы поняли, что ошиблись и удалили свой предыдущий пост?

[truemaks]

AntonMarin,у меня вп, категории и теги закрыты, надо тоже открыть?

[Демиург]

truemaks, вообще я бы сказал, что тут сколько людей - столько и мнений. Кто-то считает, что нужно закрыть, кто-то считает что нужно открыть. Я ещё почитаю и сделаю выводы для себя.

[AntonMarin]

AntonMarin, я так понимаю, вы поняли, что ошиблись и удалили свой предыдущий пост?

Да действительно, я чуть чуть ошибся.
Просто если запросить карту сайта с www она откроется, а если без www, у меня почему то ошибку выдает.

Вебмастер говорит о том, что сайтмапы всех моих сайтов не загружались с 29-30 июля. Как я понимаю, имеется ввиду загрузка поисковым роботом Яндекса?

Да правильно.

Добавлен - дата когда вы добавили
Загружен - дата загрузки яшей
Проверен - дата ее проверки

Ну про гугл думаю разговор вообще не уместен =) он вообще кушает все подряд. (ну по крайней мере у меня)

---------- Сообщение добавлено 17:18 ---------- Предыдущее 17:16 ----------

truemaks, надо смотреть весь сайт целиком, анализировать его на дубли и мусорные страницы и уже из этого исходя либо закрывать/открывать страницы/ разделы на нем.

[InFakes]

У меня Яша вообще ударил по блогу, индекс стремительно упал из 61 страницы осталось 4... а про новые странички молчу...

[Демиург]

На другом сайте вылетело 9 страниц из индекса - 9 страниц, на которые я КРАЙНЕ рассчитывал именно сегодня. Идиотизм, чесслово.

[AntonMarin]

Демиург,
Подождите пару дней. Не стоит так сразу кипишь устраивать.
Апдейт еще не закончен.

[Демиург]

Ну что касается тех страниц, о которых я сейчас говорю - уже ждать нечего, они мне в индексе нужны были только сегодня. Уже через несколько часов не нужны будут совершенно... Ладно, это всё равно не по теме.

Надежда была на то, что кто-нибудь поделится действенным способом обратить внимание Яндекса на отдельные странички сайта.