[RasDva12]

Здравствуйте! У меня в инднксе яндекста только 1 страница - главная. в индексе гугла 400 страниц. в чем может быть проблема? может robots.txt плохой?
помогите решить вопрос.

---------- Сообщение добавлено 02:08 ---------- Предыдущее 02:07 ----------

вот роботс - http://open-taobao.ru/robots.txt

[olegf13]

Так у Вас ссылки с главной идут либо на категории (пример для категории Вопрос - Ответ) вида:
http://open-taobao.ru/index.php?PHPS...5dd9&board=2.0
(причём эта ссылка после первого посещения меняется на http://open-taobao.ru/index.php?board=2.0 , то есть для первого посещения в адресе добавляется идентификатор сессии для посетителя)
, либо на последний ответ (в Re: Одeяло с разными цeн...) с ссылкой вида:
http://open-taobao.ru/index.php?topic=120.msg331#new

При этом в robots.txt у Вас эти адреса для индексации закрыты:
Disallow: /*.msg
Disallow: /*PHPSESSID

Вот остальные страницы и не индексируются, к ним получается с главной и попасть никак нельзя. Настоятельно рекомендую Вам закрыть от индексации весь сайт, настроить ЧПУ ссылки на темы и посты, после чего уже отправлять сайт на переиндексации и радоваться результатам :)

[zkzakhar]

Директива Allow действует только для Яндекса. Я бы написал отдельно директивы для Яндекса и для всех остальных. А вообще количество страниц в Гугле ещё раз доказывает то, что для него закон не писан :) По поводу решения повторятся не буду - выше дали хороший ответ.

[RasDva12]

Ой, тяжеловато понять. Что ссылки с главной идут на категории и последние сообщения я понял. Получается роботс закрывает от индексации?
Скажите, что и как исправить мне в robots.txt ?

[theNickolay]

гугл в помощь - есть примеры файла роботс тхт для разных движков. гляньте на ktonanovenkogo.ru :)

[RasDva12]

роботс стоит именно оттуда. служба поддержки моей CMS (SMF)

[olegf13]

Настоятельно рекомендую Вам закрыть от индексации весь сайт, настроить ЧПУ ссылки на темы и посты, после чего уже отправлять сайт на переиндексации и радоваться результатам

Скажите, что и как исправить мне в robots.txt ?

Первым делом займитесь именно изменением адресов страниц - сделать ЧПУ ссылки, избавиться от дублей страниц и т.п. Затем уже думать о грамотном составлении файла robots.txt. Как вариант рассмотрите проведение аудита сайта у спецов.

[MiG-Z]

Было бы полезно более плотно пообщаться с теми, кто имеет опыт.