[xilgiz]

Добрый день.
Есть вопрос насчет сайта _http://tatsvai.ru
Там хостинг не был оплачен, и поставили запрет индексации. Потом, когда сайт запустили - убрали все это.
Прошло уже почти неделя, но стоит сообщение https://yadi.sk/i/6-J_lAsVjWNyt
Притом, дата проверки обновляется. Там сейчас вообще нет файла robots.txt? вебмастер это подтверждает https://yadi.sk/i/X05c5l3mjWPEM но все продолжает ругаться..
В саппорт написал - ответа еще нет..

Что можно сделать?

[Fartuna]

xilgiz,Для начала в кабинете вебмастера проверь ответ от сервера.

Посмотреть историю когда робот был на сайте и по графику посмотреть какой ответ получил при заходе.

Если все нормально, остается ждать...

P.s Была у меня такая же надпись, сама пропала.

[PermProd]

Что можно сделать?

Ну для начала можно сделать файл robots.txt и sitemap.xml для вашего сайта и добавить его в вебмастера обоих поисковых систем.
Об этом написано в рекомендациях Яндекса под пунктами 2 и 3.

[xilgiz]

PermProd, Да, я сразу тоже хотел, но смутило то, что там мне до этого не известный движок DoIt, а про него в сети инфы мало. Сейчас попробую составить файлы.
Сделал

Развернуть текст

User-agent: *
Disallow: /app/
Disallow: /cms/
Disallow: /common/
Disallow: /sites/
Disallow: /storage/
Disallow: /storage/
Disallow: /vendors/
Sitemap: http://www.tatsvai.ru/maps.xml

User-agent: Yandex
Disallow: /app/
Disallow: /cms/
Disallow: /common/
Disallow: /sites/
Disallow: /storage/
Disallow: /storage/
Disallow: /vendors/
Host: www.tatsvai.ru
Sitemap: http://www.tatsvai.ru/maps.xml

[свернуть]

Fartuna, при проверке показывает https://yadi.sk/i/QXFTXvKVjWZFJ

[Fartuna]

xilgiz,Нормально все, 1-2 АП и войдет страница в индекс. (иногда у меня была такая запись, но если смотреть выдачу, то страница была в выдачи, за исключением "пометки" закрыта в robots, это было когда сайт был закрыт и потом его открыл, не всегда такое, но было)

P.s А пока, как писали выше, сделай robots правильно, закинь его в корень и потом в том же вебмастере проверь, разрешена ли индексация ссылок(там укажи url страницы и проверь что можно, а что нельзя)

[xilgiz]

Вообще не пойму я. Там же этот сайт один сеошник отправил. Заметил, что он там некоторые изменения сделал, что бы сайт хуже продвигался, например, убрал вывод Title, пока еще не нашел, как их вернуть, т.к. инфы очень мало..
Пока с индексацией хотелось разобраться..

Там в .htaccess есть строка

RewriteRule !\.jpg$|\.jpeg$|\.xlsx?$|\.pptx?$|\.docx?$|\.gif$| \.png$|\.bmp$|\.jpeg$|\.zip$|\.tar.gz$|\.swf$|\.pd f$|\.rar$|\.js$|\.css$|\.ico$|^cms/external|^docs\/docs\.php|^cms/mod_admin/imanager|^images/|^yandex|^robots\.txt/|^storage/(.*) index.php [L]

Так вот, с этой срокой ссылка карты сайта http://www.tatsvai.ru/maps.xml дает 404 ошибку. Если строку убрать - внутренние страницы не открываются...

Подскажите, что сделать. Видимо, эта срока в чем то виновата?

[seogitler]

убрал вывод Title, пока еще не нашел, как их вернуть

А в код прописать не вариант?

[DukeNukem]

Бывает хостеры банят ip Яробота за "спам". Бывает, конченые движки отдают 404 вместо 200 в заголовке...

[xilgiz]

А в код прописать не вариант?

Это же движок, а не чистый HTML. Я в программировании не силен, тем более тут про движок инфы мало. Нашел, как вывести в админке поле для title, оно сохраняется в БД, а вот вывести в материале не получается..