[BAR]

Доброго времени суток!
Не могу больше сам бороться поэтому прошу помощи у вас.
Такая ситуация: есть сайт http://fotorakom.com/ (эротика +18) ему около года но ни одной картинки (в основном уникальные) и поста (уникальный текст) по человечески не индексируется вы можете убедится в этом набрав в поисковой системе Google такой запрос: site:fotorakom.com/
и вы увидите примерно следующее:


Тут сразу заметно то что почему то в гугле в основной индекс попала какая то корявая страница, которая ведет в некуда, ведь к нормальной ссылке в конце подставлена надпись .feed/ и поэтому ссылка никуда не ведет, самое интересное что в файле robots.txt значение индексирования .feed/ стоит в запрете. А вот как раз нормальные страницы не вроде как не стоят в запрете (если я конечно не ошибаюсь )

По запросу в гугле сделанному выше (site:fotorakom.com/) можно заметить что в нижней части страницы написан

"Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше.
Показать скрытые результаты.

Если нажать на "Показать скрытые результаты" то вы увидите еще страницы в индексе гугла, но т которые я так понимаю он посчитал дублем, а там как раз попадаются нормальные опять же вперемешку с разными страницами, которые ведут куда зря и куда не стоит заходить. Так же интересный факт, что внизу каждой ссылки написано примерно следующее:
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Но где в файле robots.txt стоит запрет на описание? Почему он так пишет?
Еще один факт, что по началу гугл прекрасно индексировал картинки, но этот момент упущен и с того времени сделано много корректировок кода шаблона и настроек и уже не могу понять где моя ошибка в этом.
Я сначала думал, что не индексирует из за того, что нет ссылок на посты и подкупил немного еще, но результатов это не принесло.
После я подумал, что у меня есть два домена (*.ru и *.net) и я забыл их склеить, но и тут вроде бы все в норме. (если конечно кто знатит что что то не так то скажите )
Еще думал, что плагин (бокс для показа картинок при нажатии на них), но вроде бы он уже давно стоял, да и стоит не только уменя наверное ведь уже бы кто нибудь пожаловался по этой проблеме данного плагина, но я не встречал.
Еще лезут мыслы может я что в коде накосячил.
Может может я не склеял где то с www и без / Может кто поопытнее заметит в чем косяк.
Думал так потому что в "Инструментах гугл" у меня зарегистрированы сайты вот так:

www.fotorkom.com / fotorkom.com / fotorkom.ru







В общем прошу ребята кто может откликнитесь, я буду очень рад услышать дельный совет по этому поводу.
Если нужно какой нибудь скриншот для более внятного понимания данной проблемы, (например скриншот из гугл вебмастера) пиште я постарась как можно быстрее сделать это.

Вот ссылка на некоторые скриншоты которые могут помочь разобраться:

[Kirov56]

Может я чего то не понял, но тут причин может быть несколько - 1. сайт взрослой тематики, и гугл, как и другие ПС их не особо любят. Да и с роботсом мне кажется Вы что то перемудрили, у вас почему то две карты сайта не совсем понятно - для чего? По пробйте такой роботс: User-agent: *
Disallow:
Host: http://fotorakom.com/
Sitemap: http://fotorakom.com/sitemap.xml

[pyramida]

BAR, сайт эмулятору гугле бота, отдает 404 страницу. Исправляйте.
Обновил: страницы 404 в роботс закрыты? И зачем?

---------- Сообщение добавлено 07:34 ---------- Предыдущее 07:34 ----------

у вас почему то две карты сайта не совсем понятно

Одна сжатая, вторая нет :) И для сведения, параметр хост, гуглебот не понимает :)

[BAR]

Приветствую Вас друзья!
Спасибо что ответили, а то я уже и потерял надежду на помощь компетентных людей!

BAR, сайт эмулятору гугле бота, отдает 404 страницу. Исправляйте.
Обновил: страницы 404 в роботс закрыты? И зачем?

pyramida а какой параметр в robots.txt закрывает страницы 404, а то что то я не нашел закрывающий параметр 404 (Кстати тут такой вопрос, а зачем ему нужно их индексировать? Страницы вроде бы ведут в никуда)
А то что сайт эмулятору гугле бота, отдает 404 страницу - это как исправить, где мой косяк?

Kirov56 то что сайт эротической тематики тут не причем, ведь в индекс не попадает ничего (что подозрительно само по себе), да и у знакомого такой же сайт так из гугла у него не меньше чем из яндекса.

[pyramida]

BAR, страницы которых нет, обязательно должны отдать боту 404. Чтобы он понял, что их нет. Надпись видели "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."? Эти страницы по идее должны иметь метатег ноиндекс, и открыты в роботс, тогда их выкинет из индекса.
Проверьте основные разделы через посмотреть как гуглебот. Должны быть доступными. Я немогу сейчас найти ту страницу которую смотрел.
Домен куплен был? Посмотрите в версиях с вв и без нет ли мер?

[AndersonBy]

Почти у всех страниц пометка
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

[BAR]

Я немного покопался и вот на что обратил внимание:

Я так полагаю, что надпись "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" Вы увидели в поисковике Google введя запрос site:fotorakom.com/



Но этих ссылок вроде бы совсем не должно быть в индексе, потому что в файле robots.txt ссылки со знаком "?" командой Disallow: /*?*, я еще сегодня утром добавил в исключение со знаком вопроса в начале ссылки, вот такой командой Disallow: /?s=

Я не пойму, почему Google индексирует именно эти странницы, ведь если например, посмотреть на скриншот, который я выложил выше или ввести в поисковике Google запрос site:fotorakom.com/ , то можно увидеть, что он индексирует страницы с исходной ссылкой, которые не должны индексироваться.

Например возьмем прямо первую ссылку: http://fotorakom.com/?p=6906&preview=true

Как Вам наверняка дорогие коллеги известно, то ссылки на один и тот же пост (в данном случае к ссылке указанн существуют такие:
Исходная ссылка: http://fotorakom.com/?p=6906&preview=true
Короткая ссылка: http://fotorakom.com/?p=6906
Постоянная ссылка: http://fotorakom.com/seksualnye-chas...yshki-v-maske/

Все три они ведут на один и тот же пост, но google индексирует именно исходную ссылку (http://fotorakom.com/?p=6906&preview=true), которая по логике должна быть запрещена для сканирования роботу, а нормальные ссылки типа http://fotorakom.com/seksualnye-chas...yshki-v-maske/ , он игнорирует и картинки в постах естественно тоже игнорирует. А "Яндекс" же в этом случае все нормально индексирует (постоянные ссылки)


pyramida, домен куплен около года назад и вроде бы не под фильтром.

[BAR]

Я немного покопался и вот на что обратил внимание:

Я так полагаю, что надпись "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" Вы увидели в поисковике Google введя запрос site:fotorakom.com/



Но этих ссылок вроде бы совсем не должно быть в индексе, потому что в файле robots.txt ссылки со знаком "?" командой Disallow: /*?*, я еще сегодня утром добавил в исключение со знаком вопроса в начале ссылки, вот такой командой Disallow: /?s=

Я не пойму, почему Google индексирует именно эти странницы, ведь если например, посмотреть на скриншот, который я выложил выше или ввести в поисковике Google запрос site:fotorakom.com/ , то можно увидеть, что он индексирует страницы с исходной ссылкой, которые не должны индексироваться.

Например возьмем прямо первую ссылку: http://fotorakom.com/?p=6906&preview=true

Как Вам наверняка дорогие коллеги известно, то ссылки на один и тот же пост (в данном случае к ссылке указанной выше) существуют такие:
Исходная ссылка: http://fotorakom.com/?p=6906&preview=true
Короткая ссылка: http://fotorakom.com/?p=6906
Постоянная ссылка: http://fotorakom.com/seksualnye-chas...yshki-v-maske/

Все три они ведут на один и тот же пост, но google индексирует именно исходную ссылку (http://fotorakom.com/?p=6906&preview=true), которая по логике должна быть запрещена для сканирования роботу, а нормальные ссылки типа http://fotorakom.com/seksualnye-chas...yshki-v-maske/ , он игнорирует и картинки в постах естественно тоже игнорирует. А "Яндекс" же в этом случае все нормально индексирует (постоянные ссылки)


pyramida, домен куплен около года назад и вроде бы не под фильтром.

[pyramida]

домен куплен около года назад и вроде бы не под фильтром.

Проверте "удаление урл" в обеих зеркалах с ввв и без.
гугл работает по правилам правильного роботс, который управляет только сканированием, а не индексированием. Устал писать уже. Если страница в индексе, то их не выгонеш просто закрытием.

[BAR]

pyramida, напишите пожалуйста поподробнее что проверить? Я так понял в google веб мастере, в меню "Статус индексирования" посмотреть сколько удалено страниц и заблокировано в файле robots? ИЛИ ЧТО? В общем заранее извиняюсь за свою тупость если что