Яндекс считает сайт дорвеем

(Ответов: 2, Просмотров: 1717)
  1. Гуру Аватар для MetalMessiah
    • Регистрация: 19.04.2011
    • Сообщений: 745
    • Записей в дневнике: 4
    • Репутация: 189
    В ЯВМ появилась фатальная проблема
    Обнаружены нарушения или проблемы с безопасностью
    Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.
    В индексе только главная страница. В подробностях -
    Страницы сайта исключены из поиска
    Основной целью сайта или его отдельных страниц является перенаправление посетителей на страницы других сайтов. Иногда появление дорвейных страниц может быть связано со взломом сайта.
    Обычно ограничения снимаются в течение месяца после устранения нарушения.
    Теперь о сайте. Это файловый сайт, несколько страниц по программным продуктам и ссылки на скачивание.
    Ссылки скрыты от простых смертных и всяких ботов чтобы не создавать паразитный трафик и не было хотлингинга:
    на странице кнопка, вызывающая Javascript код, код POST'ом отправляет ID скачиваемого файла скрипту download.php.

    Далее сам скрипт download.php:
    1. Проверка наличия валидных POST параметров
    2. Ошибка в ответе для поисковых ботов и собирателей ссылок, идентифицируемых по User-Agent
    3. Если все ок - выдается страница по мотивам SourceForge с выбором зеркала для скачивания, а если выбора не было - через несколько секунд идет редирект через <meta> на выбранное по умолчанию главное зеркало.

    Собственно момент интересный в том, что это уже не первый сайт сделанный по подобной схеме, у нее есть некоторые преимущества перед обычными ссылками на скачивание. Есть и другой сайт, там все то же самое кроме того что download.php получает переход по обычной ссылке с параметрами в GET и успешно (чтоб не сглазить) функционирует. По новому сайту - проблема появилась вскоре после установки Яндекс.Метрики (видимо, зря поставил эту гадость) - по другому кроме как отслеживание контента запрещенных для индексации страниц Яндекс не мог обнаружить Meta Refresh тег. Что посоветуете делать? Писать Платону чтобы они вручную убедились в том что сайт не дорвей, или какие-то будут идеи по скриптам?
    • 0
  2. Дипломник
    • Регистрация: 03.12.2013
    • Сообщений: 239
    • Репутация: 22
    Ну есть ряд вопросов:
    1) На страницах с которых уже можно скачать софт установлена я.метрика?
    2) Гугл уже давно выполняет js скрипт, думаю что яндекс тоже умеет это делать, нужно проверить. Так что клик по кнопке может происходить ботом. А по юзер агенту фильтровать вы все не сможете, боты умные.
    3) В robots.txt вы закрыли странички? В sitemap?

    Что можно попробовать:
    Если позволяет время то убрать эти download страницы на время, может сайт войдет обратно в индекс(и обязательно скрипт который редиректит пользователя через время). Как вариант поставить капчу или пароль на download страницу.
    И сколько страниц у сайта, сейчас только главная в индексе ж?
    • -1
  3. Гуру Аватар для MetalMessiah
    • Регистрация: 19.04.2011
    • Сообщений: 745
    • Записей в дневнике: 4
    • Репутация: 189
    В sitemap download.php отсутствует, но код метрики есть на всех страницах включая эту.
    Disallow: /download.php в robots добавил, до этого не было.
    Сейчас в индексе главная, на сайте 10 страниц, Гугл их нормально ранжирует.
    Сами файлы лежат на CDN домене, он другой, на нем контента нет просто хранилище файлов.

    Могу, конечно, какой-то соленый хеш добавить чтобы боты не проходили, но как писал в 1м посте это не первый подобный сайт и раньше Яндекс в доры сайты не записывал, хотя посмотрю как там дела может быть метрика не стоит на той странице... но точно содрана идея с SourceForge. Все таки тут не столько бот проходит сколько содержимое страницы Метрикой сливается в Яндекс.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Гугль считает Яндекс-метрику трояном?
Yandex 3 24.08.2017 11:26
youtube считает просмотры?
Вопросы от новичков 4 29.04.2013 22:07
яндекс. что он считает за спам в тайтлах?
Вопросы от новичков 10 17.01.2013 13:24
Программа которая считает координаты
Web программирование 1 12.09.2012 01:31
Метрика считает отложенную конверсию
Поисковые системы 0 04.08.2011 16:58

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры