Запретить архивы в robots.txt

(Ответов: 1, Просмотров: 208)
  1. Студент Аватар для mevilsnake
    • Регистрация: 25.01.2018
    • Сообщений: 96
    • Репутация: 1
    Здравствуйте! подскажите как запретить индексацию архивов в robots.txt

    robots txt:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: */feed
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: */feed
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php

    User-agent: Googlebot
    Allow: *.css
    Allow: *.js
    Allow: /wp-includes/*.js
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache
    Disallow: */trackback
    Disallow: */feed
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php
    Disallow: /*?

    Sitemap: http://site.ru/sitemap.xml
    • 0
  2. Новичок
    • Регистрация: 04.09.2018
    • Сообщений: 1
    • Репутация: 0
    Disallow: *.zip$
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Как в robots.txt запретить индексацию текста меню?
Вопросы от новичков 8 21.08.2014 18:33
Читы для игр (платные архивы)
Покупка продажа сайтов 1 20.07.2014 17:08
Тема WeaverII и архивы
WordPress 4 08.11.2012 19:25
Платные архивы
Вопросы от новичков 10 01.07.2012 23:40
Архивы за смс. Конкурс.
Партнерские программы 7 19.06.2010 18:57

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры