Помогите с файлом robots.txt

(Ответов: 4, Просмотров: 355)
  1. Студент Аватар для iCrew
    • Регистрация: 29.05.2013
    • Сообщений: 31
    • Репутация: 3
    • Webmoney BL: ?
    Здравствуйте, уважаемые форумчане. Помогите, пожалуйста, с файлом robots.txt. Почти все позакрывал на своем сайте, думаю, может чего-то и лишнего закрыл для роботов. Новостной сайт.

    Robots

    User-agent: *
    Allow: /wp-includes/images/
    Allow: /wp-includes/js/
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php

    User-agent: Yandex
    Allow: /wp-includes/images/
    Allow: /wp-includes/js/
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php

    Host: мой_сайт.ru
    Sitemap: http://мой_сайт.ru/sitemap.xml
    [свернуть]


    Склоняюсь к тому, что "Disallow: /category/" лучше убрать. А с инструкциями Allow все ли в порядке?
    • 0
  2. Новичок Аватар для Karandash
    • Регистрация: 18.02.2015
    • Сообщений: 19
    • Репутация: 1
    Я бы на вашем месте сначала ЧПУ нормально настроил чтобы костыли убрать.
    1) Это можно убрать и использовать данные разделы как инструмент перелинковки
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/

    2) неверные директивы

    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments

    3)Можно решить через .htaccess
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    • 1

    Спасибо сказали:

    iCrew(24.03.2016),
  3. Студент Аватар для iCrew
    • Регистрация: 29.05.2013
    • Сообщений: 31
    • Репутация: 3
    • Webmoney BL: ?
    Цитата Сообщение от Karandash Посмотреть сообщение
    Это можно убрать и использовать данные разделы как инструмент перелинковки
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    А "Disallow: /category/" тоже лучше убрать или оставить?
    • 0
  4. Гуру Аватар для buninsan
    • Регистрация: 12.02.2012
    • Сообщений: 1,021
    • Репутация: 189
    Цитата Сообщение от iCrew Посмотреть сообщение
    тоже лучше убрать или оставить?
    убрать, конечно если вы хотите что-бы ваш сайт проиндексировали пс.
    • 1

    Спасибо сказали:

    iCrew(24.03.2016),
  5. Студент Аватар для iCrew
    • Регистрация: 29.05.2013
    • Сообщений: 31
    • Репутация: 3
    • Webmoney BL: ?
    Цитата Сообщение от buninsan Посмотреть сообщение
    убрать, конечно если вы хотите что-бы ваш сайт проиндексировали пс.
    Хочу, конечно) Просто не хочу, чтобы поисковики все подряд индексировали.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Почему Яндекс отказался от подтверждения сайтов txt-файлом
Дайджест блогосферы 0 08.02.2016 01:37
Помогите с .htaccess файлом
Оценка ваших сайтов, блогов 3 17.04.2013 01:21
Помогите с robots.txt для DLE
Web программирование 13 29.01.2012 15:09
Помогите составить robots.txt
Вопросы от новичков 4 09.11.2011 18:07
Помогите разобраться с robots.txt
Web программирование 10 20.08.2011 23:37

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры