[iCrew]

Здравствуйте, уважаемые форумчане. Помогите, пожалуйста, с файлом robots.txt. Почти все позакрывал на своем сайте, думаю, может чего-то и лишнего закрыл для роботов. Новостной сайт.

Robots

User-agent: *
Allow: /wp-includes/images/
Allow: /wp-includes/js/
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Allow: /wp-includes/images/
Allow: /wp-includes/js/
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

Host: мой_сайт.ru
Sitemap: http://мой_сайт.ru/sitemap.xml

[свернуть]

Склоняюсь к тому, что "Disallow: /category/" лучше убрать. А с инструкциями Allow все ли в порядке?

[Karandash]

Я бы на вашем месте сначала ЧПУ нормально настроил чтобы костыли убрать.
1) Это можно убрать и использовать данные разделы как инструмент перелинковки
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/

2) неверные директивы

Disallow: */feed
Disallow: */trackback
Disallow: */comments

3)Можно решить через .htaccess
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

[iCrew]

Это можно убрать и использовать данные разделы как инструмент перелинковки
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/

А "Disallow: /category/" тоже лучше убрать или оставить?

[buninsan]

тоже лучше убрать или оставить?

убрать, конечно если вы хотите что-бы ваш сайт проиндексировали пс.

[iCrew]

убрать, конечно если вы хотите что-бы ваш сайт проиндексировали пс.

Хочу, конечно) Просто не хочу, чтобы поисковики все подряд индексировали.