[yarcube]

pyramida, хорошо, уберу. Какой командой ограничить частоту подключений Яндекс и Гугл, если они ломятся с разных IP адресов и по этому получается чаще, чем каждые 4 секунды.
Crawl-delay: 4 - не помогает, см. сообщение #9

[nn165m]

у меня так вот сделано:

User-agent: *
Allow: /category/*
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Allow: /category/*
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host:
Sitemap:

ситуация аналогичная:)
яша 1000 стр
гугл 3000+ стр

---------- Сообщение добавлено 09:11 ---------- Предыдущее 09:09 ----------

yarcube, они вам сервер грузят или что?
просто если не каких проблем нет то зачем ограничивать?

[yarcube]

Disallow: */comments

nn165m, зачем вы комментарии закрыли? Это по моему уникальный контент, который генерируют пользователи.

[pyramida]

уберу. Какой командой ограничить частоту подключений Яндекс и Гугл, если они ломятся с разных IP адресов и по этому получается чаще, чем каждые 4 секунды.

если их хостер не выдерживает, я бы его поменял(хостера) :)