SamMan, могло быть так. Был старый роботс с него и старые ошибки. Смотрите дату ошибок.
- 02.03.2012 11:59
- Регистрация: 09.10.2011
- Сообщений: 1,814
- Репутация: 251
- 11.03.2012 21:04
- Регистрация: 01.03.2012
- Сообщений: 104
- Репутация: 2
Читал, что Гугл не обращает внимания на роботс. Даже если запретить, все равно будет ходить по сайту.
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
FAQ по robots.txt | Дайджест блогосферы | 12 | 12.02.2012 20:06 |
robots.txt | Web программирование | 4 | 10.08.2011 14:47 |
Robots.txt | Обучающие статьи | 12 | 30.06.2011 10:29 |
robots.txt | Прочее | 0 | 18.03.2011 10:44 |
dle robots.txt | Web программирование | 3 | 08.01.2011 22:16 |