Правильный ли robots.txt ?

(Ответов: 5, Просмотров: 1421)
  1. Banned
    • Регистрация: 21.01.2013
    • Сообщений: 465
    • Репутация: 334
    • Webmoney BL: ?
    Подскажите пожалуйста правильный ли у меня заполнен файл robots.txt ? Сайт стоит на двигателе DLE.

    Сам файл:

    User-agent: *
    Disallow: /tags/
    Disallow: /user/
    Disallow: /*print
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /upgrade/
    Disallow: /language/
    Disallow: /admin.php
    Disallow: /favorites/
    Disallow: /templates/
    Disallow: /addnews.html
    Disallow: /autobackup.php
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lastcomments
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts

    Host: site.com
    Sitemap: http://site.com/sitemap.xml

    Заранее спасибо!

    ---------- Сообщение добавлено 20:39 ---------- Предыдущее 20:17 ----------

    Или может быть я что то упустил а может и наоборот зря закрыл? Подскажите кто знает а то голова уже не соображает.
    • 0
  2. SEO специалист Аватар для hammer8
    • Регистрация: 14.05.2012
    • Сообщений: 2,817
    • Репутация: 529
    • Webmoney BL: ?
    BROKER, Это один из стандартных robots.txt для DLE, поэтому критических ошибок там нет.

    Цитата Сообщение от BROKER Посмотреть сообщение
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lastcomments
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    Вместо этого всего можно вставить просто
    Disallow: /index.php
    • 0
  3. Banned
    • Регистрация: 21.01.2013
    • Сообщений: 465
    • Репутация: 334
    • Webmoney BL: ?
    Дубли я все поубирал поэтому мне не грозят санкции на счет них, просто какой то громоздкий получился файл поэтому и спросил, а то мало ли может что то лишнее закрыл по запарке.
    И кто как считает нужно ли закрывать теги от индекса?
    Последний раз редактировалось BROKER; 07.10.2013 в 21:54.
    • 0
  4. Дипломник Аватар для Awardik
    • Регистрация: 17.02.2013
    • Сообщений: 223
    • Репутация: 34
    • Webmoney BL: ?
    BROKER, я закрывал теги.
    • 0
  5. Дипломник
    • Регистрация: 25.01.2013
    • Сообщений: 233
    • Репутация: 61
    • Webmoney BL: ?
    Цитата Сообщение от BROKER Посмотреть сообщение
    И кто как считает нужно ли закрывать теги от индекса?
    Вопрос спорный, если умеете с ними работать, то не закрывайте, не умеете и не знаете как, лучше закройте.
    Облако тегов вообще на узкотематических сайтов лучше использовать, например, когда сайт о том же DLE делаете, что у вас этот тег в 50% материалов имеется, неплохая перелинковка получается... Но там тоже и возни и настройки и т.д.
    • 0
  6. Гуру Аватар для dmg.shark
    • Регистрация: 10.04.2010
    • Сообщений: 2,312
    • Репутация: 728
    • Webmoney BL: ?
    Цитата Сообщение от BROKER Посмотреть сообщение
    просто какой то громоздкий получился файл поэтому и спросил
    ну он большой получился из-за самого движка - потому что в нем очень много лишнего, что не всегда используется
    если бы был голый html, то там бы и было 1-2 строки, а так получается, что много чего нужно закрывать
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Правильный редирект.
Вопросы от новичков 5 30.07.2013 23:58
правильный url
Прочее 1 30.07.2012 14:11
Правильный дизайн от JP-Designs
Реклама партнерских программ 29 09.05.2011 16:43
Правильный редирект
Софт, скрипты, сервисы 0 17.10.2010 10:48
Пишем правильный синонимайзер
Дайджест блогосферы 0 09.09.2010 16:47

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры