Боты кроме яндекса и гугла

(Ответов: 2, Просмотров: 490)
  1. Студент Аватар для Alex_Web
    • Регистрация: 18.01.2016
    • Сообщений: 63
    • Репутация: 1
    Всем привет, просветите в некоторых вопросах плиз.
    1) После апдейта появились внешние ссылки на сайт с ресурсов http://spb-respect.ru/ http://runblog.ru/. На данном микроблоге не зарегистрирован, сайту всего месяц, собственно вопрос не повредят ли сайту такие ссылки с мусорных микроблогов?
    2) В логах заметил, что на сайт приходят боты кроме Яндекса и Гугла, к примеру www.majestic12.co.uk, нужно ли запрещать индексирование подобным или пусть заходят?
    Последний раз редактировалось Alex_Web; 29.04.2016 в 13:40.
    • 0
  2. Quae res omnia Аватар для Coder
    • Регистрация: 29.01.2015
    • Сообщений: 821
    • Репутация: 299
    Как сам делаю:
    - Если со скользских тематик (пр-но и подобное) - то блок по имени домена и ip
    - Если бот слишком настырный и нагружает чрезмерно, и ненужных мне стран/регионов - блок
    - Если боты нехорошего списка (тут, конечно, самому смотреть нужно) - блок
    Остальные ip/боты, даже если видно, что скачивают материалы, но культурно (то есть приемлемый промежуток между запросами), и используют head|get - пожалуйста.
    Если же "долбятся" настырно по определенным url, и преимущественно POST - блок.

    Так, примерно.
    • 1

    Спасибо сказали:

    Alex_Web(29.04.2016),
  3. Гуру
    • Регистрация: 22.04.2014
    • Сообщений: 988
    • Репутация: 133
    Ну, дак это же получаются практически естественные ссылки на ваш сайт. Ничего страшного от них не будет и пускай боты лазят, волноваться нужно, когда их нет
    Надежный и отзывчивый VPS Хостинг для серьёзных проектов.
    • 1

    Спасибо сказали:

    Alex_Web(29.04.2016),

Похожие темы

Темы Раздел Ответов Последний пост
Аккаунты твиттера в индексе Яндекса и Гугла
Прочее 5 26.01.2016 16:26
Чем прочекать конкуренцию Гугла, кроме KeyCollector?
Вопросы от новичков 9 09.01.2015 10:19
Траффик с Яндекса 10 чел с Гугла 350
Yandex 30 14.06.2014 02:07
Кто как делает сниппеты для яндекса и для гугла?
Общие вопросы поисковой оптимизации 7 19.05.2013 14:35
Трафик с Гугла меньше трафика с Яндекса
Вопросы от новичков 16 17.05.2012 00:55

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры