[Triple]

Данную статью я хотел бы посветить известному всем сеошникам сервису прошлого интернета "web-archive". В нем находился более миллиарда сайтов и страниц, которые можно посмотреть и сейчас. Можете посмотреть тот самый Vkontakte (в веб-архиве с 2000 года). Статья посвещена новичкам.

Для некоторых новичков - это траст, для некоторых - просто сохранить историю о сайте. Лично для меня - история.

Веб-архив подобен поисковым системам. Он так же индексирует сайты, и добавляет их в свою базу (тексты, изображения).

Рассмотрим способы, с помощью которых можно попасть в веб-архив.
Ссылки с трастовых и не совсем буржуйских сайтов. [Вероятность - 90%] Да, да - именно с буржуйских сайтов. Прокатит тот DMOZ - 90% сайтов, которые давно попали в dmoz находятся в веб-архиве. Именно dmoz является "основой" базы сайтов, которые нужно проиндексировать. Так же пойдут с других иностранных ресурсов. Прокатит прогон хрумером по буржуйским форумам и доскам

Alexa. [Вероятность - 40%] Если у вас alexa rank ниже 100 000, то ваш сайт наверняка будет проиндексирован веб-архивом. Увеличить его можно поставив тулбар Alexa, а так же анонсируя статьи в subscribe.ru (там куча пользователей с alexa тулбаром). Анонсируя статьи - будет и трафик.

Я не хочу, чтобы мой сайт попал в вебархив. Что мне делать?
Закрыть свой сайт от индексации вебархивом так же можно.
Нужно указать популярным поисковым системам разрешение на индексацию web-архивом а от остальных закрыть. Это будет выглядеть так:

Код:

User-agent: Yandex
Disallow: /register/

User-agent: Googlebot
Disallow: /register/

User-agent: Mailru
Disallow: /register/

User-agent: *
Disallow: /

Спасибо за прочтение статьи, прошу не кидать помидорками:)

[Talismanchik]

Я не хочу, чтобы мой сайт попал в вебархив. Что мне делать?
Закрыть свой сайт от индексации вебархивом так же можно.
Нужно указать популярным поисковым системам разрешение на индексацию web-архивом а от остальных закрыть.

Это можно сделать проще, просто указав роботу вебархива не индексировать сайт.

User-agent: ia_archiver
Disallow: /

User-agent: Mailru

Точнее: User-agent: Mail.Ru

[Triple]

Talismanchik, точно. Вспомнил, спасибо - освежили память :)

[WeBpIaR]

А для чего вообще добавлять сайт в вебархив?

[Talismanchik]

А для чего вообще добавлять сайт в вебархив?

Чтоб следующие поколения могли увидеть какими были ГС и хорошие сайты и могли сделать анализ развития Интернета.

[AggreSSor]

Можете посмотреть тот самый Vkontakte (в веб-архиве с 2000 года)

только что проверил, он там с конца 2006

[RaSKaLBaS]

Чтоб следующие поколения могли увидеть какими были ГС и хорошие сайты и могли сделать анализ развития Интернета

или могли выкачивать парсерами из вебархива сайты, которых нет в индексе и строить новые ГС...

[seofan]

у меня несколько сайтов возрастом от года, ниодного нет в вебархиве.

[aragiary]

Я не хочу, чтобы мой сайт попал в вебархив. Что мне делать?

А почему этого можно не хотеть?

[Triple]

aragiary, может быть, чтобы никто не смотрел историю сайта и каким он был ГС))):)