Robots.txt - настройка правильной оптимизации Вордпресс

На днях все были возмущены утечками конфиденциальной информации, приватных данных в поисковые системы яндекс и гугл с интернет-магазинов и других сайтов. Это в очередной раз подчеркнуло значимость правильного составления файла robots.txt.

Поэтому я предлагаю всем проверить свои файлы для блогов и сайтов на вордпресс, чтобы сохранить данные и сделать шаг к поисковой оптимизации, путем избавления от дублей.