Исправить robots.txt - Webmasters.ru - RSS http://webmasters.ru/forum/showthread.php?t=77644 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1743357728 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png SEO форум вебмастеров Webmasters.ru http://webmasters.ru/forum Исправить robots.txt by kamea http://webmasters.ru/forum/showpost.php?p=766290 Sat, 21 Jan 2017 18:46:13 GMT Добрый день. Нужна помощь по такому вопросу. Имеется сайт, сделанный на Джумле+Virtuemart. Последний помещает различную служебную информацию (типа libraries, templates и пр.) в общую папку components, которая в итоге содержит 15 поддиректорий. В robots.txt сейчас директория components закрыта: Disallow: /components/ Однако в этой же директории!!! также имеется поддиректория com_virtuemart/shop_image/product/, в которую по умолчанию помещаются ВСЕ КАРТОЧКИ ТОВАРА. И, хотя ниже в robots.txt прописана директива Allow: /components/com_virtuemart/shop_image/product/ Allow: /components/com_virtuemart/shop_image/product/resized/ позволяющая просмотр карточек товара, у меня есть большое подозрение, что ни Гугл, ни Яндекс эти страницы не индексируют. Во всяком случае, Гугл выдает такую картину: - см. вложение 22672 Вопрос: как правильно закрыть всю директорию components, кроме одной папки com_virtuemart и двух ее подкаталогов? Буду очень признательна за помощь профи. Исправить robots.txt by Alexey_chu http://webmasters.ru/forum/showpost.php?p=766298 Sun, 22 Jan 2017 05:21:06 GMT у меня есть большое подозрение, что ни Гугл, ни Яндекс эти страницы не индексируют какое может быть подозрение, если в панели вебмастеров эта информация четко отображается и для гугла вы даже скрин сделали. Если у вас одинаковые правила для обоих поисковиков, то вероятно в Яндекс.Вебмастере будет аналогичная картина. в которую по умолчанию помещаются ВСЕ КАРТОЧКИ ТОВАРА. судя по урлу это папки с изображениями, а не с товарами. есть две вещи, которые стоит открывать для индексации - собственно сам урл страниц (и это всяко не тот урл, который вы указали) и ресурсы, необходимые для оценки внешнего вида сайта (картинки, скрипты, цсс. В панели гугла можно увидеть эти ресурсы). Возможно вы имели в виду именно это? Если да, то закрывайте по типу Allow: /components/*.jpg каждый тип ресурса (по крайней мере я всегда такую конструкцию использую, жалоб на ее работу никогда не возникало) з.ы. Ну и скриншот вы предоставили неполный, конечные урл тоже не предоставили, поэтому до конца неясно почему у вас там не работает ваша конструкция, какие урлы вы хотите загнать в индекс и банально - не допустили вы опечаток. Исправить robots.txt by kamea http://webmasters.ru/forum/showpost.php?p=766447 Mon, 23 Jan 2017 19:53:49 GMT Alexey_chu, спасибо, что отозвались. 1. В моем случае изображения - это и есть товар (поскольку это карточки товара - свадебные платья). Выглядит это приблизительно так: _http://atelier.kharkov.ua/katalogi/collection-new-ladies-2017/details/2136/61/svadebnie-platya-2017---kollektsiya-new-ladies/wedding-dress-lucius-foto-1.html Все изображения по умолчанию помещаются в каталог components/com_virtuemart/shop_image/product/ Т.о., получается, что закрыты от индексации все товары. Вытащить их оттуда и переместить куда-то в другое место я не могу. 2. Robots писала не я - это наследство наших уродов-разработчиков. Мы очень долгое время вообще не понимали, что происходит, и почему сайт так плохо продвигается, несмотря на хорошие фотографии и уникальные тексты. Когда разобрались - увидели ту картину, которую я описала. И, насколько я вижу, урл просто копируется, поэтому опечаток тут быть не может. Скрин, разумеется, неполный, только фрагмент - я думала, что он слишком велик, чтобы его приводить полностью. Что вы посоветуете? Исправить robots.txt by Alexey_chu http://webmasters.ru/forum/showpost.php?p=766473 Tue, 24 Jan 2017 07:13:16 GMT В моем случае изображения - это и есть товар нет, карточка товара - это страница, а фото товара - это картинка, не путайте понятия, а то люди вас не поймут правильно)) я сейчас вижу что у вас все индексируется - перепроверьте.