Лента этого топика

Индекс Google зашкаливает по сравнению с индексом Яндекс.

(Ответов: 13, Просмотров: 3173)
Страница 1 из 2 12 Последняя
  1. 31.03.2014 19:05
    #1
    yarcube вне форума
    yarcube
    Новичок
    • Регистрация: 26.08.2013
    • Сообщений: 18
    • Репутация: 0
    Идекс в Яндекс 10000
    Индекс в Google 212000
    Индекс в Bing 4800

    Сайт работает на Битрикс, роботс скопирован с большого, раскрученного сайта на Битриксе, что я упустил?
    Как очистить индекс Гугла и снизить до адекватных 10000?
    • 0
  2. Значок / Очков: 5
    31.03.2014 19:34
    #2
    brainix вне форума
    brainix
    Sapienti sat Аватар для brainix
    • Регистрация: 01.01.2013
    • Сообщений: 1,925
    • Записей в дневнике: 1
    • Репутация: 817
    • Webmoney BL: ?
    yarcube, это норма! (и картинка малышевой)
    Вы же не основной индекс у гугла смотрите, а весь?
    Основной смотреть так:
    site:url.ru/&
    Качественный хостинг | Отличная тизерная сеть
    • 1

    Спасибо сказали:
    yarcube(01.04.2014),
  3. 31.03.2014 19:38
    #3
    Я Джин вне форума
    Я Джин
    Гуру Аватар для Я Джин
    • Регистрация: 20.03.2012
    • Сообщений: 579
    • Репутация: 154
    • Webmoney BL: ?
    так было всегда, гугл закидывает в индекс кучу технических страниц, обычная проверка на сопли и все станет ясно сколько страниц в гугле по факту (хотя гугл может слать трафик по нч и на страницы в соплях)
    • 0
  4. 31.03.2014 22:58
    #4
    pyramida вне форума
    pyramida
    Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,813
    • Репутация: 251
    Цитата Сообщение от yarcube Посмотреть сообщение
    Сайт работает на Битрикс, роботс скопирован с большого, раскрученного сайта на Битриксе, что я упустил?
    Упустили главное. Не разработали структуру сайта.
    • 0
  5. 01.04.2014 00:10
    #5
    yarcube вне форума
    yarcube
    Новичок
    • Регистрация: 26.08.2013
    • Сообщений: 18
    • Репутация: 0
    brainix, основной индекс Гугл 7 540 страниц.
    pyramida, можно поразвёрнутей? Я не понимаю вас.
    Движок с тем раскрученным сайтом у нас одинаковый и роботс на мой взгляд может быть один и тот же.
    • 0
  6. 01.04.2014 10:22
    #6
    pyramida вне форума
    pyramida
    Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,813
    • Репутация: 251
    Цитата Сообщение от yarcube Посмотреть сообщение
    pyramida, можно поразвёрнутей? Я не понимаю вас.
    структура сайта

    Цитата Сообщение от yarcube Посмотреть сообщение
    Движок с тем раскрученным сайтом у нас одинаковый и роботс на мой взгляд может быть один и тот же.
    ага и категории одинаковые? Что показывает ВМТ-> сайт -> индекс гугла -> статус индексирования?
    • 0
  7. 01.04.2014 12:50
    #7
    yarcube вне форума
    yarcube
    Новичок
    • Регистрация: 26.08.2013
    • Сообщений: 18
    • Репутация: 0
    pyramida, вроде никаких категорий в роботс не указаны, только стандартные Битрикса, структура движка у нас не должна отличаться.
    И уверен, что структура соблюдена, но возможно структура нужно учитывать в роботс, этого не знаю.

    Код: 
    User-Agent: Yandex
Disallow: # empty Disallow instruction SHOULD be there
Allow: /rss.xml

User-Agent: *
Disallow: # empty Disallow instruction SHOULD be there
Crawl-delay: 4
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml
    Последний раз редактировалось yarcube; 01.04.2014 в 12:53.
    • 0
  8. 01.04.2014 19:53
    #8
    pyramida вне форума
    pyramida
    Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,813
    • Репутация: 251
    yarcube, боту Yandex разрешено все сканировать. Параметр host понимает только яндекс, а стоит в общем разделе. Ссылка на файл сайтмап, должна идти отдельным блоком. Crawl-delay: 4 гуглебот не понимает, а у Вас в общем разделе(по идее который гуглебот и будет смотреть, так как для него нет отдельного правила). По минимуму.
    • 1

    Спасибо сказали:
    yarcube(02.04.2014),
  9. 02.04.2014 12:15
    #9
    yarcube вне форума
    yarcube
    Новичок
    • Регистрация: 26.08.2013
    • Сообщений: 18
    • Репутация: 0
    pyramida
    боту Yandex разрешено все сканировать. Параметр host понимает только яндекс, а стоит в общем разделе.
    Правильно я понял?
    Код: 
    Sitemap: http://сайт.ru/sitemap.xml

User-Agent: Yandex
Disallow: # empty Disallow instruction SHOULD be there
Allow: /rss.xml
Host: сайт.ru
Crawl-delay: 4
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$

User-Agent: *
Disallow: # empty Disallow instruction SHOULD be there
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
    Crawl-delay: 4 гуглебот не понимает
    Похоже Яндекс тоже не очень интересуется этим правилом
    Код: 
    95.108.244.252 - - [02/Apr/2014:07:02:30 +0400] "GET /news/events/52640.php?ELEMENT_ID=52777 HTTP/1.1" 200 36243 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:31 +0400] "GET /bitrix/spread.php?s=QklUUklYX1NNX1JLTElURV9TSE9XXzE2ATE2ATEzOTUwNDE4NDkBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV181ATUBMTM5NTA0MTg0OQEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEzATEzATEzOTUwNDE4NDkBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV182ATYBMTM5NTA0MTg0OQEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEyATEyATEzOTUwNDE4NDkBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV18xOAExOAExMzk1MDQxODQ5AS8BAQJCSVRSSVhfU01fUktMSVRFX1NIT1dfOQE5ATEzOTUwNDE4NDkBLwEBAg%3D%3D&k=782f87930f926e269227fd1367bc7d4d HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:33 +0400] "GET /playbill/actions/45153.php?ELEMENT_ID=52995 HTTP/1.1" 200 36312 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:33 +0400] "GET /bitrix/spread.php?s=QklUUklYX1NNX1JLTElURV9TSE9XXzE2ATE2ATEzOTQ5OTk5MjgBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV181ATUBMTM5NDk5OTkyOAEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEzATEzATEzOTQ5OTk5MjgBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV182ATYBMTM5NDk5OTkyOQEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEyATEyATEzOTQ5OTk5MjkBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV18xOAExOAExMzk0OTk5OTI5AS8BAQJCSVRSSVhfU01fUktMSVRFX1NIT1dfOQE5ATEzOTQ5OTk5MjkBLwEBAg%3D%3D&k=3e0633d84b66b87de6343977c917ea0b HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
193.111.141.52 - - [02/Apr/2014:07:02:35 +0400] "GET /node/11438 HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.4; http://www.majestic12.co.uk/bot.php?+)"
95.108.244.252 - - [02/Apr/2014:07:02:36 +0400] "GET /news/culture/48235.php?ELEMENT_ID=52809 HTTP/1.1" 200 36841 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:37 +0400] "GET /bitrix/spread.php?s=QklUUklYX1NNX1JLTElURV9TSE9XXzE2ATE2ATEzOTQyMDg3NjIBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV181ATUBMTM5NDIwODc2MgEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEzATEzATEzOTQyMDg3NjIBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV183ATcBMTM5NDIwODc2MgEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzYBNgExMzk0MjA4NzYyAS8BAQJCSVRSSVhfU01fUktMSVRFX1NIT1dfMTIBMTIBMTM5NDIwODc2MgEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzE4ATE4ATEzOTQyMDg3NjIBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV185ATkBMTM5NDIwODc2MgEvAQEC&k=9f96243e08b95b5ee0f1d771f599b716 HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:39 +0400] "GET /news/culture/48235.php?ELEMENT_ID=52805 HTTP/1.1" 200 36845 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:39 +0400] "GET /bitrix/spread.php?s=QklUUklYX1NNX1JLTElURV9TSE9XXzE2ATE2ATEzOTUwMzYxMzMBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV181ATUBMTM5NTAzNjEzMwEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEzATEzATEzOTUwMzYxMzMBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV182ATYBMTM5NTAzNjEzMwEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEyATEyATEzOTUwMzYxMzMBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV18xOAExOAExMzk1MDM2MTMzAS8BAQJCSVRSSVhfU01fUktMSVRFX1NIT1dfOQE5ATEzOTUwMzYxMzMBLwEBAg%3D%3D&k=8d99b97bb5c8ffc567c32dce095878f7 HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
146.247.137.81 - - [02/Apr/2014:07:02:40 +0400] "GET /taxonomy/term/76/all HTTP/1.1" 500 38193 "-" "Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.0.5) Gecko/2008121622 Fedora/3.0.5-1.fc10 Firefox/3.0.5"
193.111.141.52 - - [02/Apr/2014:07:02:41 +0400] "GET /news/society/50706.php HTTP/1.1" 200 36765 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.4; http://www.majestic12.co.uk/bot.php?+)"
95.108.244.252 - - [02/Apr/2014:07:02:42 +0400] "GET /bitrix/spread.php?s=QklUUklYX1NNX1JLTElURV9TSE9XXzE2ATE2ATEzOTQxMjEwODQBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV181ATUBMTM5NDEyMTA4NAEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzEzATEzATEzOTQxMjEwODQBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV183ATcBMTM5NDEyMTA4NAEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzYBNgExMzk0MTIxMDg0AS8BAQJCSVRSSVhfU01fUktMSVRFX1NIT1dfMTIBMTIBMTM5NDEyMTA4NAEvAQECQklUUklYX1NNX1JLTElURV9TSE9XXzE4ATE4ATEzOTQxMjEwODQBLwEBAkJJVFJJWF9TTV9SS0xJVEVfU0hPV185ATkBMTM5NDEyMTA4NAEvAQEC&k=48b8d60bfa92a29f096fa4a24894bce7 HTTP/1.1" 200 31 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
95.108.244.252 - - [02/Apr/2014:07:02:42 +0400] "GET /news/economics/47960.php?ELEMENT_ID=53061 HTTP/1.1" 200 36641 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.76.4 - - [02/Apr/2014:07:02:47 +0400] "GET /leisure/dinner/51683.php?ELEMENT_ID=53069 HTTP/1.1" 200 39126 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
193.111.141.52 - - [02/Apr/2014:07:02:48 +0400] "GET /node/11439 HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.4; http://www.majestic12.co.uk/bot.php?+)"
120.37.239.114 - - [02/Apr/2014:07:02:53 +0400] "GET /playbill/clubs/52241.php HTTP/1.1" 200 36000 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
193.111.141.52 - - [02/Apr/2014:07:02:56 +0400] "GET /news/events/50707.php HTTP/1.1" 200 36440 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.4; http://www.majestic12.co.uk/bot.php?+)"
95.108.244.252 - - [02/Apr/2014:07:02:59 +0400] "GET /news/economics/47645.php?ELEMENT_ID=53076 HTTP/1.1" 200 36579 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    • 0
  10. 03.04.2014 12:54
    #10
    pyramida вне форума
    pyramida
    Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,813
    • Репутация: 251
    Цитата Сообщение от yarcube Посмотреть сообщение
    Disallow: # empty Disallow instruction SHOULD be there
    это, я бы вообще убрал.
    • 0
Страница 1 из 2 12 Последняя

Тэги топика:

« Помогите: Canonical на главной страницы | Вопросы по продвижению купонатора »

Похожие темы

Темы Раздел Ответов Последний пост
Насколько сложно продвигать поддомен по сравнению с доменом?
 Вопросы от новичков 2 08.03.2014 14:35
Яндекс не добавляет в индекс...
 Поисковые системы 25 03.09.2012 02:48
Ищу программу по сравнению текстов между собой
 Софт, скрипты, сервисы 10 12.04.2012 22:45
Сайту 2 месяца. В Google 13 страниц, в Яндекс - 8 страниц (основной индекс). В чем же дело ?
 Вопросы от новичков 1 10.03.2011 17:40
Как с индексом в гугле?
 Дорвеи и black SEO 31 08.10.2009 16:42
(добавить баннер)

Баннеры



(добавить ссылку)

Витрина ссылок

У нас проходит

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Или перенести аккаунт с других форумов

Золотые темы форума

Все золотые темы

Популярные темы

Информеры