[Jeth]

Здравствуйте.

Интересует ответ на следующий вопрос: имеется сайт с 2790 материалами. Google проиндексировал порядка 2820 страниц, но в основной выдаче уже 3-й месяц цифра выше 650-670 страниц не подымается (supplemental index по RDS bar), главная переиндексируется каждый день. Еще в мае как было 600-650 страниц, так сейчас это и есть (количество ежедневно скачет на +/-20 штук). При том, что на протяжении этого времени ежедневно (почти всего) добавлялись все новые материалы.

С чем это связано? Ресурсу три с половиной месяца активно наполняется, на момент публикации материалы уникальны на 95-100% по Advego/Etxt. Где-то к 70% материалов есть упоминание на ВК, Twitter и G+.

У меня есть следующие предположения: песочница и нужно ждать полгода, либо ждать апдейт поисковой базы.

[epp]

Jeth, если материально действительно уникальные, то ничего страшного.

Проверьте файл robots.txt или может запрет на определенные страницы стоят, хотя вряд ли...

[Sabirchik]

а как дела с яндексом?

[Jeth]

epp, На момент публикации - да, а что с ними через какое-то время - даже не знаю, поскольку постоянно в работе (в среднем за сутки добавляется 25 материалов).

robots у меня такой:

Код HTML:

User-agent: *
Disallow: /engine/
Host: site.com
Sitemap: http://site.com/sitemap.xml

Этот параметр настроен еще в коде, но там я оставил открытыми: главную, страницы материалов, статистические страницы и теги (кстати, тегов уже тысяч 5).

Sabirchik, Да Яндекс меня не интересует, совершенно. Вообще, он странный какой-то. На RDS bar постоянно стоит знак вопроса, в PR-CY цифра колеблется где-то на 900 стр проиндексированных, в Яндекс вебмастере проиндексировано почти 2800, но страниц в поиске - 500, а когда открываю site:arrrr.com неподсредственно в поиске - ничего не показывает, ни единого результата (уже около месяца).

[garrett]

Покупаются ли внешние ссылки? За внешние могут Пингвина накатить, число страниц сократится и как дела с оптимизацией? Переоптимизация карается...

[Jeth]

garrett, За все время было куплено лишь 3 ссылки (тИЦ 50-150, PR 2-4). Что касается переоптимизации - вряд ли.

Линк отправил в ЛС. Там может быть вопрос на счет тегов под названием страницы, ведь они не ссылкой, а как простые слова. Так вот, я так сделал где-то на 2-3 неделе июля, так что сомневаюсь.

[Jeth]

Update темы

[epp]

robots у меня такой:
Код HTML:
User-agent: *
Disallow: /engine/
Host: site.com
Sitemap: http://site.com/sitemap.xml
Этот параметр настроен еще в коде, но там я оставил открытыми: главную, страницы материалов, статистические страницы и теги (кстати, тегов уже тысяч 5).

Может как раз таки из-за того что много чего открыто, в частности тегов. Я их все время закрываю от индексации, так как от них у меня были все беды...

Вот кстати robots.txt на моем последнем сайте... (WordPress)

Код:

User-agent: Yandex
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: /trackback
 Disallow: */feed
 Disallow: /feed
 Disallow: */comments
 Disallow: /comments
 
Host: site.com

User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: /trackback
 Disallow: */feed
 Disallow: /feed
 Disallow: */comments
 Disallow: /comments

Sitemap: http://site.com/sitemap.xml

[Jeth]

epp, У меня DLE. Вот, вроде бы ничего лишнего не закрыл:

Код:

if (
	$do == 'addnews' OR /* Страница добавления новости с сайта */
	$do == 'alltags' OR /* Страница просмотра списка тегов */
	$do == 'feedback' OR /* Страница формы обратной связи */
	$do == 'favorites' OR /* Страницы закладок пользователей */
	$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
	$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
	$do == 'lostpassword' OR /* Страница восстановления пароля */
	$do == 'pm' OR /* Страницы личных сообщений пользователей */
	$do == 'register' OR /* Страница регистрации нового пользователя */
	$do == 'rules' OR /* Страница правил сайта */
	$do == 'stats' OR /* Страница статистики сайта */
	$do == 'search' OR /* Страница поиска и результатов поиска */
	//$do == 'static' OR /* Все статические страницы */
	//$do == 'tags' OR /* Просмотр новостей по тегу */
	$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
	$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
	$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
	//$subaction == 'showfull' OR /* Просмотр полной новости */
	$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
	$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
	//($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
	//($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
	//($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
	(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
	//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
	//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
	//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
	//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
	$catalog != '' /* Просмотр каталога по буквенному идентификатору */
	) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

Где //do - это разрешено к индексации, где нету двух слешей - запрещено.

[Бабайка]

epp, за что Яндексу такое уважение - продублированный раздел?