Google начал использовать глубокое обучение для борьбы с веб-спамом

SEO-эксперт Билл Славски указал на появление в сети патента Google, который регулирует "Классификацию ресурсов с использованием самообучающейся сети". Авторами разработки значатся Цинчжоу Ван, Ю Лян, Ке Ян и Кай Чэнь, работающие на поисковик.

С самообучающимися сетями Google работает несколько последних лет. Цель исследований и разработок - система глубокого обучения, названная журналистами Google Brain. В рамках этого проекта компания уже смогла воссоздать небольшую модель человеческого мозга, симулируя работу нейронов при помощи массива из 16 тысяч процессоров, работающих с глобальной сетью. Система смогла самостоятельно научиться распознавать кошек на фотографиях. Теперь же эти функции попытаются применить в направлении веб-поиска.

Патент описывает несколько этапов обработки информации:
• прием некоторых данных о характеристиках сайта;
• обработку каждого полученного атрибута и генерация соответствующего ему числового эквивалента;
• обработку чисел при помощи нейронных сетей для создания альтернативного представления характеристик ресурсов, включая нелинейные преобразования значений;
• обработку финального представления и генерацию оценки для каждой категории параметров оцениваемой страницы, на основе которой будет определяться тематика страницы.



При помощи оценок поисковик сможет определять, стоит ли добавлять сайт в индекс, а также использовать их для улучшения ранжирования.

Разработчики пояснили в документе, что описанная система может использоваться для улучшения качества поиска и более точного определения категории, к которой относится сайт. В частности, она сможет определить, является ли страница веб-спамом или нет. В качестве входных данных система принимает все текстовое содержимое страницы, а также трастовость сайта и его возраст.