Алгоритмы Google раскрыты: Как работает поисковая система согласно утечке документов

В данной статье мы погружаемся во внутреннюю структуру Google, инструмента, которым мы все пользуемся ежедневно, но мало кто по-настоящему понимает. После недавней утечки документов в рамках антимонопольного иска против Google у нас появилась уникальная возможность исследовать алгоритмы Google. Некоторые из этих алгоритмов уже были известны, но интерес представляет внутренняя информация, которой ранее не делились с нами.

Мы рассмотрим, как эти технологии обрабатывают наши запросы и определяют результаты, которые мы видим. В данном анализе я стремлюсь предоставить четкое и подробное представление о сложных системах, лежащих в основе каждого поиска в Google.

Более того, я попытаюсь представить архитектуру Google в виде диаграммы, учитывая новые открытия.

Раскрываем Алгоритмы Google

Сначала мы сосредоточимся на извлечении всех алгоритмов, упомянутых в двух документах. Первый из них — это показания Панду Найака (вице-президента корпорации Alphabet), а второй — свидетельские показания профессора Дугласа У. Орда в связи с опровержением мнений эксперта Google, профессора Эдварда А. Фокса, высказанных в его отчете от 3 июня 2022 года. В последнем документе обсуждался известный и контроверзиальный «Отчет Фокса», в котором Google манипулировала экспериментальными данными, пытаясь доказать, что пользовательские данные для них не так важны.

Я постараюсь объяснить каждый алгоритм на основе официальной информации, если таковая имеется, а затем визуализирую извлеченную из судебного процесса информацию в виде изображения.

Navboost

Это ключевой элемент для Google и один из самых важных факторов. Также он стал известен благодаря утечке информации в рамках проекта «Project Veritas» в 2019 году, когда Пол Хаар добавил это в свое резюме.

Navboost собирает данные о том, как пользователи взаимодействуют с результатами поиска, в частности, по их кликам по разным запросам. Эта система табулирует клики и использует алгоритмы, которые учатся на основе оценок качества, созданных людьми, чтобы улучшить ранжирование результатов. Идея заключается в том, что если результат часто выбирается (и положительно оценивается) для конкретного запроса, то, вероятно, его следует располагать выше в рейтинге. Интересно, что Google экспериментировала много лет назад с удалением Navboost и обнаружила, что результаты ухудшаются.

Navboost

Запущен примерно в 2005 году и обновляется с тех пор.
Записывает данные о кликах по запросам за последние 13 месяцев, включая данные обучения.
Обучает функции, разработанные для максимизации ранжирования результатов поиска.
Отображает значения сигналов на основе таблиц в коэффициент умножения для оценки.
Различает между запросами с мобильных устройств и компьютеров.
Учитывает местоположение и тип устройства при ранжировании.
Математические модели изучают параметры для максимизации ранжирования результатов IS (оценка человеком).

RankBrain

Запущенный в 2015 году, это система искусственного интеллекта и машинного обучения от Google, неотъемлемая в обработке результатов поиска. С помощью машинного обучения она непрерывно улучшает свою способность понимать язык и намерения за поисковыми запросами, особенно эффективна в интерпретации двусмысленных или сложных запросов. Говорят, что RankBrain стал третьим по важности фактором в ранжировании Google, после контента и ссылок. Он использует тензорный процессор (Tensor Processing Unit, TPU), чтобы существенно увеличить свою обрабатывающую способность и энергоэффективность.

RankBrain

Глубокая модель машинного обучения, используемая в ранжировании Google.
Обучается на предпочтениях пользователей, основанных на взаимодействии с результатами поиска.
Настроена с использованием данных оценок IS (оценщиков-людей).
Понимает язык, используя униграммы и биграммы.
Исследует и корректирует оценки лучших документов.
Требует больше затрат на выполнение по сравнению с другими компонентами ранжирования.
Регулярно обучается с использованием свежих данных на всех языках и во всех местоположениях.

Я делаю вывод, что QBST и взвешивание терминов (Term Weighting) являются компонентами RankBrain. Поэтому я включаю их здесь.

QBST (Query Based Salient Terms) фокусируется на наиболее важных терминах в запросе и связанных документах, используя эту информацию для влияния на ранжирование результатов. Это означает, что поисковый движок может быстро распознавать наиболее важные аспекты запроса пользователя и приоритизировать соответствующие результаты. Например, это особенно полезно для двусмысленных или сложных запросов.

QBST

Обучается на документах и записях кликов по запросам.
Интеграция ранжирования обучается на данных от оценщиков-людей.
Понимает язык, используя униграммы и биграммы.

Взвешивание терминов (Term Weighting) корректирует относительную важность отдельных терминов в запросе на основе того, как пользователи взаимодействуют с результатами поиска. Это помогает определить, насколько определенные термины релевантны в контексте запроса. Эта взвешенность также эффективно обрабатывает термины, которые являются очень распространенными или очень редкими в базе данных поискового движка, тем самым балансируя результаты.

DeepRank

Двигается еще дальше в понимании естественного языка, позволяя поисковому движку лучше понимать намерение и контекст запросов. Это достигается благодаря BERT; на самом деле, DeepRank — это внутреннее название для BERT. Предварительное обучение на большом объеме данных документов и корректировка с учетом обратной связи от кликов и оценок людей позволяют DeepRank настраивать результаты поиска так, чтобы они были более интуитивными и соответствовали тому, что пользователи фактически ищут.

RankEmbed-BERT: Как я понимаю по его названию, и это личная интерпретация, мы говорим о интеграции двух концепций: использование сложного языкового понимания BERT (через его контекстуальные вложения) в сочетании с техникой ранжирования (с использованием вложений ранга) для улучшения задач, таких как классификация, поиск или рекомендация контента.

RankEmbed-BERT

Обучен на документах, запросах, записях кликов и данных от оценщиков-людей.
Использует выделенные термины и данные от Navboost.
BERT встроен в DeepRank для задач классификации.

MUM

Это приблизительно в 1,000 раз мощнее, чем BERT, и представляет собой значительный прогресс в поиске Google. Запущен в июне 2021 года, он не только понимает 75 языков, но также является мультимодальным, что означает, что он может интерпретировать и обрабатывать информацию в различных форматах. Эта мультимодальная способность позволяет MUM предлагать более всесторонние и контекстные ответы, сокращая необходимость в нескольких поисковых запросах для получения подробной информации. Однако его использование очень выборочно из-за высоких вычислительных требований.

MUM

Продвинутая модель искусственного интеллекта, разработанная для понимания языка и информации.
Признана за свой трансформационный потенциал и высокое энергопотребление.
Не запускается в продакшне для каждого запроса из-за своего размера и медлительности.
Используется для обучения более маленьких, специфичных для продакшна моделей.

Tangram and Glue

Все эти системы взаимодействуют в рамках Tangram, который отвечает за сборку SERP с использованием данных из Glue. Речь здесь идет не только о ранжировании результатов, но и об их организации таким образом, чтобы она была полезной и доступной для пользователей, учитывая элементы, такие как карусели изображений, прямые ответы и другие элементы, не являющиеся текстовыми.

Tangram

Собирает SERP, организуя элементы, такие как веб-результаты, карусели и фрагменты.
Ранее известный как Tetris, изменение названия подразумевает улучшения в возможности организации.

Glue

Функционирует как минимум с 2013 года.
Обобщение и расширение Navboost. Сотрудничает с ним в определении и ранжировании контента.
Унифицированная модель сигналов взаимодействия пользователя для всех типов результатов поиска.
Используется в Web, KE (Knowledge Engine или Knowledge Graph Engine), и WebAnswers.
Учитывает стоимость взаимодействия на мобильных устройствах и различных типах результатов поиска.

Наконец, Freshness Node и Instant Glue гарантируют актуальность результатов, придавая больший вес недавней информации, что особенно важно при поиске новостей или текущих событий.

Freshness Node Tangam

Гарантирует, что сигналы ранжирования отражают свежесть информации.
Способствует обновленному и актуальному контенту.
Комбинирует Instant Glue с обычными сигналами Google.
Подвержен ‘дедовщине’ при оценке характеристик. То есть, придает слишком
большое значение характеристикам на основе их прошлой производительности, не учитывая текущую актуальность.

Instant Glue

Потоковая система в реальном времени, которая агрегирует фрагменты сигналов взаимодействия пользователя.
Включает только последние 24 часа записей с задержкой около ~10 минут.
Отражает текущее состояние мира в сигналах ранжирования.

В ходе судебного разбирательства они ссылаются на атаку в Ницце, где основная цель запроса изменилась в день атаки, что привело к тому, что Instant Glue подавил общие изображения в Tangram и вместо этого продвигал соответствующие новости и фотографии из Ниццы («хорошо картинки» vs «Красивые картинки»):

С учётом всего этого Google объединяет эти алгоритмы для:

Понимания запроса: Расшифровка намерения за словами и фразами, которые пользователи вводят в строку поиска.
Определения релевантности: Ранжирование результатов на основе того, насколько содержание соответствует запросу, используя сигналы от предыдущих взаимодействий и оценок качества.
Приоритизации свежести: Гарантия, что самая свежая и наиболее актуальная информация поднимается в ранге, когда это важно.
Персонализации результатов: Настройка результатов поиска не только под запрос, но и под контекст пользователя, такой как его местоположение и используемое устройство. Едва ли можно представить большую степень персонализации.

Исходя из всего, что мы видели до сих пор, я считаю, что Tangram, Glue и RankEmbed-BERT — это единственные новинки, утечка которых была известна на данный момент.

Как мы видели, эти алгоритмы питаются различными метриками, которые мы сейчас разберем, еще раз извлекая информацию из процесса испытаний.

Метрики, используемые Google для оценки качества поиска

В этом разделе мы снова сосредоточимся на опровержении показаний профессора Дугласа У. Оарда и включим информацию из предыдущей утечки, «Проекта Веритас».

На одном из слайдов было показано, что Google использует следующие метрики для разработки и корректировки факторов, которые его алгоритм учитывает при ранжировании результатов поиска, а также для отслеживания того, как изменения в его алгоритме влияют на качество результатов поиска. Цель состоит в том, чтобы попытаться уловить намерения пользователя.

IS Оценка

Оценщики играют решающую роль в разработке и совершенствовании поисковых продуктов Google. Благодаря их работе генерируется метрика, известная как «IS Score» (показатель удовлетворенности информацией от 0 до 100), полученная на основе оценок оценщиков и используемая в качестве основного показателя качества в Google.

Он оценивается анонимно, когда оценщики не знают, тестируют ли они Google или Bing, и используется для сравнения производительности Google с его основным конкурентом.

Эти оценки IS не только отражают воспринимаемое качество, но также используются для обучения различных моделей в поисковой системе Google, включая алгоритмы классификации, такие как RankBrain и RankEmbed BERT.

По документам по состоянию на 2021 год они используют IS4. IS4 считается приблизительным вариантом полезности для пользователя и должен рассматриваться как таковой. Его описывают как, возможно, самый важный показатель ранжирования, однако они подчеркивают, что он является приблизительным и подвержен ошибкам. Сейчас я объясню почему.

Ограничения людей-оценщиков

Оценщики сталкиваются с рядом проблем, таких как понимание технических запросов или оценка популярности продуктов или интерпретации запросов. Кроме того, языковые модели, такие как MUM, могут начать понимать язык и глобальные знания так же, как люди-оценщики, создавая как возможности, так и проблемы для будущего оценки релевантности.

Несмотря на их важность, их точка зрения существенно отличается от точки зрения реальных пользователей. Оценщикам может не хватать конкретных знаний или предыдущего опыта, который могут иметь пользователи в отношении темы запроса, что потенциально может повлиять на их оценку релевантности и качества результатов поиска.

Из просочившихся документов за 2018 и 2021 годы мне удалось составить список всех ошибок, которые Google признает в своих внутренних презентациях.

Несоответствие по времени: Разногласия могут возникнуть из-за того, что запросы, оценки и документы могут быть из разных времен, что приводит к оценкам, которые не отражают точную актуальность документов на текущий момент.
Повторное использование оценок: Практика повторного использования оценок для быстрого оценивания и контроля затрат может привести к оценкам, которые не являются представительными для текущей свежести или актуальности контента.
Понимание технических запросов: Оценщики могут не понимать технические запросы, что приводит к трудностям в оценке актуальности специализированных или узкоспециализированных тем.
Оценка популярности: Существует внутренняя сложность для оценщиков в оценке популярности между конкурирующими интерпретациями запросов или конкурирующими продуктами, что может повлиять на точность их оценок.
Разнообразие оценщиков: Отсутствие разнообразия среди оценщиков в некоторых местах и тот факт, что все они взрослые, не отражает разнообразие пользовательской базы Google, включая несовершеннолетних.
Пользовательский контент: Оценщики могут быть суровыми к пользовательскому контенту, что может привести к недооценке его ценности и актуальности, несмотря на его полезность и актуальность.
Обучение узла свежести: Сигнализируется о проблеме настройки моделей свежести из-за отсутствия достаточных обучающих меток. Оценщики часто не уделяют достаточного внимания аспекту свежести в оценке или не обладают временным контекстом для запроса. Это приводит к недооценке свежих результатов для запросов, направленных на новизну. Существующая Утилита Tangram, основанная на IS и используемая для обучения кривых релевантности и других кривых оценок, страдала от той же проблемы. Из-за ограничений человеческих меток кривые оценок узла свежести были ручным образом скорректированы при ее первом выпуске.

Я искренне считаю, что человеческие оценщики были ответственными за эффективное функционирование ‘Parasite SEO’, что, наконец, привлекло внимание Дэнни Салливана и было разделено в этом твите:

Если мы посмотрим на изменения в последних рекомендациях по качеству, мы увидим, как они, наконец, отрегулировали определение метрик ‘Needs Met’ и включили новый пример для рассмотрения оценщиками: даже если результат авторитетен, если в нем нет информации, которую ищет пользователь, его следует оценивать не так высоко.

Новый запуск Google Notes, по-моему, также указывает на эту причину. Google не способен с 100% уверенностью определить, что является контентом высокого качества.

Я считаю, что эти события, о которых я говорю и которые произошли практически одновременно, не являются случайностью, и скоро мы увидим изменения.

PQ (Качество страницы)

Здесь я делаю вывод, что речь идет о качестве страницы, такова моя интерпретация. Если это так, то в документах по процессу ничего, кроме упоминания этой метрики в качестве использованной, нет. Единственное официальное, что у меня есть и упоминает PQ, — это рекомендации по качеству поиска, которые изменяются со временем. Так что это еще одна задача для оценщиков.

Эта информация также передается алгоритмам для создания моделей. Здесь мы можем видеть предложение об этом, утекшее в «Проекте Веритас»:

Интересный момент: согласно документам, оценщики качества оценивают только страницы на мобильных устройствах.

Рядом

Вероятно, это относится к тестам, где два набора результатов поиска располагаются рядом, чтобы оценщики могли сравнить их относительное качество. Это помогает определить, какой набор результатов более релевантен или полезен для заданного поискового запроса. Если это так, то я помню, что у Google было собственное загружаемое средство для этого — sxse.

Этот инструмент позволяет пользователям голосовать за набор результатов поиска, который им предпочтителен, тем самым предоставляя прямую обратную связь о эффективности различных настроек или версий систем поиска.

Живые эксперименты

Официальная информация, опубликованная в документе «Как работает поиск», говорит о том, что Google проводит эксперименты с реальным трафиком, чтобы проверить, как люди взаимодействуют с новой функцией, прежде чем внедрять ее для всех. Они активируют функцию для небольшого процента пользователей и сравнивают их поведение с контрольной группой, у которой нет этой функции. Подробные метрики взаимодействия пользователей с результатами поиска включают:

Количество кликов по результатам
Количество выполненных запросов
Отказ от запроса
Время, потраченное пользователями на клик по результату

Эти данные помогают измерить, является ли взаимодействие с новой функцией положительным, и обеспечивают, что изменения улучшают релевантность и полезность результатов поиска.

Но в документах испытаний выделены только два показателя:

Взвешенные по позиции долгие клики: Эта метрика учитывала бы длительность кликов и их положение на странице результатов, отражая удовлетворенность пользователя результатами, которые он находит.
Внимание: Это может подразумевать измерение времени, проведенного на странице, давая представление о том, как долго пользователи взаимодействуют с результатами и их содержимым.

Более того, в транскрипции показаний Панду Наяка объясняется, что они проводят многочисленные тесты алгоритмов с использованием метода interleaving вместо традиционных A/B-тестов. Это позволяет им проводить быстрые и надежные эксперименты, тем самым позволяя им интерпретировать изменения в ранжировании.

Freshness

Freshness является ключевым аспектом как результатов, так и функций поиска. Важно показывать актуальную информацию сразу, как только она становится доступной, и прекращать отображение контента, когда он устаревает.

Для того чтобы ранжировочные алгоритмы отображали свежие документы в результатах поиска, системы индексации и обслуживания должны иметь возможность обнаруживать, индексировать и обслуживать свежие документы с очень низкой задержкой. Хотя в идеале весь индекс должен быть как можно более актуальным, технические и финансовые ограничения мешают индексации каждого документа с низкой задержкой. Система индексации приоритезирует документы по разным путям, предлагая различные компромиссы между задержкой, затратами и качеством.

Существует риск того, что свежий контент будет недооценен по актуальности, и, наоборот, что контент с большим количеством признаков актуальности станет менее актуальным из-за изменения значения запроса.

Роль Freshness Node заключается в добавлении коррекций к устаревшим оценкам. Для запросов, направленных на поиск свежего контента, он способствует показу свежего контента и снижает значимость устаревшего контента.

Недавно стало известно, что Google Caffeine больше не существует (также известная как индексационная система на основе Percolator). Хотя внутренне все еще используется старое название, фактически сейчас существует абсолютно новая система. Новый «кофеин» на самом деле представляет собой набор микросервисов, взаимодействующих друг с другом. Это подразумевает, что различные части системы индексации работают как независимые, но взаимосвязанные службы, каждая выполняющая конкретную функцию. Такая структура может обеспечить большую гибкость, масштабируемость и удобство внесения обновлений и улучшений.

Как я интерпретирую, часть из этих микросервисов включает в себя Tangram и Glue, конкретно — Freshness Node и Freshness Glue. Я говорю это, потому что в другом утекшем документе от «Проекта Веритас» я обнаружил, что существовало предложение от 2016 года создать или внедрить «Instant Navboost» в качестве сигнала свежести, а также учет посещений через Chrome.

До этого они уже внедрили «Freshdocs-instant» (извлеченный из списка pubsub с именем freshdocs-instant-docs pubsub, где они брали новости, опубликованные этими СМИ в течение 1 минуты с момента публикации) и корреляции между всплесками поиска и созданием контента:

В рамках метрик свежести у нас есть несколько, которые обнаруживаются благодаря анализу коррелированных n-грамм и коррелированных выдающихся терминов:

Коррелированные n-граммы: Это группы слов, которые встречаются вместе в статистически значимом порядке. Корреляция может внезапно увеличиваться во время события или популярной темы, что указывает на всплеск.
Коррелированные выдающиеся термины: Это выдающиеся термины, тесно связанные с темой или событием, и частота их встречаемости увеличивается в документах за короткий период, что указывает на увеличение интереса или связанной активности.

Как только всплески обнаружены, могут использоваться следующие метрики свежести:

Unigrams (RTW): Для каждого документа используются заголовок, тексты якорей и первые 400 символов основного текста. Они разбиваются на униграммы, связанные с обнаружением трендов, и добавляются в индекс Hivemind. Основной текст, как правило, содержит основное содержание статьи, исключая повторяющиеся или общие элементы (бойлерплейт).
Half Hours since epoch (TEHH): Это измерение времени, выраженное в количестве полу-часов с начала времени Unix. Оно помогает установить, когда что-то произошло с полу-часовой точностью.
Knowledge Graph Entities (RTKG): Ссылки на объекты в базе знаний Google, которая является базой данных реальных сущностей (люди, места, вещи) и их взаимосвязей. Это помогает обогатить поиск семантическим пониманием и контекстом.
S2 Cells (S2): Ссылки на объекты в базе знаний Google, которая является базой данных реальных сущностей (люди, места, вещи) и их взаимосвязей. Это помогает обогатить поиск семантическим пониманием и контекстом.
Freshbox Article Score (RTF): Это геометрические разделения поверхности Земли, используемые для географического индексирования на картах. Они облегчают ассоциацию веб-контента с точными географическими местоположениями.
Document NSR (RTN): Это может относиться к новостной релевантности документа и, по-видимому, является метрикой, определяющей, насколько актуальным и достоверным является документ относительно текущих событий или трендов. Эта метрика также может помочь отфильтровать контент низкого качества или спам, обеспечивая, таким образом, то, что индексируются и выделяются документы высокого качества и значимые для поиска в реальном времени.
Географические измерения: Характеристики, определяющие географическое местоположение события или темы, упомянутых в документе. К ним могут относиться координаты, названия мест или идентификаторы, такие как ячейки S2.

Если вы работаете в медиа, эта информация является ключевой, и я всегда включаю ее в свои обучения для цифровых редакторов.

Важность кликов

В этом разделе мы сосредоточимся на внутренней презентации Google, разделенной в электронном письме под названием «Unified Click Prediction», презентации «Google is Magical», презентации Search All Hands, внутреннего электронного письма от Дэнни Салливана и документов утечки от «Проекта Веритас».

На протяжении этого процесса мы видим фундаментальную важность кликов для понимания поведения/потребностей пользователей. Другими словами, Google нужны наши данные. Интересно, что одним из запретов на обсуждение были клики.

Прежде чем начать, важно отметить, что основные обсуждаемые документы о кликах предшествуют 2016 году, и Google претерпел существенные изменения с тех пор. Несмотря на эту эволюцию, основой их подхода остается анализ поведения пользователя, рассматриваемого как сигнал качества. Вы помните патент, в котором они объясняют модель CAS?

Каждый поиск и клик, предоставленные пользователями, способствуют обучению и постоянному улучшению Google. Этот цикл обратной связи позволяет Google адаптироваться и «учиться» предпочтениям и поведению в поиске, поддерживая иллюзию того, что он понимает потребности пользователей.

Ежедневно Google анализирует более миллиарда новых поведенческих шаблонов в системе, созданной для непрерывной корректировки и превзводства будущих прогнозов на основе прошлых данных. По крайней мере, до 2016 года это превосходило возможности систем искусственного интеллекта того времени, требуя ручной работы, которую мы видели ранее, а также корректировок, внесенных RankLab.

RankLab, насколько я понимаю, — это лаборатория, которая тестирует различные веса сигналов и факторов ранжирования, а также их последующее воздействие. Возможно, они также отвечают за внутренний инструмент «Twiddler» (что-то, что я также читал много лет назад из «Project Veritas»), с целью ручного изменения IR-оценок определенных результатов, или, другими словами, для выполнения всех следующих действий:

После этого краткого перерыва я продолжаю.

В то время как оценки человеческих экспертов предоставляют базовое представление, клики предоставляют более подробный обзор поведения в поиске.

Это раскрывает сложные паттерны и позволяет изучать второстепенные и третьестепенные эффекты.

Второстепенные эффекты отражают новые паттерны: если большинство предпочитает и выбирает детальные статьи перед быстрыми списками, Google это обнаруживает. С течением времени он корректирует свои алгоритмы, чтобы приоритет отдавался более детальным статьям в связанных запросах.
Третьестепенные эффекты — это более широкие, долгосрочные изменения: если тенденции кликов благоприятствуют обширным руководствам, создатели контента адаптируются. Они начинают производить более детальные статьи и меньше списков, что меняет характер контента, доступного в сети.

В анализируемых документах представлен конкретный случай, где релевантность результатов поиска улучшилась благодаря анализу кликов. Google выявил расхождение в предпочтениях пользователей, основанное на кликах, в пользу нескольких документов, которые оказались релевантными, несмотря на то, что они были окружены набором из 15 000 считаемых неактуальными документов. Это открытие подчеркивает важность кликов пользователей как ценного инструмента для выявления скрытой релевантности в больших объемах данных.

Google «тренируется на прошлом, чтобы предсказать будущее», чтобы избежать переобучения. Через постоянные оценки и обновление данных модели остаются актуальными и релевантными. Ключевым аспектом этой стратегии является персонализация в локации, обеспечивающая, что результаты будут актуальны для разных пользователей в различных регионах.

Что касается персонализации, в более позднем документе Google утверждает, что она ограничена и редко изменяет ранжирование. Они также отмечают, что она никогда не происходит в разделе «Главные новости». Она используется для лучшего понимания того, что ищется, например, с использованием контекста предыдущих запросов, а также для предсказательных предложений с автозаполнением. Они утверждают, что могут слегка повысить провайдера видео, которого пользователь часто использует, но в целом все увидят примерно одинаковые результаты. По их мнению, запрос важнее пользовательских данных.

Важно помнить, что эта ориентированная на клики стратегия сталкивается с вызовами, особенно при работе с новым или редким контентом. Оценка качества результатов поиска — это сложный процесс, который выходит за пределы простого подсчета кликов. Несмотря на то, что эту статью я написал несколько лет назад, я думаю, что она может помочь более глубоко понять этот вопрос.

Архитектура Google

После предыдущего раздела, это ментальное изображение, которое я создал о том, как мы могли бы разместить все эти элементы на диаграмме. Очень вероятно, что некоторые компоненты архитектуры Google не расположены в определенных местах или не связаны так, как представлено, но я считаю, что это более чем достаточно для приблизительного представления.

Гугл и Chrome: Борьба за статус основного поискового движка и браузера

В этом последнем разделе мы сосредотачиваемся на свидетельском показании эксперта Антонио Рангеля, поведенческого экономиста и профессора Калтеха, относительно использования параметров по умолчанию для воздействия на выбор пользователей, во внутренней презентации с названием «О стратегической ценности стартовой страницы по умолчанию для Google» и в заявлениях Джима Колотуроша, вице-президента Google, во внутреннем письме.

Как рассказывает Джим Колотурош во внутренних коммуникациях, Chrome — это не просто браузер, а ключевой элемент головоломки о доминировании Google в поиске.

Среди данных, которые собирает Google, есть шаблоны поиска, клики на результаты поиска и взаимодействие с различными веб-сайтами, что является ключевым моментом для уточнения алгоритмов Google и улучшения точности результатов поиска и эффективности таргетированной рекламы.

Для Антонио Рангеля превосходство Chrome на рынке выходит за рамки его популярности. Он действует как врата в экосистему Google, влияя на то, как пользователи получают доступ к информации и онлайн-сервисам. Интеграция Chrome с Google Search, будучи поисковым движком по умолчанию, предоставляет Google значительное преимущество в управлении потоком информации и цифровой рекламой.

Несмотря на популярность Google, Bing не является менее качественным поисковым движком. Однако многие пользователи предпочитают Google из-за удобства его конфигурации по умолчанию и связанных с этим когнитивных предвзятостей. На мобильных устройствах эффекты параметров поисковых движков более сильны из-за того, что изменение их требует больше усилий; для изменения поискового движка по умолчанию может потребоваться до 12 кликов.

Этот предварительный выбор также влияет на решения пользователей относительно конфиденциальности. Настройки конфиденциальности Google по умолчанию создают значительные трудности для тех, кто предпочитает более ограниченное сбор данных. Изменение параметра по умолчанию требует осознания доступных альтернатив, изучения необходимых шагов для изменения и их внедрения, представляя существенные трудности. Кроме того, поведенческие предвзятости, такие как статус кво и страх потерь, заставляют пользователей склоняться к сохранению параметров по умолчанию Google. Я более подробно объясняю все это здесь.

Свидетельство Антонио Рангеля напрямую соотносится с разоблачениями внутреннего анализа Google. В документе отмечается, что настройка домашней страницы браузера существенно влияет на долю рынка поисковых движков и поведение пользователей. В частности, высокий процент пользователей, у которых Google установлен в качестве домашней страницы по умолчанию, выполняют на 50% больше поисков на Google, чем те, у кого это не так.

Это указывает на сильную корреляцию между домашней страницей по умолчанию и предпочтением поискового движка. Кроме того, влияние этой настройки различается в разных регионах, оно более выражено в Европе, Ближнем Востоке, Африке и Латинской Америке, и менее заметно в регионе Азиатско-Тихоокеанского региона и Северной Америке. Анализ также показывает, что Google менее уязвим для изменений в настройках домашней страницы по сравнению с конкурентами, такими как Yahoo и MSN, которые могли бы понести значительные потери, если потеряют эту настройку.

Настройка домашней страницы определена как ключевой стратегический инструмент для Google, не только для поддержания своей доли рынка, но и как потенциальная уязвимость для его конкурентов. Кроме того, отмечается, что большинство пользователей не активно выбирают поисковый движок, а склоняются к использованию доступа, предоставляемого параметрами домашней страницы по умолчанию. В экономическом отношении оценивается приблизительная дополнительная стоимость жизни в размере примерно 3 доллара на пользователя для Google, если его установить в качестве домашней страницы.

Заключение

Изучив алгоритмы и внутреннюю работу Google, мы увидели важную роль, которую клики пользователей и оценщики играют в ранжировании результатов поиска.

Клики, как прямые индикаторы предпочтений пользователей, необходимы Google для постоянной корректировки и повышения релевантности и точности своих ответов. Кроме того, люди-оценщики вносят решающий уровень оценки и понимания, который даже в эпоху искусственного интеллекта остается незаменимым. Лично я очень удивлен этим моментом, зная, что оценщики важны, но не до такой степени.

Сочетание этих двух факторов — автоматической обратной связи посредством кликов и человеческого контроля — позволяет Google не только лучше понимать поисковые запросы, но и адаптироваться к меняющимся тенденциям и информационным потребностям. По мере развития ИИ будет интересно посмотреть, как Google продолжает балансировать эти элементы для улучшения и персонализации поиска в постоянно меняющейся экосистеме с упором на конфиденциальность.

С другой стороны, Chrome — это гораздо больше, чем просто браузер; это важнейший компонент их цифрового доминирования. Его синергия с Google Search и его стандартная реализация во многих областях влияют на динамику рынка и всю цифровую среду. Посмотрим, чем закончится антимонопольный процесс, но они уже более 10 лет не платят около 10 миллиардов евро штрафов за злоупотребление доминирующим положением.

Источник: https://www.analistaseo.es/posicionamiento-buscadores/how-google-works-working-algorithms/