Максим Поляков: из чего сделаны поисковики и как Google стал главным (и пока им остаётся)

Чем больше объём информации в Сети, тем нужнее нам поисковики. Первое место среди них давно и прочно занимает Google. Почему его появление произвело революцию и чего ждать от развития веб‑инструментов в дальнейшем, рассказал профессор МГИМО и медиаменеджер Максим Поляков. Лайфхакер сделал конспект его лекции на междисциплинарной конференции Screenshot_2023, которая проходила в Москве 25 и 26 марта.

Максим Поляков

Журналист, медиаменеджер, профессор кафедры международной журналистики МГИМО.

Когда и зачем пользователям понадобились поисковики

Объём информации на планете Земля всё время увеличивается. Веками данные копились на аналоговых устройствах — сначала в рукописях и книгах, позже — на виниловых пластинках, на киноплёнке и видеокассетах.

В 1993 году появились хранилища цифровых данных. И с тех пор доля digital‑информации растёт. В 2002‑м же наступил переломный момент: объёмы данных в цифре сравнялись с аналоговыми источниками. Началась цифровая эра. С тех пор запасы digital‑данных растут по экспоненте, а вместе с ними увеличивается и общее количество информации на планете.

В 1998 году, когда на рынке впервые появился Google, в интернете существовало несколько поисковых сервисов. Например, в России были доступны порталы AltaVista и Lycos, а всего таких ресурсов было более десятка: Netscape, Ask Jeeves, AOL, MSN и другие. Google стал одним из них и победил конкурентов.

Выводы о том, чем он лучше других поисковиков, ещё в 1999 году сделал испанский учёный Рамон Салвера. В конце 90‑х он наткнулся на интересную диссертацию Стэнфордского университета. Она называлась «Research papers about Google and the Web Base» и была опубликована в 1997 году. Её авторами были аспиранты Сергей Брин и Ларри Пейдж.

Салвера прочёл диссертацию и протестировал поисковую строку. И сразу написал статью для городской газеты «Дневник Наварры», которую назвал «Революция Google».

Мы с Рамоном обсуждали, в чём секрет Google, и я делюсь с вами выводами — своими и его.

Максим Поляков

Как работали поисковики до Google

В строку поисковика вводится запрос — например, «строительный магазин». Алгоритм находит документы, в которых есть эта фраза. Дальше поисковик считает, сколько раз на странице повторяются ключевые слова. Те документы, где таких упоминаний больше, попадают на первые строчки выдачи.

Важно: поисковик не знает, что это за страницы — может, сайты магазинов, а может, просто ресурсы, которые пишут про строительство. Поэтому алгоритм не может определить, насколько документы в выдаче будут полезны пользователю. В итоге человек получает длинный список сайтов и ему приходится открывать каждую страницу и долго искать среди них нужные.

Как Google принципиально изменил правила поиска

Главное, что появилось в Google, — это PageRank, новый поисковый алгоритм. Брин и Пейдж решили, что не стоит по запросу искать в интернете отдельные документы по очереди, а потом выдавать их списком. Нужно исследовать сразу их все. При этом важно выделить из общего списка те, что окажутся наиболее значимыми для пользователя.

Самое сложное — верно найти критерий, который бы показывал авторитетность документа. Для этого авторы разработали специальную формулу и назвали полученную величину PR — PageRank.

Главное, что учитывалось в новом алгоритме, — сколько раз ссылаются на документ другие ресурсы. Тот, что упоминается чаще всего, становится первым в рейтинге и признаётся самым авторитетным. Например, если семь из десяти сайтов отсылают к одному, то лидер — именно он.

В итоге выбираются несколько узлов, на которые больше всего ссылок. Дальше формула учитывает, упоминает ли какие‑то документы наш найденный «номер один». Если такие страницы есть, они сразу поднимаются в рейтинге. Ссылки документов из вершины списка всегда «весят» больше, чем линки с источников, расположенных ниже.

В итоге пользователь видит в выдаче сайты, которые действительно оказываются для него полезными. Ему не нужно тратить время на анализ страниц, где упоминаются ключевые слова, — за него это уже сделал Google.

Пользователю не требуется 20 минут или час, чтобы выбрать из списка нужный сайт. Это и стало одним из убийственных преимуществ Google. Эта поисковая система без всякой рекламы моментально распространилась по миру, все пересылали её друг другу и говорили: «Ну попробуй, посмотри, как это работает».

Максим Поляков

Как Google вышел на первое место и почему удерживает лидерство

Основатели Google создали не только поисковый алгоритм. Они разработали архитектуру компании и придумали главные принципы её работы.

Брин и Пейдж зарегистрировали Google в 1998‑м и начали строить свою будущую корпорацию в гараже у Сьюзен — подруги Брина. На доске для заметок ребята написали: «Фокус на пользователе». Чуть позже они сформулировали миссию компании.

Наша цель — систематизировать всю имеющуюся в мире информацию и сделать её доступной и удобной для использования.

Сергей Брин и Ларри Пейдж

Для Google в приоритете с самого начала был тот, кто задаёт поисковый запрос, а не организации, которые создали сайты и ждут новых клиентов. Поэтому в компании сразу приняли решение: реклама должна чётко отделяться от результатов поиска, и человек не должен путать естественную выдачу с оплаченными объявлениями. Это правило привлекало пользователей и помогло увеличивать аудиторию.

Это очень важно. Люди приходят именно за качественным поиском. Не за тем, чтобы найти релевантную рекламу строительного магазина, а за тем, чтобы найти реальный магазин, который сейчас нужен.

Максим Поляков

Компания довольно быстро получила первые инвестиции. Google вошёл в десятку самых популярных интернет‑ресурсов в начале 2001 года и легко поднялся до пятой строчки. В 2004‑м проект перестал быть «гаражным» и вышел на биржу. В 2006‑м корпорация купила YouTube и компанию — разработчика операционной системы Android. Эти приобретения ускорили рост.

В марте 2006 года Google поднялся на первое место среди всех интернет‑ресурсов. В ноябре 2009‑го он ненадолго уступил первенство Yahoo!, но уже в январе 2010‑го восстановил позиции и пока остаётся в лидерах.

Сегодня Google для пользователей — это несколько платформ:

• Поисковый алгоритм.
• Сервис для контекстной рекламы.
• Браузер.
• Операционная система для смартфонов.
• Десятки сервисов для обычных пользователей и бизнеса: почта, карты, документы, таблицы и многое другое.

Важная причина успеха компании — корпоративная культура.

Брин и Пейдж при выборе нового сотрудника предлагали провести мысленный эксперимент: представить, что с этим человеком придётся провести в аэропорту шесть часов, потому что полёт задержали. Насколько с ним будет комфортно?

Таким образом они создавали среду, в которой люди подходят друг другу. Она была нужна для развития компании и появления инноваций.

Всё это привело к тому, что сегодня среди всех обращений пользователей к поисковикам на долю Google приходится 92,21%. Это глобальная монополия.

Чем хорош «Яндекс» — главный конкурент Google в России

Существуют лишь две страны, в которых у Google есть серьёзные конкуренты, и компания ничего не может с ними поделать. Это Китай — там 68,66% поиска приходится на местный портал Baidu. И Россия — у нас более 45% запросов получает «Яндекс».

Эту поисковую систему создали Илья Сегалович и Аркадий Волож в 1997 году — то есть практически одновременно с Google. Сегодня «Яндекс» — сайт № 1 в России.

Как и Google, это платформенная система. Площадка объединяет несколько различных сервисов, которые закрывают разные потребности клиента. На первом месте здесь тоже поисковый алгоритм. Он очень хорош, но про принципы его работы известно не так много, как про алгоритм Google.

В последнее время они говорят: «Мы вообще не знаем, как устроен наш алгоритм, — это Matrix Net, наша нейронная сеть, с ним работает, и он постоянно улучшает сам себя». Известно, что он хорошо работает, но мы не знаем, из чего он состоит.

Максим Поляков

Кроме поисковика, у «Яндекса» есть рекламная платформа и браузер. Плюс дополнительные сервисы: почта, карты, диск, маркет и другие. Наибольшую прибыль сегодня приносят «Яндекс Такси» и сервисы доставки.

Что меняет ChatGPT в наших отношениях с поисковиками

В 2023 году, то есть прямо сейчас, происходит очередная революция. Google пока лидер, и какое‑то время он продержится на первом месте, но мы не знаем, что будет дальше.

Кое‑что изменилось в 2023 году. Появилась нейросеть. ChatGPT привела в движение, казалось бы, такую незыблемую индустрию, как поиск и контекстная реклама.

Максим Поляков

В феврале генеральный директор Microsoft Сатья Наделла во время выступления в офисе своей компании объявил, что началась новая эпоха. По его словам, вся история веб‑технологий делится на три этапа:

• Персональный компьютер + сервер.
• Мобильные технологии + облачные системы хранения.
• Искусственный интеллект.

Мы с вами находимся в самом начале новой, третьей эпохи. Даже дата её начала известна — Сатья Наделла сказал об этом 8 февраля 2023 года.

ChatGPT набрала миллион пользователей за 5 дней. Это самый быстрый взлёт за всю историю интернета. Предыдущему лидеру — Instagram* — для такого же результата понадобилось 75 дней.

Нейросеть сейчас интегрирована в поисковик Bing. Вопрос в поисковой строке звучит так: «Ask me anything», или «Спроси у меня что‑нибудь». ChatGPT отвечает на сложные вопросы, причём делает это развёрнуто. Более того, она способна справиться с заданиями, которые раньше использовались в тесте Тьюринга. До этого он всегда помогал отличить человека от машинного алгоритма, но теперь всё изменилось.

Сергей Брин после пяти лет отпуска вернулся в Google. Ему пришлось снова приступить к работе, потому что из‑за появления нейросетей в компании был объявлен красный уровень опасности. Google пытается сделать активным Bard — собственный чат‑бот. Считается, что его параметры в пять раз превосходят возможности GPT. Но эта нейросеть пока не заработала в полном объёме.

Мир качнулся в другую сторону, и как глобальный монополист, наверное, Google перестанет существовать. Но посмотрим. Возможны разные сценарии.

Максим Поляков

* Деятельность Meta Platforms Inc. и принадлежащих ей социальных сетей Facebook и Instagram запрещена на территории РФ.