Почему Google и Яндекс рекомендуют нам вместо Баха слушать песню «Валенки» (или Ваенги)

[dolboed]

Наткнулся сегодня в фейсбучной ленте на обстоятельную инструкцию по поиску в Гугле.

Даже тепло стало на душе: вспомнилось, сколько я таких инструкций 15 лет назад и прочитал, и написал. Воспроизвожу её полностью:


1. Как найти точную фразу или форму слова
С помощью оператора " ". Заключите фразу или слово в кавычки, и Google будет искать веб-страницы, где есть ровно такая фраза (форма слова).
Пример:
["я к вам пишу"]
2. Как найти цитату, в которой пропущено слово
Забыли слово в цитате? Возьмите всю цитату в кавычки, а вместо пропущенного слова поставьте звездочку *. Цитата найдется вместе с забытым словом.
Пример:
["ночь улица * аптека"]
3. Как найти любые из нескольких слов
Просто перечислите все подходящие варианты через вертикальный слеш: |. Google будет искать документы с любым из этих слов.
Пример:
[ананасы | рябчики | шампанское]
[дачные участки (рублевское | киевское | минское) шоссе]
4. Как найти слова в пределах одного предложения
Используйте оператор с красивым именем «амперсанд» — &. Если соединить слова амперсандом, Google найдет документы, где эти слова стоят в одном предложении.
Пример:
[памятник Пушкину & Псков]
5. Как найти документ, содержащий определённое слово
Поставьте перед нужным словом плюс, не отделяя его от слова пробелом. В запрос можно включить несколько обязательных слов.
Пример:
[Памятник Шолохову +бульвар]
6. Как исключить слово из поиска
Поставьте минус перед словом, которое вы не хотите видеть в ответах. Так можно исключить даже несколько слов:
Пример:
[мумий тролль мультфильм -рок -лагутенко]
[схемы вязания спицами -купить]
7. Как искать на определенном сайте
Для этого подойдет оператор site. Он позволяет прямо в запросе указать сайт, на котором нужно искать. Только обязательно поставьте после site двоеточие.
Пример:
[конституция рф site:consultant.ru]
[маяковский окна site:lib.ru]
8. Как искать документы определенного типа
Вам нужен оператор mime. Поставьте в запросе mime, двоеточие и затем тип документа, который вам нужен. Например, pdf или doc.
Пример:
[заявление на загранпаспорт mime:pdf]
9. Как искать на сайтах на определенном языке
С помощью оператора lang. После lang нужно поставить двоеточие и написать, на каком языке вам нужны документы. Если это русский язык, то нужно указать ru, если украинский — uk. Белорусский язык обозначается как by, английский — en, французский — fr.


Все эти знания о регулярных выражениях, позволяющих уточнить поисковый запрос, когда-то помогли мне выиграть первый Кубок Яндекса по поиску в Интернете. Иногда некоторые из этих правил пригождаются мне по сей день. Но, увы, есть одна вещь, о которой обязательно нужно сказать людям, читающим эти инструкции сегодня: все они, к сожалению, морально устарели, применительно как к Гуглу, так и к Яндексу. И, если хотите понимать, как сегодня работают алгоритмы поисковых машин, полезно разобраться, почему это произошло.

Когда создавались Яндекс (в 1997) и Google (в 1998), целевой аудиторией двух этих сервисов являлись те пользователи, которые существовали в ту пору в Интернете. То есть ничтожное меньшинство жителей планеты Земля, отличающееся от 99% других её обитателей наличием образования, компьютера, подключения к Интернету, присутствием компьютерной грамотности и любознательности.

Разумеется, эта целевая аудитория ценила в поисковике возможность найти в точности то, что они в нём ищут. Именно для этой цели и предназначались regular expressions, о которых речь идёт в инструкции выше. Они позволяли при поиске исключить огромную массу ложных находок, омонимов, откровенного коммерческого спама, уточнить свой запрос и повысить релевантность находок.

Разумеется, уже в середине 1990-х на рынке интернет-поиска появились визионеры, которые предрекали, что такой разумный и осознанный спрос – ненадолго. И они создавали поисковые системы, адресованные пользователю, который сам не знает, что он ищет. То есть основной фишкой этих систем было редактирование введённого поискового запроса. Чтобы пользователь Вася из известного анекдота мог ввести в поисковую строку «Иоганн Себастьян Бах», а на выходе, как положено, получить «Валенки, валенки — неподшиты, стареньки». Над визионерами смеялись все подряд: и разработчики поисковых систем, и рядовые пользователи, и венчурные капиталисты. Поэтому все эти проекты бесславно закрылись примерно в те же годы, когда Google вышел на IPO. А к тому моменту, как на IPO вышел Яндекс, стёрлась даже память о том, как они назывались.

Однако пророчество оказалось верным. Просто оно опередило своё время, как какой-нибудь предтеча iPhone под названием Apple Newton, производство которого зарубил в 1990-е годы лично Стив Джобс, вернувшись к руководству Apple. Индустрия устроена так, что если ты предвидишь глобальные тренды не на 5 лет, а сразу на 10, то карачун тебе, Церетели, как говорил Н.С. Михалков в бессмертных «Жмурках». Не верите? Поинтересуйтесь, сколько популярных соцсетей умерло за 5 лет до появления Фейсбука. Поинтересуйтесь судьбой мессенджеров, на 10 лет опередивших Viber и WhatsApp. В Интернете смотреть на 5 лет вперёд — признак гения. Смотреть на 10 лет вперёд — кратчайший путь к разорению.

Когда пророчество сбылось, Гуглу и Яндексу не составило большого труда реформировать свои алгоритмы поиска. Сегодня оба этих поисковика живут по тому самому принципу: пользователь сам не знает, что он ищет. А мы — знаем. Потому что у нас огромная база поисковой истории (и глобальной и твоей персональной), мы можем прогнать любой твой запрос через спеллчекер, и, кстати, мы знаем, в какой ты сейчас находишься стране, и какой у тебя язык операционной системы. Весь этот огромный накопленный массив знаний о том, что людям на самом деле нужно, штатно используется для корректировки запросов, которые пользователи вводят в Google и Яндекс.

А те самые regular expressions, о которых речь идёт в инструкции, входят в неразрешимое противоречие с этим новым принципом. Потому что они говорят поисковику: не надо редактировать мой запрос. Не надо вместо моих поисковых слов предлагать «более лучшие», потому что более популярные у ваших пользователей, варианты. На это высокомерное пожелание поисковик сурово отвечает: надо Федя, надо. И совершенно спокойно игнорирует любые регулярные выражения, будь то плюсы, минусы, кавычки, интервал дат, язык, восклицательный знак и т.п.

Для 95% пользователей мирового Интернета этот подход работает. Люди, которые не в состоянии правильно проспеллить название Beatles, могут совершенно нормально ввести запрос БИТЫЛЗ, и в ответ получить то, что искали.

С точки зрения тех 5%, которые точно знают, что они хотели найти (например, те олбанские сайты, создатели которых пишут БИТЫЛЗ совершенно сознательно), такой поисковый результат, основанный на «исправлении» введённого запроса, кажется ересью, шумом, помехами и говном. Но увы, системами, заточенными под массовый спрос, их мнение не учитывается.

Хорошая новость состоит в том, что в интеллектуальном соревновании смекалка всегда победит тупость. И поиск, основанный на использовании regular expressions, всё равно позволяет получать более качественные, лучше отфильтрованные результаты, чем общедоступные алгоритмы корректировки запроса. Важно просто понимать текущий статус всех этих инструментов. Если раньше они были универсальными ключами к поиску, сегодня они стали отмычками. Изготовитель замков отвечает за действенность ключей, но он не несёт никакую ответственность перед теми, кто пытаются взломать его замок отмычкой. Более того, он с ними последовательно борется.

В порядке актуальной иллюстрации к тому, как ведётся эта борьба, и как она влияет на качество поисковых результатов, приведу пример буквально из предыдущего поста. Иск Сечина к Ведомостям рассматривала судья Хуснетдинова. Я ввёл запрос: «судья хуснетдинова останкинский суд». Ни одной секунды ни поморщась, Гугл исправил в моём запросе фамилию судьи на «Хуснутдинова»:

Конечно, в идеальном мире он мог бы исправить и в обратную сторону — если б алгоритм «улучшения» запросов был бы интеллектуальным, и включал бы сверку релевантности соседних поисковых аргументов. Но увы, под такие тонкие материи его алгоритм не заточен. Гугл тупо посмотрел в своей базе, что Хуснетдинова там встречается всего в 38.400 документах, а Хуснутдинова — в целых 554.000. То есть второй вариант — он в 14,5 раз более лучший. Поэтому в ответ на мой запрос с правильной фамилией судьи Гугл мне сразу же выдал вариант с неправильной фамилией.

Надо отдать должное: при этом Гугл совершенно честно предупредил о подмене, и даже предложил поискать тот вариант, который я запрашивал изначально.

Яндекс на первый взгляд отработал мой запрос более корректно: Хуснетдинову он не заменил, а просто подмешал к ней более популярный вариант, и сразу же об этом честно предупредил:

Но это только на первый взгляд он честно раскрыл механизмы искажения моего запроса. Посмотрите на адресную строку броузера, увидите там в конце &lr=213. Это параметр, использованный для искажения выдачи по моему запросу, исходя из того, что мой IP-адрес определён как московский. Соответственно, мне показали результаты для Москвы. А если взять и вручную поменять эту самую цифру 213 на любую другую — например, на 118 — то вылезут совершенно другие результаты. Любуемся:

Видите подсказку, что результаты — для Нидерландов? Она там появилась исключительно потому, что геокод 118 противоречит данным Яндекса о моём текущем IP-адресе. Если б Яндекс думал, что я действительно нахожусь сейчас в Нидерландах то я бы такого предупреждения не получил. Хотя результаты поисковой выдачи отличались бы от московских.

Почему Яндекс думает, что Зяугария из Буинска более правильна для Москвы, а Ландыш из Казани — для Нидерландов, вопрос не ко мне. Если ориентироваться на подсказки Яндекса, то и в Нидерландах, и в Москве окажется, что самой релевантной находкой по этой фамилии поисковик считает всё же федерального судью по гражданским делам Останкинского райсуда. Ту самую, что постановила изъять и уничтожить остатки тиража «Ведомостей» с нехорошей статьёй про дом Сечина:

Как видим, у одного и того же робота Яндекса есть сразу четыре взаимоисключающих суждения о том, что я на самом деле искал: то ли судью, то ли Зяугарию, то ли Ландыш, то ли просто фамилией ошибся, и надо в ней букву поправить. Для критики всех этих версий у нас нет ни данных, ни критерия. Но очень важно понимать, что поисковый результат по одному и тому же запросу может очень сильно различаться в зависимости от параметров, которые поисковик не считает нужным ни раскрывать, ни обсуждать.

10 лет назад среди людей, освоивших regular expressions, бытовала присказка: если ты чего-то не нашёл в Интернете — значит, этого просто нет в природе. Сегодня если не находишь того, что искал, нужно прежде всего задуматься, сколько искажений поисковик внёс в твой запрос.

Comments

[elf-from-lorien.livejournal.com]

Гугл имеет наглость выкидывать из моего запроса часть слов, просто потому что. Еще любит на запросы типа "oracle database 12c install on SPARC Solaris 11 " показывать рекламу машин хундай солярис :)

[sasza.livejournal.com]

Меня ещё бесит, что опция link: давно перестала работать.

[paukoph.livejournal.com]

Потому что для людей программы стали делать. А гики не нужны.

(Кстати, наконец-то понял, почему при вводе английских запросов первые три-пять ссылок всегда идут на словари. Хотя мне никакие словари не нужны. Просто гугл считает, что если русский ввел английское слово, то он, скорее всего, ищет его перевод)

[sasza.livejournal.com]

"Гики" тоже люди.

[virtualgluck.livejournal.com]

[ngs-govno.livejournal.com]

Поиск контекстный, сам виноват

[rodamon.livejournal.com]

duckduckgo как вариант

[ngs-govno.livejournal.com]

Самая смешная секта на сегодняшний день

[http://users.livejournal.com/_sudar/]

Новыми красками заиграли прокси, которые переиначивают поисковую выдачу напрочь. Ну и 95% назойливой рекламы исчезает, просто потому, что прокси выдает поисковику другую страну. Это бред, конечно, но я прокси чаще юзаю не для порно, а для поисковиков, чтоб мне российская выдача не показывалась. Дожили.

[ngs-govno.livejournal.com]

Большинство сервисов гугла по аргументу языка

&hl=en

позволяют (пока) пользоваться "дефолтной" (американской) версией. Иногда, например, карты все равно открываются на maps.google.ru, но внизу честная ссылка перехода на .com и до сброса куки на .ru он тебя больше не пошлёт

[antonina kultysheva (from livejournal.com)]

пользуясь случаем, спрошу и здесь: кто-нибудь знает, в каком году был снят клип Н. Носкова "Я тебя люблю"?
именно клип. гугл молчит. авторов, кст, вообще обычно найти нигде нереально. здесь режиссёр высветился, но по нему поиск не дал чуть больше, чем ничего (+подсовывал кого-то левого)

[liveuser.livejournal.com]

Нормальные люди при этом не мучают Гугль, а идут в Фейсбук и спрашивают музыканта.
Но вообще, песня вышла в 1998 г., режиссер клипа погиб в 1999 г. - вариантов остается немного.

[vfork.livejournal.com]

duckduckgo

1. Не переиначивает запрос
2. Не впихивает локальные языки
3. Не следит. Единсвтенный поисковик, который выдаст те же результаты на тот же запрос. Независимо от.
4. Очень адекватен в выдаче.

а гуглы с яндексами пусть хомячки хавают...

[ewigejude-wot.livejournal.com]

1. ""
2. /ncr
3. &pws=0 (или режим инкогнито)
4. Да уж блять куда гуглу до этого гиганта утиной мысли.

[govnoved.livejournal.com]

Антон, там ящик пандоры еще глубже, чем кажется, если с техническими и справочными вопросами пока все более-менее, то со всеми остальными у гугла, например, во все поля bias выдачи в сторону того, что пользователю нравится, ну или должно понравиться с точки зрения этого самого гугла. В том году какой-то американский ресурс исследовал результаты выдачи по политическим запросам, касающимся GOP vs Обама и там просто незамутненный искусственный разум, по одному и тому же запросу диаметрально разные результаты, в зависимости от предыдущей истории поиска.

[procottage.livejournal.com]

Чёта ты перепил, брат, удали нафиг и не позорься.

[avitya.livejournal.com]

Так же стоит отметить, что оператор * работает с ключом site:, что, порой, сильно помогает.

[norembo.livejournal.com]

Больше всего эта фигня напрягает, когда по-англицки что-то пытаешься найти.

Плюс, к мысли из статьи, надо не забывать, что выдачу испортили СЕОшники со своим сео-хуео. Хрен с ним, что коммерческие сайты заполонили все, но там в топах такая ересь порой бывает, шо пестец!

П.с. реально раньше так клево было искать в интернете =)

[liveuser.livejournal.com]

На мой взгляд, этот подход четко обозначился еще 9 лет назад, когда весной 2007 г. Яндекс убрал пометку "нестрогое соответствие" в выдаче - перестав, таким образом, сообщать людям, что нашел он совсем не то, о чем его просили. Помнится, тогда на это обратили внимание ровно два человека. Оценка в 5% гиков, которые "точно знают", преувеличена на пару порядков.

Искать же стало гораздо проще, и я лучше в редких случаях один раз нажму на "Хуснетдинова", чем в каждом третьем поиске буду указывать всякие варианты ИЛИ для синонимов, сокращений и транслитераций. Зачем сегодня эти устаревшие инструкции по поиску перепечатывать - бес его знает, выглядят солидно, наверное. Из всего древнего зоопарка языка запросов нынче пригождаются ровно три: поиск по сайту, исключение слова из документа, точная форма (кавычки). Что прекрасно.

А претензия к общему запросу "Хуснетдинова" надумана. Ну да, регионально зависимый. Ну да, первый результат в выдаче не равен первому результату в подсказках. Ну и?

(Антон и так помнит, а остальным, пожалуй, стоит сообщить, что я тоже писал многостраничные инструкции по поиску и тоже выигрывал Кубок Яндекса).

P.S. Но претензия к гиконенавистничеству поисковиков тоже есть: несколько запросов с операторами, и Гугль требует ввести капчу, дескать, ваши запросы похожи на автоматические.

[dolboeb.livejournal.com]

Конечно, помню Ваши инструкции, очень были полезны в ту пору.

Что касается поиска, который улучшился — зависит от задач.

Очевидно, массовая задача — найти сущность (товар, персонажа, факт), и там вся индустрия пытается улучшить результаты.

Но есть такая задача, как обнаружение цитат, контекстов, первоисточников. Всё, что нужно для исследовательской работы, в диапазоне от науки до новостного факт-чекинга. И это всё целенаправленно убивается, со ссылкой на непопулярность.

[docjeck.livejournal.com]

Я помню этот поисковой олдскул.
Зато современные поисковики стали искать действительно то, чего я не знаю, но хочу узнать. Чуть ли не трам-пам-пам – и поисковик выводит нужную песню.
На днях делал дизайн меню, с листка написанного от руки выходцем из бывших советских – мне очень помог в этом яндекс. Я вводил как понимал, а яндекс выдавал свои собственные предположения. Расшифровка была успешной на 95%. Сам бы я разобрал не более 60-ти.

[ngs-govno.livejournal.com]

А ещё мне казалось, что не так давно и гугл, и конечно, яндекс почти одновременно, сделали корректирование результатов поиска. Ну, то есть, на странице выдачи можно было удалить результаты, которые не в тему или не подходят и указать причину. И этот алгоритм под пользователя подстраивается. Вроде я даже анонс этой фишки от яндекса видел. Но то ли это мне приснилось, то ли они оба одновременно эту фишку и убрали

[antonina kultysheva (from livejournal.com)]

а ещё очень давно был отдельный поиск по форумам и блогам.
очень удобный. но почему-то убрали.

[bbb.livejournal.com]

Я человек простой, нисколько не компьютерный гик, поэтому у меня в ленте закладок (bookmarks bar) хрома стоит линк на развернутый серч - https://www.google.com/advanced_search?hl=en

И когда мне надо искать нетривиальные фамилии, я вбиваю их во вторую строку серча ("this exact word or phrase").

И никаких ландышей и зяугарий мне не выдают.

Что я делаю не так?

[dolboeb.livejournal.com]

Вообще-то развёрнутый сёрч — это просто HTML-форма, которая при нажатии кнопки Submit развёртывается в ровно те же самые операторы поиска, о которых речь идёт в моём посте.

На уровне поискового движка нет никакой разницы, пользователь сам поставит плюс, минус, pipe, кавычки — или это будет сделано за него при формировании URL.

Ручной запрос и развёрнутая форма и работают одинаково, и умирают одинаково.

[my-virtual.livejournal.com]

А вот кто бы мне объяснил, что творилось в мозгах у Гугля, когда он на запрос о технических характеристиках некоего устройства выдал целую страницу не просто интернет-магазинов (это хоть как-то ещё понятно), но украинских интернет-магазинов! Я в Москве нахожусь, а в Киеве последний раз была в прошлом веке. И пока я в настройках поиска не выставила принудительно зону .ru, Гугль отсылал меня на Украину регулярно.

[dragonworldhero.livejournal.com]

Все правильно, только сами поисковики начали заниматься этим с самого начала. Вы когда вводите запрос «аптека», поисковик сначала классифицирует этот термин (часть речи, язык, область знаний и т. п.), потом применяет разные вариации аптеку, аптек, аптеки, аптекой, в аптеках и т. п. а уже потом начинает искать по базе данных. Просто разработчикам нужно было время, чтобы выявить новые источники вариаций и запрограммировать поиск по ним.

Думаю, что и Гугла, и у Яндекса поисковый движок раз в 3-4 года полностью переписывается. И в новый релиз просто не попадают те фичи, которые по статистике используются менее, чем определенным количеством пользователей. Просто нет стимула тратить силы, тестировать и сдвигать сроки ради регулярных выражений, которые встречаются в 0,0001% запросов, даже если этой фичей пользуются сами разработчики.

Очень заметное изменение в алгоритмах произошло при появлении интеллектуальной строки подсказки. Думаю, за каждым значением в этой строке не просто похожий текст, а скрытая формула с метаданными, со ссылками на тематические разделы, которые готовятся отдельными подразделениями различными алгоритмами по различным базам данных.

Вернемся к истокам.

[iratus.livejournal.com]

[iigogosha.livejournal.com]

когда будут поисковики по жестам?
окей гугль,
какая певица такая вся (жест руками) беленькая пела про мультяшные цветочки, они ещё так (жест руками) росли?

окей гугль. как называется такое (жест руками) дерево рядом с мужыком в пиджаке?

[a2is.livejournal.com]

Вспоминаю тёплую, ламповую альтависту с функцией уточнения запроса.

[vantala.livejournal.com]

Раньше можно было строку запроса поместить в кавычки. И это означало команду - не умничай, ищи как есть. Честно признаться давно ей не пользовался. Интеллектуальный поиск может и подглючивает иногда. Но в целом - работает потрясающе интуитивно и быстро.

[poulsam.livejournal.com]

Лет пять назад заметил, что у сантехников и слесарей получается найти нужный сайт на порядок быстрее, чем у меня. Потому что они как слышат, так и пишут, как думают, так и пишут. На "расклатка керпичей тля печи" выдаст то что надо, а "порядовая схема укладки кирпича" выдаст всякую херню

[elrond1-2eleven.livejournal.com]

Возможно, это связано с контентом, то бишь тем, что "порядовую схему укладки кирпича" сами сайтоваятели не используют. Чать для не профи ж пишут.

[eine_zwecke (from livejournal.com)]

от, же ж. а слона-то я и не приметила.

Антон Борисович - зараза.

[racepilot.livejournal.com]

Антон, не мне тебе объяснять, как глубоко уходит эта кроличья нора (мы с тобой встречались в Яндексе, если что, но я там больше не работаю).

Одна радость - скоро вполне доступно будет сделать свой личный персональный поисковик, с монашками и шахматами (собственно, и сейчас можно - только слегка дорого).

И да - тем, кто выпилил из языка запросов регулярки - будет предоставлен свой, персональный ад (с комментарием "возможно, вы имели в виду <рай>?")ю