Причуды рейтинга

[dolboed]

У меня было сильнейшее предчувствие, что пост в nytimesinmoscow, собравший за сутки 1408 комментариев и 48 прямых ссылок (в том числе от drugoi, nl, peresedov, автора этих строк, из ru_politics и других высокорейтинговых блогов), не попадёт ни в пятёрку, ни даже в тридцатку топов Яндекса. Предчувствие меня не обмануло.

Тут, конечно, великое раздолье для конспирологов — задуматься, кто и по какой причине вручную заблокировал в топах запись, которой место в первой строчке по всем официальным яндекс.критериям рейтингования. Но ларчик открывается проще, и не стоит искать злой умысел там, где его нет. Алгоритм как бы автоматического составления списка топовых записей включает столь же автоматические блокировки по разным формальным критериям, не имеющим никакого отношения ни к чему, кроме конкретных условий, когда эти стопперы были добавлены в борьбе с той или иной накруткой. Как антиспамовый фильтр отправляет некоторую часть нужных писем в мусорку, так и стопперы в яндекс.топах регулярно режут именно те записи, которые должны были бы возглавить рейтинг, если б не ошибки алгоритма.

Если яндекс.рейтинг подвергается за это более жёсткой критике, чем антиспамные фильтры, то дело тут не во вселенской несправедливости, а в том всего лишь, что разработчики антиспамов честно и открыто говорят о возможности false positives, и призывают пользователей иногда в спамный ящик заглядывать, или хотя бы искать по нему, если нужное письмо затерялось. А администрация яндекс.рейтинга ни разу на моей памяти не признала существования в нём искажений, ни в принципе, ни по конкретным примерам. Ни разу речь не зашла не только об исправлении этих ошибок при обнаружении, но даже о простом признании их наличия. Думаю, если бы разработчики антиспама заявили, что false positives не существует, на них не меньше бы шишек посыпалось.

Bonus Track: Интересно, что при всей этой героической борьбе со спамом и накрутками Я.ППБ со свистом всосал пиратский ретранслятор dnevn.ru, куда без ссылки на источник чохом высасываются топовые ЖЖ. Теперь в находках ППБ контрафактные копии наших дневников стоят выше оригиналов. И такие же контрафакты с лирушечки тоже почему-то индексируются на ура, хотя, казалось бы, нет ни малейшей проблемы запретить индексирование всего этого мусора одним флажком.

Comments

[maxalex.livejournal.com]

Вообще-то все гораздо проще. Сообщество создано недавно и оно все еще не индексируется яндексом в качестве блога. Поэтому оно и не могло попасть с топ.

[maxalex.livejournal.com]

http://blogs.yandex.ru/top/com/?username=nytimesinmoscow - чтобы подтвердить мою догадку

[maxalex.livejournal.com]

а вы попробуйте пользоваться ящиком на mail.ru
результаты вас удивят

[tasiila.livejournal.com]

Странно. Утконос они не резали.

[tasiila.livejournal.com]

Кто же корпоративную почту вешает на чужой сервис?

[zharkov.livejournal.com]

Ну и нечего этому посту в топах делать :)))

[dolboeb.livejournal.com]

Убойный аргумент.
Тогда предлагаю объяснить вот эту ссылку:
http://blogs.yandex.ru/top/?username=e_grishkovets

[dolboeb.livejournal.com]

Вообще-то для попадания записи в топ совершенно необязательно, чтобы она индексировалась Яндексом. Вот навскидку 46 тому доказательств:
http://deep-water.ru/top/info.php?id=171
http://nl.livejournal.com/robots.txt

[anton.livejournal.com]

nl, конечно, индексируется. Он лишь запретил поиск по своему журналу.

[the-old-boy.livejournal.com]

gmail.com почти не подводит, спам-фильтр работает очень качественно

[the-old-boy.livejournal.com]

От таких постов никакой пользы, кроме вреда.

[ma79.livejournal.com]

я неверно применил термин
не "индексируется". а "учитывается в рейтинге блогов", помечено как блог

вот скажем lenta.ru блогом не является и даже очень популярная запись на ленте ру в топ-30 не попадет никогда
а лесной блогом является - и потмоу в топ попадает

НЙТаймс пока просто не учитывается как блог
это быстро исправят, особенно если кто-нибудь подаст заявку на включение его блога в число блогов рунета (там есть форма специальная на блогояндексе)

прогришковца не знаю, счас посмотрю

[ma79.livejournal.com]

кстати, про гришковца - какое-то гонево

он вроде еще несколько дней назад был в рейтинге, если я, конечно, не путаю его с кем-то

у яндекса бывают глюки, да

[dolboeb.livejournal.com]

это быстро исправят, особенно если кто-нибудь подаст заявку на включение его блога в число блогов рунета

Заявка подана дважды: до старта проекта и через сутки после его запуска.
Так что о быстром исправлении говорить не приходится.

[ma79.livejournal.com]

Быстро - это около месяца, по-моему опыту :)
Операвтивность не входит в число достоинств российских интернет-ресурсов

[zemsky.livejournal.com]

а средствами аутглюка сделать то же самое - религия не позволяет?
пользуются бесплатными почтовыми ящиками, а потом ещё и жалуются. смешные люди.

[dolboeb.livejournal.com]

А где-то написано, что при индексации страниц запреты из robots.txt будут проигнорированы?

[pe3yc.livejournal.com]

Администрация яндекс-рейтинга (она вроде бы вся состоит из Кукуца и Волнухина, если я не ошибаюсь) не может ничего ни признать, ни опровергнуть, потому что их алгоритм жутко засекречен.

Не могут же они и в самом деле признать, что в реальности этот мегаалгоритм представляет собой набор волюнтаристских и меняющихся чуть ли не ежедневно правил и поправок к коэффициентам, усугубленный к тому же периодическим ручным вмешательством.

[dolboeb.livejournal.com]

Gmail.com подводит тогда, когда начинаешь пользоваться им серьёзно.
Например, при забирании почты из ящика @gmail.com в ящик платного сервиса @Google for domains, теряется от 50 до 80% свежей почты.

[dolboeb.livejournal.com]

Да всё они прекрасно могут.
Нормальные люди, читают ЖЖ, пишут в ЖЖ, отвечают на замечания...
Вот, например, выше:
http://dolboeb.livejournal.com/1170423.html?thread=45464311#t45464311

[romashov.livejournal.com]

это точно!

[estilitz.livejournal.com]

Да, очень напрягает, что индексация лирушечной трансляции моего блога релевантнее, чем сам блог.

[dolboeb.livejournal.com]

Нельзя в суд за издержки антиспама, как и вообще за сбои в транспорте байт.
Ни один суд на свете не примет подобный иск.
И слава Богу, потому что простор для мошенничества открывался бы грандиозный, а уровень риска был бы таков, что ни один интернет-сервис не мог бы существовать.

[anton.livejournal.com]

Я написал это к тому, что запрет индексации вовсе не значит, что мы не знаем о блоге.

Мы индексируем все существующие блоги для Яндекс.Ленты, а также для того, чтобы, если блоггер передумает в будущем, для поиска стал бы доступен весь его журнал, а не только 25 последних записей из RSS.

Мы уважаем право на privacy пользователей, поэтому поиск по журналам тех, кто закрыл их, невозможен.

Кстати - для некоторых пользователей ЖЖ файла robots.txt просто не существует (например, для тех, у кого юзернеймы начинаются с подчёркивания: _loa_). Более того - в самом RSS информации о том, что его индексация запрещена, тоже по каким-то причинам не указана.

[ma79.livejournal.com]

про гришковца - действительно, удивительно
почти так же удивительно как отсутствие toster в рейтинге livejournal.ru (при наличии в этом рейтинге inexi) :)