Причуды рейтинга

[dolboed]

У меня было сильнейшее предчувствие, что пост в nytimesinmoscow, собравший за сутки 1408 комментариев и 48 прямых ссылок (в том числе от drugoi, nl, peresedov, автора этих строк, из ru_politics и других высокорейтинговых блогов), не попадёт ни в пятёрку, ни даже в тридцатку топов Яндекса. Предчувствие меня не обмануло.

Тут, конечно, великое раздолье для конспирологов — задуматься, кто и по какой причине вручную заблокировал в топах запись, которой место в первой строчке по всем официальным яндекс.критериям рейтингования. Но ларчик открывается проще, и не стоит искать злой умысел там, где его нет. Алгоритм как бы автоматического составления списка топовых записей включает столь же автоматические блокировки по разным формальным критериям, не имеющим никакого отношения ни к чему, кроме конкретных условий, когда эти стопперы были добавлены в борьбе с той или иной накруткой. Как антиспамовый фильтр отправляет некоторую часть нужных писем в мусорку, так и стопперы в яндекс.топах регулярно режут именно те записи, которые должны были бы возглавить рейтинг, если б не ошибки алгоритма.

Если яндекс.рейтинг подвергается за это более жёсткой критике, чем антиспамные фильтры, то дело тут не во вселенской несправедливости, а в том всего лишь, что разработчики антиспамов честно и открыто говорят о возможности false positives, и призывают пользователей иногда в спамный ящик заглядывать, или хотя бы искать по нему, если нужное письмо затерялось. А администрация яндекс.рейтинга ни разу на моей памяти не признала существования в нём искажений, ни в принципе, ни по конкретным примерам. Ни разу речь не зашла не только об исправлении этих ошибок при обнаружении, но даже о простом признании их наличия. Думаю, если бы разработчики антиспама заявили, что false positives не существует, на них не меньше бы шишек посыпалось.

Bonus Track: Интересно, что при всей этой героической борьбе со спамом и накрутками Я.ППБ со свистом всосал пиратский ретранслятор dnevn.ru, куда без ссылки на источник чохом высасываются топовые ЖЖ. Теперь в находках ППБ контрафактные копии наших дневников стоят выше оригиналов. И такие же контрафакты с лирушечки тоже почему-то индексируются на ура, хотя, казалось бы, нет ни малейшей проблемы запретить индексирование всего этого мусора одним флажком.

Comments

[maxalex.livejournal.com]

Вообще-то все гораздо проще. Сообщество создано недавно и оно все еще не индексируется яндексом в качестве блога. Поэтому оно и не могло попасть с топ.

[maxalex.livejournal.com]

http://blogs.yandex.ru/top/com/?username=nytimesinmoscow - чтобы подтвердить мою догадку

[dolboeb.livejournal.com]

Убойный аргумент.
Тогда предлагаю объяснить вот эту ссылку:
http://blogs.yandex.ru/top/?username=e_grishkovets

[ma79.livejournal.com]

кстати, про гришковца - какое-то гонево

он вроде еще несколько дней назад был в рейтинге, если я, конечно, не путаю его с кем-то

у яндекса бывают глюки, да

[ma79.livejournal.com]

про гришковца - действительно, удивительно
почти так же удивительно как отсутствие toster в рейтинге livejournal.ru (при наличии в этом рейтинге inexi) :)

[anton.livejournal.com]

Гришковец в рейтинге Яндекса присутствует, на 5 месте по числу читателей: http://blogs.yandex.ru/top/?sort=readers

То, что он не находится по своему нику - это ошибка, причины которой мы выясним и фпостараемся исправить в максимально возможно короткий срок.

Про toster и inexi - мне тоже было бы интересно увидеть комментарий Антона.

[ma79.livejournal.com]

но у меня и к тебе вопрос

ты (или кто у вас там это делает) меня, часом не "забанил" в топ-30? и если да, то за что?

[ma79.livejournal.com]

а, не, почудилось, извини

просто смешно было - сегодня я дал пару ссылок на чужие старые (прошлогодние) посты, и они немедленно попали в топ-30, а вот я сам нет попадал

все-все, больше не лезу с вопросами

[ma79.livejournal.com]

ха
все равно не понимаю

ко мне пришел топбот-робот, а в 30энтрис меня так и нету

[anton.livejournal.com]

Топбот, как сторонний сервис, не может узнать о появлении записи в популярных никак, кроме как прочитав об этом на странице blogs.yandex.ru/entries/, так что, очевидно, она там была.

[dolboeb.livejournal.com]

Вообще-то для попадания записи в топ совершенно необязательно, чтобы она индексировалась Яндексом. Вот навскидку 46 тому доказательств:
http://deep-water.ru/top/info.php?id=171
http://nl.livejournal.com/robots.txt

[anton.livejournal.com]

nl, конечно, индексируется. Он лишь запретил поиск по своему журналу.

[dolboeb.livejournal.com]

А где-то написано, что при индексации страниц запреты из robots.txt будут проигнорированы?

[anton.livejournal.com]

Я написал это к тому, что запрет индексации вовсе не значит, что мы не знаем о блоге.

Мы индексируем все существующие блоги для Яндекс.Ленты, а также для того, чтобы, если блоггер передумает в будущем, для поиска стал бы доступен весь его журнал, а не только 25 последних записей из RSS.

Мы уважаем право на privacy пользователей, поэтому поиск по журналам тех, кто закрыл их, невозможен.

Кстати - для некоторых пользователей ЖЖ файла robots.txt просто не существует (например, для тех, у кого юзернеймы начинаются с подчёркивания: _loa_). Более того - в самом RSS информации о том, что его индексация запрещена, тоже по каким-то причинам не указана.

[anton.livejournal.com]

Этот поток был ошибочно размечен как подозрительный на спам. Я вручную выставил ему правильный статус, в течение двух суток он вернётся в поиск.

[nl.livejournal.com]

Стоп, стоп.

Дано:

User-Agent: *
Disallow: /

Мнение "Яндекса" о том, может ли он лезть:
http://www.yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fnl.livejournal.com%2Frobots.txt

Правила "Яндекса" по управлению индексацией:
http://webmaster.yandex.ru/faq.xml

Вопрос: является ли подобная индексация сервера роботом при явно обозначенном ее запрете (что явным образом нарушает собственные правила "Яндекса" для своего робота), сбоем в его работе, и собирается ли "Яндекс" исправить это положение?

[anton.livejournal.com]

Читатели твоего блога в Яндекс.Ленте хотят иметь возможность искать по нему. Яндекс.Лента - это аггрегатор, он не обходит сеть пауком, а просто скачивает фиды, которые ему дают пользователи.

У Поиска по блогам и Ленты общая база фидов, поэтому мы индексируем все блоги.

Веб-поиск, конечно, твой дневник не индексирует ни в каком виде.

[nl.livejournal.com]

Понял, спасибо за ответ.

[ma79.livejournal.com]

я неверно применил термин
не "индексируется". а "учитывается в рейтинге блогов", помечено как блог

вот скажем lenta.ru блогом не является и даже очень популярная запись на ленте ру в топ-30 не попадет никогда
а лесной блогом является - и потмоу в топ попадает

НЙТаймс пока просто не учитывается как блог
это быстро исправят, особенно если кто-нибудь подаст заявку на включение его блога в число блогов рунета (там есть форма специальная на блогояндексе)

прогришковца не знаю, счас посмотрю

[dolboeb.livejournal.com]

это быстро исправят, особенно если кто-нибудь подаст заявку на включение его блога в число блогов рунета

Заявка подана дважды: до старта проекта и через сутки после его запуска.
Так что о быстром исправлении говорить не приходится.

[ma79.livejournal.com]

Быстро - это около месяца, по-моему опыту :)
Операвтивность не входит в число достоинств российских интернет-ресурсов

[linker.livejournal.com]

Путаешь горячее с мягким. Оперативность — проблема больших организаций, и не только в интернете. Начиональная принадлежность здесь ни при чём.

[ma79.livejournal.com]

согласен, надо было смайлик ставить (ибо я вел речь не о компаниях вообще, а о двух вполне конкретных)