Растолкованный PageRank, часть 2
 
Автор Александр Садовский (Все статьи)
Опубликовано28.06.2002
Источник http://digits.ru/
РазделПоисковые системы, каталоги - Оптимизация под поисковики
Просмотров4337
Оцените статью!
  • Рейтинг статьи - 0.00 из 5
  • 1
  • 2
  • 3
  • 4
  • 5
Продолжение первой части статьи Растолкованный PageRank

Есть разные способы, которыми можно связать страницы внутри сайта. На практике, веб-сайты могут использовать их комбинацию. Использование комбинации это нормально и прекрасно до тех пор, пока вы понимаете различные части структуры сайта и то, как они влияют на ваш вес PageRank. Для целей данной статьи мы рассмотрим различные структуры связей как отдельные объекты. У нас есть:

Иерархическая

Иерархическая структура связей внутри сайта

Циклическая

Циклическая структура связей внутри сайта

Обширное связывание

Обширное связывание страниц внутри сайта

Помните, что мы не обязательно хотим, чтобы вес PageRank был равномерно распределен по всему сайту. Мы хотим добиться максимальной обратной связи в системе и мы хотим, чтобы ее можно было ее фокусировать на особых страницах (т. е. тех, в которых мы оптимизировали текст с ключевыми словами и т. д.). Так как я уже довольно много демонстрировал вам вычисления MiniRank, я просто покажу результаты каждого вида ссылочной структуры после 10 проходов вычислений:

Иерархическая

Веса MiniRank страниц после 10 итераций для иерархической структуры связей

Циклическая

Веса MiniRank страниц после 10 итераций для циклической структуры связей

Обширное связывание

Веса MiniRank страниц после 10 итераций для структуры с обширными связями

Обратите внимание, как суммарный вес MiniRank внутри сайта оказывается одним и тем же (1878,353). Это потому что тут еще нет никаких входящих или исходящих ссылок. Что важно, так это распределение веса. Иерархическая структура проталкивает больший вес MiniRank на главную страницу (другие сайты, наиболее вероятно, будут ссылаться на главную страницу и эта страница, менее вероятно, будет иметь исходящие ссылки). Нет видимого различия между циклической структурой и структурой с обширными связями. Давайте посмотрим, что случится, когда мы усложним структуру добавлением внешних исходящих и входящих ссылок...

Иерархическая

Веса MiniRank страниц после 10 итераций для иерархической структуры связей с исходящими и входящими ссылками

Циклическая

Веса MiniRank страниц после 10 итераций для циклической структуры связей с исходящими и входящими ссылками

Обширное связывание

Веса MiniRank страниц после 10 итераций для структуры с обширными связями с исходящими и входящими ссылками

Хотя в этих примерах сделано всего несколько итераций для вычисляемой формулы, они уже начинают показывать правила связывания внутри сайта:

Обширное связывание обеспечивает незначительно лучшую обратную связь PageRank, чем иерархическая структура, и обе структуры обеспечивают немного лучшую обратную связь PageRank, чем циклическая.

При множестве иерархических связей страницы, стоящие выше в структуре, получают намного больший вес PageRank. Это означает, что мы отдаем меньше веса PageRank нашим исходящим ссылкам.

На практике это означает, что вам следует сочетать данные методы связывания страниц. Правила таковы:

1. Там, где группа страниц может содержать внешние ссылки, используйте иерархическую структуру.

2. Там, где группа страниц не содержит внешних ссылок, используйте структуру с обширными связями, расширив ее добавлением ссылки на главную страницу.

3. Если конкретная страница особенно важна, помещайте ее выше в иерархической структуре.

Как использовать вашу карту сайта для целей PageRank

Многие люди верят, что карта сайта [страница, на которой отражена структура сайта и перечислены все его страницы — прим. А. С.] помогает роботам поисковых машин обходить страницы. Я не уверен в этом, но из-за их популярности и факта, что они включают некоторые хорошие ссылки с нужным текстом, давайте посмотрим, как лучше всего их реализовать с точки зрения PageRank.

Вначале, ссылайтесь на вашу карту сайта с главной страницы, как вы обычно это делали.

Помните, что наличие карты сайта эффективно понижает вес PageRank других ваших страниц (особенно если на нее ссылается страница вашего сайта с самым высоким весом PageRank). Поэтому мы хотим проверить, что карта сайта делает две вещи:

  1. Максимизирует ваш начальный суммарный вес (добавляя новые страницы).
  2. Возвращает обратными связями так много веса PageRank, насколько это возможно.

Первое немного противоречиво. Чтобы заставить карту сайта максимизировать ваш начальный суммарный вес, мы должны разбить ее на несколько страниц. Вы можете подумать: «Итак, это делает ее обход сложнее для робота, верно?» Ответ и «да», и «нет». Иногда действительно индексирующему роботу сложнее извлечь сотни ссылок из одной страницы. Однако, в настоящее время любой хорошо работающий робот индексирует достаточно глубоко, чтобы справиться с картой сайта, разнесенной на несколько страниц.

Сейчас давайте займемся максимизацией вашей обратной связи PageRank. Каждой карте сайта следует иметь ссылку на главную страницу и другие значимые страницы вашего сайта. Если ваша карта сайта содержит ссылки на страницы, которые включают ссылки на внешние сайты, то вам обязательно следует минимизировать количество веса PageRank, которому эти страницы позволят исчезнуть из вашего сайта.

Поэтому, вот что вы можете сделать...

Разбейте вашу карту сайта на категории и выделите каждой категории отдельную страницу. Ваша карта сайта сейчас становится списком этих страниц категорий (вместо карты всего сайта). В каждую категорию вы можете поместить примерно до 30 ссылок. Вам следует также давать рядом со ссылкой описание содержания каждой страницы. Когда вы размещаете среди ваших категорий страницу, на которой есть ссылки на внешние сайты, выбирайте категорию, в которую входит большое число ссылок.

Далее, вы должны связать каждую из страниц категорий вместе, а также со списком категорий (бывшая страница с картой сайта). Чтобы сделать это, просто поместите навигационное меню, которое ссылается прямо на страницу со списком категорий или любую другую страницу категорий, на каждую из них. Конечно, включайте ссылки на главную страницу и другие значимые страницы на каждую из страниц категорий.

Это максимизирует обратную связь и сохраняет низким вес PageRank страниц карты сайта. Идея в том, чтобы уменьшить вес PageRank всей карты сайта, отдав его сайту в целом.

Заключительное слово

PageRank — это очень трудная тема, которая часто неправильно понимается. Думаю, стоит повторить некоторые моменты, касающиеся данной статьи и PageRank. Этот документ — еще незавершенная работа и, вероятно, будет оставаться таковой еще долгое время. В данный момент здесь недостаточно информации для нас, чтобы быть на 100% уверенным в чем-либо. Я просто показываю предположения, основанные на лучшей из доступной информации, которая кажется в значительной степени верной. Когда Google решает позволить нам увидеть информацию о весе PageRank, он делает это через тулбар Google. Когда вы будете смотреть на тулбар Google, я надеюсь, что вы вспомните как минимум одну строчку из предыдущего обсуждения: «Тулбар Google показывает вес сайта не очень точно, но это единственный инструмент, который может дать вам прямо сейчас хоть какое-то представление.»

У PageRank есть свое место в процессе ранжирования. Это место не столь заметное, как многие могут полагать. Его значимость в алгоритме ранжирования меньше, чем у многих других факторов, таких как тэг Title или текст ссылок. Оптимизация сайта только для PageRank не даст вам хороших мест. Сущность PageRank такова, что им трудно манипулировать. Поэтому, если вы получите хороший вес PageRank, вашим конкурентам будет трудно сравняться с вами. Стоит ли ваше время того, чтобы серьезно сосредотачиваться на PageRank, это личное решение, которое зависит от уровня вашей конкуренции. Я безусловно верю, что как минимум всегда стоит понять, как PageRank работает, и помнить это всякий раз, когда вносятся изменения или создаются новые сайты — помнить всего лишь как другие факторы, такие как текст ссылок и ключевые слова, которые всегда у нас в мыслях.

Этот документ вызвал справедливую череду вопросов и обсуждений среди тех, кто его уже прочел. Возможно, что в какой-то момент в будущем я создам список часто задаваемых вопросов. До этой поры, однако, те, кто ищут дальнейшую информацию могут писать мне на chris@searchenginesystems.net [соответственно, задавать вопросы мне, Александру Садовскому, можно по адресу mailto:sadovsky@mail.ru?subject=Растолкованный PageRank — прим. А. С.], или вы можете захотеть взглянуть на дискуссию, произошедшую из-за первой версии этого документа, на http://www.ihelpyouservices.com/forums/t916/s.html.

Послесловие от Александра Садовского

Несмотря на многие замечания, высказанные в сторону Криса, я благодарен ему за столь большой труд, который заставил задуматься и лучше понять этот интересный алгоритм PageRank. Тем не менее, ряд вопросов остался еще за рамками обсуждений.

Как лучше понять PageRank?

Народная мудрость гласит, что лучше сто раз пощупать, чем один раз увидеть. Поэтому только работа с моделями PageRank позволяет прочувствовать этот алгоритм до конца. «А если тут добавить ссылку? Или поставить ссылку на внешний сайт? Может, лучше сделать кольцо из ссылок?..» Все это реально опробовать на модели. Я предлагаю вам для изучения две модели.

Первая модель сделана мной в Excel 2000 (скачать модель) и дает возможность работать с 12 страницами (этого достаточно для всех примеров из данной статьи). Формулы не скрываются, поэтому, при необходимости, число страниц довольно легко расширить до необходимого количества. Если у вас есть Excel, это, пожалуй, лучший вариант, так как вы можете полностью контролировать вычисления и изменять структуру моделируемого сайта так, как вам угодно.

Вторая модель написана Марком Хоррэлом и работает только в онлайне, но она также стоит внимания. Модель позволяет задать связи до 50 страниц, выбрать для них имена, начальный вес PageRank и просчитать веса PageRank с количеством итераций вплоть до 100.

Как удержать вес PageRank внутри сайта?

Рассказывая о сложных структурах, помогающих сохранить вес PageRank внутри сайта, Крис не упоминает о двух простых методах.

Первый предложен мной — использование JavaScript. Поисковики не индексируют его (причина довольно очевидна — интерпретация JS для каждой страницы потребует гигантские вычислительные ресурсы). Следовательно, любая внешняя ссылка, оформленная на JS будет нормально восприниматься пользователями (99% работают со включенным JS), но при этом не учитываться поисковиками, а, значит, и не принимать участие в расчетах PageRank. Таким образом, для поисковой машины ваш сайт будет без единой внешней ссылки, и проблема удержания веса исчезает полностью.

Второй метод не менее изящен и предложен самим Крисом. Если все внешние ссылки сосредоточены на нескольких страницах, то достаточно всего лишь запретить их индексацию с помощью файла robots.txt, и поисковая машина не будет знать, что у вас на сайте есть внешние ссылки.

Безусловно, такое поведение будет нечестным, если вы договариваетесь об обмене ссылками с каким-либо сайтом. Однако, во всех остальных случаях, когда вы ставите ссылки добровольно, чтобы сделать работу пользователей удобней, никто не мешает вам сохранить вес PageRank внутри сайта.

Как выбирать сайты для получения ссылок?

Рекомендация Криса была такой: «...получайте ссылки с сайтов, которые кажутся подходящими и имеют хорошее качество, независимо от их текущего веса PageRank». Это верно, но как оптимизировать соотношение качества ссылок и затрат времени на их получение? Решение есть. Качеством ссылок, как показал Крис, управлять практически невозможно, значит, необходимо сократить затраты времени на их добывание. Вспомните для начала, что временные потери складываются из двух факторов: во-первых, времени на написание просьбы о ссылке, и, во-вторых, числа положительных результатов (какой процент ссылок реально добавлен). Написание просьбы о ссылке существенно оптимизировать нельзя, так как рисковать сайтом, рассылая спам, зачастую неоправданно. Следовательно, ускорить добывание ссылки можно только в том случае, когда процент положительных результатов будет максимальным.

И для этого я пользуюсь своим методом, который называю «делай, как все». Суть его проста: вначале нужно получить относительно большой список конкурирующих сайтов — хотя бы 50-100 конкурентов — это можно сделать, например, задав целевой запрос в поисковике или заглянув в соответствующий раздел каталога. На основе этих данных легко получить через поисковик список страниц, ссылающихся на каждого из конкурентов. Отсортировав его в порядке убывания числа упоминаний и исключив страницы, которые уже ссылаются на ваш сайт, получаем перечень страниц, которые согласились дать ссылку большому числу конкурентов. Так почему же они откажутся дать ссылку вам? Скорее всего, это будут тематические каталоги, обзоры, сайты ассоциаций и объединений, где вы быстро и без труда получите ссылку. Если при этом учесть, что через Google вы можете узнать только ссылки, у которых Тулбаровский PageRank больше или равен 3, то в вашу выборку автоматически попадают страницы только с высоким весом. Неплохо, правда?!

Не забывайте о цели!

После того как ссылки получены, не забывайте о цели своей работы — получить высокий вес PageRank для сайта. Следовательно, поисковик должен знать про страницу, которая добавила вашу ссылку. Конечно, можно надеяться, что рано или поздно он ее сам найдет, но не лучше ли добавить эту страницу в базу сразу же? Если ссылок получается очень много, имеет смысл создать страницу, на которой перечислить все ссылающиеся на ваш сайт страницы, и вносить в поисковик именно страницу-список.

Не забывайте также регулярно изучать логи и смотреть, откуда к вам ходят. Почти треть незнакомых мне ссылок, по которым пришли на мой сайт, оказывались незарегистрированными в поисковике.

ПРИМЕЧАНИЯ:

1 Детали реализации действительно скрыты, но сам алгоритм PageRank не является секретом и прекрасно описан в статьях «The PageRank Citation Ranking: Bringing Order to the Web», а также «The Anatomy of a Large-Scale Hypertextual Web Search Engine», написанных создателями Google — Сергеем Брином и Лоренсом Пэйджем (какая подходящая фамилия!) [Прим. А. С.]

2 Крис не упомянул партнерские программы магазинов, а также широко распространенные в русскоязычном интернете баннерные сети и счетчики, сайты которых за счет обратных ссылок могут «незаслуженно» иметь большой вес. [Прим. А. С.]

3 Крис употребляет термин «PageRank» в двух разных смыслах. Первый — это алгоритм PageRank. Второй — это собственно вес страницы, вычисленный на основании данного алгоритма. Это связано с тем, что «page rank» означает «ранг страницы», то есть вес, и в английском тексте нет смысла повторять слово дважды. Но в русском переводе это не очевидно, поэтому, чтобы избежать путаницы, в дальнейшем, где это будет необходимо, во втором смысле будет использоваться термин «вес страницы» или «вес PageRank». [Прим. А. С.]

4 Автор подразумевает, что каждая страница, ссылаясь на другую страницу, «голосует» за нее. Голосующая способность тем больше, чем больше вес PageRank у ссылающейся страницы. [Прим. А. С.]

5 Поисковая система Апорт вычисляет вес PageRank для каждой страницы, но учитывает только одну ссылку с каждого домена второго уровня. То есть даже если на ваш сайт указывают 100 ссылок с разных сайтов на хостинге narod.ru (site1.narod.ru, site2.narod.ru и т. д.), то Апорт все равно зачтет их как одну ссылку. [Прим. А. С.]

6 Аналогичную возможность для русскоязычного интернета предоставляет Yandex.Bar. Яндекс.Бар показывает «взвешенный индекс цитирования» гораздо точнее, чем это делает Google — данные отображаются с точностью до сотых. В то же время, показываемое число касается только главной страницы сайта, и не зависит от веса его конкретной страницы, которая в данный момент загружена в окне браузера.
Еще один источник информации про вес PageRank для русскоязычных сайтов — каталог поисковой системы Апорт. Если сайт присутствует в каталоге, то рядом с его описанием указывается ИЦ главной страницы сайта. [Прим. А. С.]

7 Еще раз подчеркну, эти числа просто придуманы Крисом, для того, чтобы показать, что такое нелинейное представление тем, кто о нем не знает. Никакого отношения к реальным весам PageRank они не имеют. [Прим. А. С.]

8 Одно из основных отличий демонстрационного MiniRank от настоящего PageRank в том, что вычисленный на новой итерации вес добавляется к весу страницы, полученному во время предыдущей итерации, в то время как в PageRank новый вес заменяют старый. Еще одно отличие — в MiniRank к новому весу не прибавляется (1-d). Из-за этого эффект «обратной связи», столь привлекательный в примерах с MiniRank, на практике (где используется PageRank) во многих случаях может иметь заметно меньшее значение. [Прим. А. С.]

9 Как уже было сказано в  примечании 8, оригинальный алгоритм PageRank не добавляет новый вес, вычисленный на предыдущей итерации, к старому, а заменяет им старый вес. Следовательно, какой бы начальный вес мы ни задавали страницам, это лишь увеличит время работы алгоритма на несколько итераций, но результат будет тем же самым. Утверждение Криса верно лишь для его упрощенного алгоритма MiniRank, который неприменим в поисковиках. Дело в том, что у MiniRank отсутствует сходимость, т. е. в работе алгоритма нет такой точки, когда можно сказать, что значения весов страниц на данной итерации вычислены с нужной точностью. Он будет работать вечно. Поэтому, воздействие на вес сайта невозможно до начала работы алгоритма PageRank.

Если коррекция все-таки происходит, есть два очевидных способа ее осуществления. Первый — корректировать веса нужных страниц на каждой итерации. Но как? Устанавливать в фиксированное значение? Какое? Или увеличивать пропорционально реальному весу? Мало того, что такие действия замедлят работу алгоритма, так еще неизвестно, как это повлияет на его сходимость. Второй способ — корректировать вес нужных страниц после окончания работы алгоритма — тоже не подходит, потому что тогда теряется суть идеи — увеличение веса хороших сайтов, которые, в данном случае, являются сайтами, вручную проверенными командами Yahoo и DMOZ, за счет поднятия веса самих каталогов.

Однако, есть еще менее очевидный способ, который позволяет не только поднять вес Yahoo и DMOZ, но и сохранить идеологию PageRank (вес страницы — это вероятность посещения ее пользователем). Его предложил Марк Хоррэл (Mark Horrell). Существует понятие висящих ссылок (dangling links) — это такие ссылки, которые указывают на страницы, не содержащие ни одной ссылки. Они мешают работе алгоритма, потому что неясно, как должен распределяться вес таких страниц. Согласно оригинальному PageRank, эти ссылки просто убираются до начала вычислений, и возвращаются после их окончания. Так вот, Марк предположил, что, вероятно, ссылки могут не убираться, а просто их вес направляется на хорошие сайты (Yahoo, DMOZ). Например, таким образом, как если бы на тупиковых страницах было лишь две ссылки — на эти каталоги. Если вдуматься, то это очень логично. Логично с точки зрения пользователя — попав на страницу, где нет ни одной ссылки, куда он перейдет? Скорее всего, наберет в браузере адрес какого-либо хорошего сайта. А ведь именно таким сайтам оказывается поддержка за счет увеличения веса каталогов! Логично с точки зрения поисковика — мы избегаем нескольких лишних итераций алгоритма (на убирание висящих ссылок и их восстановление). Вполне может быть, что Марк набрел на истину. [Прим. А. С.]

10 Под словами «мы можем» автор имеет в виду «Google может», точнее, это по силам тому, кто способен воздействовать на реализацию алгоритма PageRank в конкретном поисковике. [Прим. А. С.]

11 Во-первых, Крис смешивает эффект обратной связи с техникой удержания веса внутри сайта. Ранее он определил обратную связь как эффект возрастания веса страницы во время очередной итерации на значение, тем большее, чем больше был вес данной страницы на одной из предыдущих итераций. В основе эффекта лежит передача веса рассматриваемой страницы одной или нескольким страницам, которые с помощью ссылок составляют с данной страницей кольцо. Удержание веса внутри сайта — это всего лишь техника, заключающаяся в простановке максимального числа ссылок на страницы своего сайта на тех страницах сайта, где встречаются ссылки на чужие (внешние) сайты, а также избегание простановки ссылок на те страницы сайта, где встречаются внешние ссылки. В основе техники лежит факт, что вес страницы распределяется равномерно между всеми ссылками, следовательно, чем больше ссылок будут указывать на свои страницы, тем больше веса останется внутри сайта.

Каков же вклад каждого из эффектов? Нетрудно проверить, что если четыре добавленных страницы будут указывать на главную страницу, но страница «Ссылки» останется прежней (т. е. обратной связи не будет), то после третьей итерации суммарный MiniRank вес сайта станет равным 44,63. Значит, 90% разницы в весе сайта обеспечивается не за счет обратной связи, а за счет новых страниц. При этом вес главной страницы будет равным 21,19 (95% разницы в весе дают новые страницы), а вес основных страниц — 6,48 (99% разницы в весе за счет новых страниц). Аналогично можно проверить вклад техники удержания веса — сравнив веса для разных структур сайта, я получил, что ее доля в увеличении веса сайта равна 6%, следовательно, на долю обратной связи остается лишь 4%.

Казалось бы, отсюда можно сделать вывод, что основное внимание следует уделять лишь созданию новых страниц, указывающих на самые важные страницы сайта. Не спешите! Помните, что MiniRank во многом отличается от PageRank, да и конкретная структура сайта очень сильно влияет на показатели. При тех же исходных данных для PageRank получается, что новые страницы дают только 64% разницы в весе, техника удержания веса — 1%, и 35% увеличения веса дает эффект обратной связи. Причем не меняя число страниц сайта и внешние ссылки, лишь проставляя внутренние ссылки, за счет эффекта обратной связи можно добиться увеличения веса данного сайта еще на 30%.

Выводы следующие: так как точные расчеты зачастую провести невозможно, следует использовать все три приема сохранения веса внутри сайта в следующей очередности: 1) добавление максимального числа страниц, 2) создание эффекта обратной связи, 3) применение техники удержания веса. Думая о структуре сайта, следует помнить, что теория только тогда воплощается на практике, когда все страницы сайта известны поисковику. Поскольку ручная регистрация всех страниц сайта в поисковике слишком хлопотна, следует обратить внимание, чтобы в сайте не было страниц, к которым нельзя пройти от главной страницы по ссылкам.

Отзывы о статье Растолкованный PageRank, часть 2

Admin

Отзывов о статье "Растолкованный PageRank, часть 2" пока нет, можете добавить...

Смотреть все отзывы (0) / Добавить отзыв