Nofollow и тег noindex, как закрыть от индексации ссылки, учет rel nofollow Яндексом и Google

Можно ли сейчас использовать теги rel nofollow и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы как тега noindex, так и атрибута rel nofollow.

Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при использовании тега rel nofollow (вообще-то, rel nofollow не является тегом как таковым, но для упрощения я его буду называть именно так, дабы не вносить дополнительный сумбур в терминологию) и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.

Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил свое отношение к тегу rel nofollow (Яндекс стал его учитывать), но зато теперь тег noindex никак не влияет на учет закрытой им ссылки. Google так вообще не знает о теге noindex и, естественно, его с успехом игнорирует.

Но рассказать обо всем в двух словах это не наш метод и поэтому давайте все же разберемся с rel nofollow и noindex (и их пониманием и учетом в Яндекс и Google) основательно и со всеми подробностями, ибо KtoNaNovenkogo.ru в первую очередь — блог для начинающих вебмастеров, интересы которых я обязан ставить во главу угла.

Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать, как именно учитывались в Яндексе и Google теги rel nofollow и noindex до описанных выше изменений и как они работают сейчас. Ну, и попробуем понять как закрыть от индексации ссылки при текущем раскладе и можно ли это вообще сделать.

Да, и сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему с учетом поисковыми системами Яндекс и Google тегов rel nofollow и noindex и, естественно, может быть ошибочным в силу различных причин. Поэтому в комментариях приветствуется оспаривание данной теории, но все же, желательно, чтобы это было хоть немного аргументированно. Заранее спасибо всем комментаторам, ибо в споре рождается истина.

Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов rel nofollow и noindex закрыть от индексации ссылки для поисковых систем Яндекс и Google (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса с сайта, но об этом поговорим чуть позже).

Ссылки для Яндекс и Google (да и для любых других поисковых систем) выполняют сразу две основных функции, помогающих поисковикам формировать наиболее релевантную поисковую выдачу. P.S. Здесь я уже начал употреблять терминологию SEO и для того, чтобы вам было понятнее о чем идет речь, просмотрите предварительно эту публикацию — Как продвигать сайт самому.

Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Google проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо поисковому запросу (статистика поисковых запросов вам в помощь) оптимизаторы стараются закупить как можно больше обратных ссылок с текстами (анкорами), содержащими ключевые слова из того запроса, по которому продвигается данная страница сайта (читайте об этом подробнее в статье про составление семантического ядра).

В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» в Google открывался сайт тогдашнего президента Америки Джорджа Буша младшего. Что примечательно, на самом ресурсе Буша вообще не встречалось данные ключевые слова, но зато на этот ресурс была проставлена уйма обратных ссылок с текстом (анкором) «жалкий неудачник», в результате чего вышел такой казус. Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование сайта в Яндексе или Google и нужно, чтобы и на самом портале Буша встречалась эта фраза.

Но на этом роль ссылок в поисковом продвижении(самостоятельная раскрутка сайта) не заканчивается, ибо Яндекс и Google в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес. Возможно, что разные поисковые системы рассчитывают статический вес страниц чуть по разному (Тиц и Пр), но суть остается не измененной — статический вес передается странице только по ссылке и при этом не учитывается ее текст (анкор).

Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации ее поисковыми системами) имеет изначальный минимальный статический вес (что такое pr), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что статический вес передается не только внешними ссылками, но и внутренними.

Причем, страница (документ), ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой собственный статический вес (pr для Google или Виц для Яндекса), который целиком и полностью зависит только от количества и качества входящих на нее ссылок. Под качеством я подразумеваю собственный статический вес страниц доноров (доноры — те страницы, с который проставлены беклинки на ваш документ, который в этом случае выступает акцептором).

Извините за многословие, но объяснять понятно и при этом кратко я не умею, ибо для этого нужен талант. Продолжим развивать нашу мысль на тему учета rel nofollow и тега nofollow в Яндекс и Google. Помните в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.

Каждую страницу сайта можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние ссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на страницы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки). Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса).

Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа). Вот именно на таком примере мы и рассмотрим для наглядности роль тегов rel nofollow и noindex (до и после произошедших изменений) и то, как можно закрыть от индексации внешние линки.

Теперь смотрите внимательно. Допусти, что у нас с одной вебстраницы проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате, максимальный статический вес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних страниц вашего ресурса, а одна пятая ссылочного веса уйдет по внешней.

А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее от индексации или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш сайт). Тогда максимальный статический вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним страницам вашего ресурса получить несколько больший статический вес.

Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех вебстраницах ресурса, например, ссылок со счетчиков посещений), то суммарный прирост статического веса у документов вашего сайта будет ощутимым. А статический вес напрямую влияет на положение вашего ресурса в поисковой выдаче Яндекса и Google при ранжировании (естественно, при прочих равных условиях оптимизации).

Так, думаю, что с вопросом, зачем закрывать внешние ссылки от индексации мы разобрались и теперь осталось только выяснить, а как закрыть их от индексации? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут rel nofollow (для Google), например, так:

В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, плагин WP-NoRef. При использовании этого плагина, если в тег гиперссылки прописать специальный класс, то внешняя ссылка останется открытой для индексации поисковыми системами Яндекс и Google. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.

И такой способ закрытия от индексации в Яндекс и Google отлично работал. Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько больший статический вес, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас с закрытием от индексации все стало очень и очень проблемно, если не сказать больше — полная ж...

Но эта ж... касается только удержания статического веса на сайте, в то время как ссылка закрытая тегом rel nofollow по прежнему не будет учитываться Яндекс и Google и тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество внешних ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.

Итак, вернемся к тому, что Google изменил алгоритм работы тега rel nofollow — теперь по ссылке, в которую вставлен rel nofollow, статический вес на документ передаваться не будет, но в то же время, это не увеличит долю статического веса передаваемого на внутренние страницы, по оставшимся открытым для индексации внутренним гиперссылкам. Такой вот финт ушами от Google.

Если вернуться к нашему примеру с бассейном и трубами, то ситуация с rel nofollow и noindex в Google может быть представлена следующим образом. Если исходящие из бассейна трубы приравнять к исходящим с ресурса внутренним и внешним гиперссылкам, то ту ситуацию, которая имела место быть раньше, можно представить как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).

А вот текущая ситуация с тегом rel nofollow и отношением к нему Google выглядит как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса.

Это мы все говорили за Google, а как обстоит ситуация с использованием rel nofollow и noindex для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу. Но похоже, что Яндекс, после того как стал учитывать rel nofollow в тегах ссылок, снял с тега noindex всякое влияние на индексацию или запрет индексации гиперссылок.

Теперь тег noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать тег noindex, то он просто запретит Яндексу индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статический вес по прежнему будут учитываться и браться в расчет.

Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы rel nofollow, которая была в Google до недавнего времени или же сразу взял на вооружение переделанный алгоритм расчета статического веса при наличии в гиперссылке тега rel nofollow. Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.

Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки статического веса с сайта в пустоту. По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье про настройку индексации сайта через robotx.txt, но вот с отдельно взятыми гиперссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.

Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс если еще и не научился, то скоро обязательно научится. В связи с этим вообще не понятно как быть с внешними гиперссылками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их от индексации rel nofollow), либо на ресурсы комментаторов или счетчиков (в случае отказа от использования rel nofollow).

Некоторые вебмастера, кстати, используют в комментариях не простой rel nofollow, а external rel nofollow, хотя external тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута target="_blank", который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.

Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в поисковой системе Google, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.

Если кому-то интересно, то убрать беклинки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться к сайту по FTP и открыть на редактирование в Html и Php редакторе notepad++ файл comments.php из папки с используемой вами темы Вордпресс. В этом файле вам нужно найти место, где будет прописан следующий кусочек кода:

и заменить его на чуть измененный вариант:

А так же, для того, чтобы убрать из формы добавления нового комментария в WordPress строчку для ввода URL, вам нужно будет удалить подобный участок кода:

Если приведенная мною теория насчет текущего положения с rel nofollow и тегом noindex окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче Google, ну и возможно, Яндекса. В общем, поглядим. P.S. Эксперимент не заладился и все беклинки комментаторов были возращены на место. Причины неудачи мне остались не ясными.

источник http://ktonanovenkogo.ru