Как скрыть внешние ссылки с помощью .htaccess и robots.txt

Дыхание жизни

Пользователь
Регистрация
02.05.13
Сообщения
148
Реакции
0
Баллы
22
Большое количество внешних ссылок на страницах сайта вызывает подозрение у поисковых систем. Такие сайты ассоциируются у них с каталогами ссылок и другой "нечистью" с которой они пытаются бороться, что проявляется в понижении таких страниц в выдаче поисковых систем, а то и вовсе исключением из поисковой базы. Что бы подобное не случилось с вашим сайтом рекомендую ознакомится со статьей
Наличие лишних внешних ссылок сильно снижает значимость других, более важных ссылок на странице. В частности передаваемый Google Page Rank (PR) делится поровну на все ссылки присутствующие на странице независимо от атрибутов rel="nofollow" в ссылке.
Не только поисковики, но и многие другие роботы различных сервисов, таких как: биржи статей, ссылок, и т.д. учитывают количество внешних ссылок, естественно чем меньше этот показатель, тем ценнее страницы и сайт в целом, тем больше рекламодателей захотят купить ссылки именно у Вас. Поэтому если Вы используете такие сервисы, то Вам необходимо снижать этот показатель.
Как в основном решают такие проблемы: данную проблему решают в основном двумя способами:
1) добавление атрибута rel="nofollow" в тег ссылки
(анкор)
2) передача ссылки специальной странице в качестве параметра
(https://мой_сайт/redirect.php?url=внешняя_ссылка).
Страница перенаправляет пользователя (делает редирект) на переданный в параметре адрес.
1) Способ полноценно работает только в Яндекс. Google учитывает такие ссылки при распределении PR, деля PR поровну между всеми, однако, не передает PR на ссылки с параметром nofollow, и не переданная таким образом часть PR просто пропадает в никуда. Так же такие ссылки пагубно влияют на показатели в биржах ссылок.
2) Способе ссылки будут считаться внутренними, что избавляет от описанных выше проблем. Однако, обрабатывающая ссылки страница дает нагрузку на сервер. Пусть маленькую, но все же ощутимую, если ссылок, обрабатываемых ей, слишком много.
Вот другой способ решения данной проблемы : Скрытие внешних ссылок с помощью .htaccess и robots.txt
Столкнувшись с проблемой скрытия внешних ссылок я решил пойти немного по иному пути, нежели перенаправление со страницы (вариант с nofollow даже не рассматривался).
Решение было найдено с помощью htaccess и robots.txt.
В .htaccess я добавил правило:
RedirectMatch 302 /linker/(.*)$ $1
Следуя этому правилу сервер будет перенаправлять пользователей по ссылкам, указанным после linker/, например, при запросе https://мой_сайт/linker/https://google.ru сервер перенаправит пользователя на сайт поисковой системы Google. Передав функцию паромщика серверу я разгрузил PHP, который теперь сможет больше времени уделить более важной работе.
Установка запрета поисковым системам индексировать ссылки на , которые идет redirect (перенаправление ) нужно добавить в robots.txt следующий код:
User-agent: *
Disallow: /linker/
Так сообщаем поисковым системам о том, чтобы не переходили по спрятанным ссылкам.
Яндекс воспринимает внешние ссылки за страницы сайта
После индексации сайта Яндексом обнаружилась очень любопытная вещь. Яндекс воспринял все внешние ссылки, скрытые таким способом, за страницы моего сайта и учел их в статистике общего количества страниц сайта. Таких псевдостраниц оказалось даже больше, чем реальных на самом деле. Google ни как не отреагировал на эти ссылки чего, собственно, я ожидал от обоих поисковиков.
Автор: Игорь Сокольский
Источник : 2i2s ru
 

Игорь Мельников

Пользователь
Регистрация
12.04.12
Сообщения
208
Реакции
0
Баллы
22
Никогда не думал о таком варианте. Спасибо за статью. Интересно а такое проделать невозможно с редиректом? Скажем добавить в роботс текст запрет на индексацию файла?
 

Elsaesser

Пользователь
Регистрация
09.09.20
Сообщения
5
Реакции
0
Баллы
2
Хм. интересное решение. Нужно попробовать. Я использую закрытие через скрипт. Пока вроде работает все. Но как знать что будет в будущем, слышал что поисковики могут научится читать и индексировать скрипты. А это сразу как я понимаю проблему будет создавать при таком подходе.
Хотя этот подход я реализовал на основе известного плагина.
 

Статистика форума

Темы
200.447
Сообщения
380.279
Пользователи
327.896
Новый пользователь
Sol'yevaya moshch'
Сверху Снизу