Как управлять индексированием сайта

Чтобы попасть в поиск, сайт должен быть доступен для поисковых роботов. Иначе они не смогут его проиндексировать.​

Одна из причин недоступности сайта — это сбой на сервере. В этом случае не только поисковые роботы, но и пользователи не смогут зайти на сайт. А если он будет недоступен продолжительное время, поисковые системы удалят его из своих баз, чтобы поддерживать их в актуальном состоянии. Поэтому важно следить за тем, чтобы сервер исправно отвечал на запросы.



Проверить, отвечает сервер или нет, можно на сервисе Яндекс.Вебмастер:








https://video.yandex.ru/users/ya-expert/view/66


Если сайт отвечает на запрос и доступен для поискового робота,Яндекс.Вебмастер показывает статус 200. Остальные статусы передают какую-то другую информацию. Например, статус 404 обозначает, что запрашиваемая страница была удалена. Описание статусов можно найти в разделе«Помощь» сервиса Яндекс.Вебмастер.

У многих сервисов Яндекса есть свой поисковый робот.​

Например, свой робот есть у Поиска, Яндекс.Картинок, Яндекс.Видео, Яндекс.Каталога. И у каждого робота свои задачи и правила работы. Иногда сервер может быть настроен так, что он пропускает на сайт основной робот Яндекса, но не жалует роботов Яндекс.Видео и Яндекс.Картинок — это значит, что контент сайта, скорее всего, не попадёт на эти сервисы. Поэтому, если вы заметили, что какой-то тип контента плохо индексируется, проверьте, попадает ли нужный робот на ваш ресурс.

Совет



На сервисе Яндекс.Вебмастер вы можете получать уведомления о сбое в индексировании сайта. Если вы хотите получать уведомления о том, что сайт недоступен для пользователей, воспользуйтесь Яндекс.Метрикой. Она умеет присылать такие уведомления по смс или электронной почте.

Задание​

Попробуйте узнать, попадают ли на ваш сайт роботы Яндекс.Картинок, Яндекс.Видео и основной робот Яндекса. Обратите внимание, что инструмент доступен только для подтверждённых сайтов.

Источник: https://edu.expert.yandex.ru/Webmaster/3/24/

Владелец сайта может влиять на то, как индексируется его ресурс.

Например, вы можете запросто закрыть для поисковой системы определённые разделы своего сайта. Для этого нужно добавить соответствующие команды в файл robots.txt — он находится в корневой папке сайта. Именно к этому файлу обращаются поисковые роботы, чтобы узнать, что можно индексировать, а что нет.

Поисковые системы исходят из того, что индексировать можно всё, что не запрещено. Поэтому владельцу сайта нужно самому позаботиться о том, чтобы в поиск не попала конфиденциальная информация — например, личные данные пользователей, их переписка или счета. Такие страницы нужно запретить индексировать. Рекомендуем также закрыть страницы со служебной информацией и страницы-дубликаты.

Многие системы управления сайтами (CMS) автоматически создают файл robots.txt и команды для роботов. Проверить, правильно ли настроены команды, можно на сервисе Яндекс.Вебмастер — с помощью инструмента «Анализатор robots.txt»:


https://video.yandex.ru/users/ya-expert/view/67


Анализатор помогает найти ошибки в файле robots.txt, проверить, все ли команды прописаны верно и понятны роботу, и узнать, разрешена ли к индексированию конкретная страница.


Файл robots.txt позволяет закрыть для индексирования весь контент страницы. Если вы хотите закрыть только какую-то часть контента, используйте мета-тег noindex. Этот тег не даёт индексировать заключенный в него текст, но не мешает поисковой системе переходить по ссылкам внутри текста.

Совет​

Чтобы узнать, какие разделы сайта и в каком объёме уже проиндексированы, воспользуйтесь инструментом «Структура сайта» в Яндекс.Вебмастере.

Задание​

Попробуйте проанализировать файл robots.txt.


Источник: https://edu.expert.yandex.ru/Webmaster/3/25