Правильная версия файла robot.txt
- Автор темы Mar$hall
- 2K
- Дата начала
Robots.txt это просто инструмент и не зависит от CMS.
Все зависит от того, что именно вы хотите сообщить поисковикам. Все это делается в robots.txt
Важный момент ИМХО - это конечно указать основной домен яндексу, а также карту сайта. Все остальное на усмотрение.
cms я указал лишь потому, что на нескольких ресурсах делали на этом акцент.
Прочитал, например что гугл чуть ли не требует доступа к файлам шаблона, а яндекс может выругаться на это.
Проблема в том, что все материалы которые я находил двухлетней и более давности.
вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.
Прочитал, например что гугл чуть ли не требует доступа к файлам шаблона, а яндекс может выругаться на это.
Проблема в том, что все материалы которые я находил двухлетней и более давности.
То что должно быть индексировано ( статьи и изображения ) надо сообщить. Хотя достаточно адреса статей, картинки сам найдет гугл.
Остальное можно запретить. Хотя это не обязательно.
А карту сайта можно добавить сразу в консоли яндекса и гугла. Не обязательно сообщить в robots.txt, хотя не помешает.
и почему вы думаете, что я этого не сделал до того как написал на форуме?
Собственно я об этом вообще не думал. Какой смысл гадать? ))
Там все нормально вроде бы, а Yandex и YandexImages разные боты. Их действительно нужно отделить, как указали выше.
Ну в той части, где Вы разрешили боту Yandex Images индексировать указанную директорию, Вы тем самым сообщили нужному боту где искать картинки.
Дело не только в условиях, а в том, что yandex images индексирует только картинки. А основной бот остальное.
host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.