Методы работы многих поисковых систем предусматривает возможность ограничения действий роботов. Достигается это с помощью файла robots.txt. Этот файл указывает поисковым роботам что нужно индексировать, а что нет.
Он содержит набор команд, которые позволяют закрыть от индексации отдельные разделы сайта. Чаще всего закрываются каталоги, которые содержат служебную информацию, скрипты и т.п.
Очень важно не допускать ошибок в файле robots.txt. В противном случае конструкции могут не работать, а вы даже не будете подозревать об этом.
Простой пример robots.txt:
User-agent: *
Allow: /
Здесь всем роботам разрешено индексировать весь блог.
User-agent: *
Disallow: /
В этом примере, всем поисковым роботам запрещена индексация всех страниц.
Расшифровка файла robots.txt.
User-agent: Mediapartners-Google
Директива адресованные этому роботу, разрешает показ рекламы AdSense.
User-agent: *
Применяется ко всем роботам.
Disallow: /search
Запрещается индексация архивов блога.
Allow: /
Ничего не запрещает.
Пример файла robots.txt для определенного робота по отдельности.
User-agent: Mediapartners-Google
Disallow:
User-agent: Yandex
Disallow: /search
Allow: /
User-agent: Googlebot
Disallow: /search
Allow: /
User-agent: *
Disallow: /search
Allow: /
Как создать файл robots.txt.
Создать файл его можно непосредственно в самом блоге. Для этого заходим в панель настроек - настройки поиска - Пользовательский файл robots.txt нажимаем кнопку изменить и прописываем нужный файл и сохраняем изменения.
Названия основных поисковых роботов.
User-agent: Yandex
User-agent:Googlebot
User-agent:Mail.Ru
Он содержит набор команд, которые позволяют закрыть от индексации отдельные разделы сайта. Чаще всего закрываются каталоги, которые содержат служебную информацию, скрипты и т.п.
Очень важно не допускать ошибок в файле robots.txt. В противном случае конструкции могут не работать, а вы даже не будете подозревать об этом.
Простой пример robots.txt:
User-agent: *
Allow: /
Здесь всем роботам разрешено индексировать весь блог.
User-agent: *
Disallow: /
В этом примере, всем поисковым роботам запрещена индексация всех страниц.
Расшифровка файла robots.txt.
User-agent: Mediapartners-Google
Директива адресованные этому роботу, разрешает показ рекламы AdSense.
User-agent: *
Применяется ко всем роботам.
Disallow: /search
Запрещается индексация архивов блога.
Allow: /
Ничего не запрещает.
Пример файла robots.txt для определенного робота по отдельности.
User-agent: Mediapartners-Google
Disallow:
User-agent: Yandex
Disallow: /search
Allow: /
User-agent: Googlebot
Disallow: /search
Allow: /
User-agent: *
Disallow: /search
Allow: /
Как создать файл robots.txt.
Создать файл его можно непосредственно в самом блоге. Для этого заходим в панель настроек - настройки поиска - Пользовательский файл robots.txt нажимаем кнопку изменить и прописываем нужный файл и сохраняем изменения.
Названия основных поисковых роботов.
User-agent: Yandex
User-agent:Googlebot
User-agent:Mail.Ru
Комментариев нет:
Отправить комментарий