Общее·количество·просмотров·страницы

08.07.2017

Инструкции для роботов- файл robots.txt

Методы работы многих поисковых систем предусматривает возможность ограничения действий роботов. Достигается это с помощью файла robots.txt. Этот файл указывает поисковым роботам что нужно индексировать, а что нет.

Он содержит набор команд, которые позволяют закрыть от индексации отдельные разделы сайта. Чаще всего закрываются каталоги, которые содержат служебную информацию, скрипты и т.п.
Очень важно не допускать ошибок в файле robots.txt. В противном случае конструкции могут не работать, а вы даже не будете подозревать об этом.

Простой пример robots.txt:


User-agent: *

Allow: /

Здесь всем роботам разрешено индексировать весь блог.


User-agent: *

Disallow: /

В этом примере, всем поисковым роботам запрещена индексация всех страниц.


Расшифровка файла robots.txt.


User-agent: Mediapartners-Google

Директива адресованные этому роботу, разрешает показ рекламы AdSense.

User-agent: *

Применяется ко всем роботам.

Disallow: /search

Запрещается индексация архивов блога.

Allow: /

Ничего не запрещает.

Пример файла robots.txt для определенного робота по отдельности.


User-agent: Mediapartners-Google

Disallow:

User-agent: Yandex


Disallow: /search

Allow: /

User-agent: Googlebot


Disallow: /search

Allow: /

User-agent: *

Disallow: /search
Allow: /

Как создать файл  robots.txt.

Создать файл его можно непосредственно в самом блоге. Для этого заходим в панель настроек - настройки поиска - Пользовательский файл robots.txt нажимаем кнопку изменить и прописываем нужный файл и сохраняем изменения.



как добавить файл robots txt

Названия основных поисковых роботов.


User-agent: Yandex

User-agent:Googlebot
User-agent:Mail.Ru

Комментариев нет:

Отправить комментарий