Методы работы многих поисковых систем предусматривает возможность ограничения действий роботов. Достигается это с помощью файла robots.txt. Этот файл указывает поисковым роботам что нужно индексировать, а что нет.
Показаны сообщения с ярлыком правильный файл robots txt. Показать все сообщения
Показаны сообщения с ярлыком правильный файл robots txt. Показать все сообщения
Подписаться на:
Сообщения (Atom)