Posts Tagged “robots.txt”

Файл robots.txt

robots-txtRobots.txt — текстовый файл, расположенный в корневой папке сайта, который предназначен для управления поисковыми роботами. В этом файле можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждого бота поисковиков по отдельности.

Для создания файла robots.txt воспользуйся любым текстовым редактором (например, Блокнотом или WordPad’ом), создай файл с именем “robots.txt” и наполни его представленными ниже правилами. После этого необходимо загрузить файл в корневой каталог твоего сайта.

Если тебе лень разбираться в тонкостях, просто скопируй и вставь в файл следующий текст:

User-agent: *
Disallow:

Более