Очень нужный файл robots.txt
Web-разработки, реклама и информация
[20-10-2005] Джо
Для чего, собственно, нужен файл robots.txt? файл robots.txt предназначен для указания поисковым работам поисковых систем ( Yandex, Rambler, Google, AltaVista и пр. ) файлов на сайте, запрещенных к индексации. Он один для всего сайта и должен быть расположен в корневой директории сайта.
Для маленьких html-сайтов необходимость файла robots.txt совсем не очевидна. В самом деле, на html-сайте все страницы предназначены для посещения, страницы "специального назначения" возможно сделать только с помощью серверных технологий. А если страниц мало, достаточно просто обновлять устаревшие страницы.
В случае же больших динамических сайтов появляется множество специальных страниц, совершенно не предназначенных для опубликования, а для обновления сайта необходима удобная внутренняя структура сайта и активное использование файла robots.txt. К примеру Yandex, для быстрого удаления из индекса директорий сайта требует прописывания этих директорий в файле robots.txt.
Как выглядит файл robots.txt? Примерно так:
User-agent: *
Disallow: /www/delo.php
Disallow: /www/m17/d123/
Disallow: /travel/dat/
В строке User-agent: указывается конкретный робот ( Yandex, StackRambler ) или * - все роботы. В строке Disallow указывается путь к папке или конкретному файлу, запрещенному к индексации ( путь абсолютный, отсчитывается от корневой папки сайта ). Пустых строк в файле между строкой User-agent и Disallow быть не должно.
