Файл "robots.txt" служит для того, чтобы скрыть от поисковых машин непредназначенный для индексации ими контент нашего сайта, в том числе неинтересные пользователю страницы, статистику сайта, а также может быть использован для запрета индексации зеркал сайта (зеркало - это копия сайта. Может быть частичной или полной. Применяется для повышения надежности и доступности сайтов с высокой посещаемостью. В рамках данного проекта об этом мы говорить не будем)...
Его название должно быть в точности как Вы видите (без кавычек, конечно), т.е. маленькими буквами, а находиться он должен обязательно в корневой директории Вашего сайта.
В файле "robots.txt" необходимо запретить ненужные, как сами считаете, папки и странички (сюда, можно отнести, например, папку с графикой для сайта, папку с какими-либо архивами для закачки, страничку "Контакты" и т.д.)".
Это нужно для того, чтобы наш сайт поисковики видели более содержательным, более отвечающим запросу простого пользователя. Известно, что незакрытые таким способом элементы контента могут, в конечном счете, негативно повлиять на положение сайта в выдаче поисковиков.
Но ближе к делу!
Создаем простой текстовый документ и называем его "robots".
В нем прописываем:
 В данном случае мы запретили к индексации папку со скриптами "cgi-bin" и папку с
графикой "img", лежащие в корневой директории сайта, сразу всем поисковым роботам (звездочка означает - всем).
Можно запретить к индексации файлы и папки только роботу Яндекса:  Для запрета индексации роботу Google вместо слова "Yandex" необходимо прописать "Googlebot
" (по аналогии для Рамблера: "StackRambler", а вот, например, для Yahoo: "Yahoo! Slurp").
Источник: http://web-for.com/kak-sozdat-robots-txt/ | 
