# /robots.txt - указывает поисковым роботам какие каталоги
#               брать для индексации не следует.
#               Если пуст или не существует, то все можно брать
#
#     Пример /robots.txt file
#
#     User-agent: webcrawler
#     Disallow:
#
     User-agent: *
     Disallow: /