# Обращение ко всем поисковикам
User-agent: *
# Делать задержку в обращении (но многие её все таки игнорируют)
Crawl-delay: 10
# Исключить из индекса ссылки вида /что-то-там/trackback/
Disallow: /*/trackback/
# Исключить из индекса файлы и разделы начинающиеся на
Disallow: /download-manager
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /search
Disallow: /about/useronline
Disallow: /download
# Исключить из индекса раздел feed
Disallow: /feed/