User-agent: * 
Disallow:
Crawl-delay: 30	# между страницы за 30 сек
Request-rate: 1/30         # загружать не более одной страницы за тридцать секунд
#Visit-time: 2100-1200     # загружать страницы только в промежуток с 21:00 до 12:00 по Гринвичу.