Google предлагает контролировать время хранения страницы в кеше поисковой системы. Для этого он вводит новый мета-тэг unavailable_after.
вот его применение
<meta name="GOOGLEBOT" content="unavailable_after: 31-Dec-2007 23:59:59 EST">
взято здесь:
http://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html