Hee, 'robotstxt' ken ik nog niet.
Wanneer is dat?

Voer in, dag-maand-jaar