User-agent: * # todos os robôs podem visitar o site Disallow: # o site inteiro pode ser indexado