Arquivo que informa a crawlers quais áreas de um site podem ou não ser rastreadas; não é um mecanismo de remoção do índice.