O ficheiro robot.txt informa os mecanismos de pesquisa o que deve ou não indexar.
Um sitemap é um arquivo XML colocado no site para ajudar os mecanismos de pesquisa a descobrir a disposição de páginas num site.