Von mir betreute WordPress-Projekte erhalten immer eine /robots.txt. Darin wird festgelegt ob die Webseiten von Suchmaschinen indexiert werden sollen oder nicht – etwa, wenn sie reine unfertige Testinstallationen für Kunden darstellen.
Darüber hinaus gibt es erst mal KEINEN Meta-Eintrag robots im Head-Bereich der Seite. Dieser wäre nämlich überflüssig, da z. B. Google eine Seite gar nicht durchsucht, wenn bereits in der robots.txt ein „noindex“ definiert wurde. Ein Meta-Tag follow ist also überflüssig.
Wenn aber eine einzelne Seite nicht indiziert werden soll, dann wir diese NICHT in die robots.txt eingetragen, sondern im Head der jeweiligen Seite mit dem entsprechenden Meta-Tag noindex und/oder nofollow versehen. Google beachtet in diesem Falle die restriktivere Anweisung, also die Einschränkung im Meta-Tag und nicht die (allgemeine) Erlaubnis in der robots.txt.
Wer es bei Google nachlesen möchte, guckt hier.