robots.txt und/oder meta name=“robots“
Von mir betreute WordPress-Projekte erhalten immer eine /robots.txt. Darin wird festgelegt ob die Webseiten von Suchmaschinen indexiert werden sollen oder nicht – etwa, wenn sie reine unfertige Testinstallationen für Kunden darstellen. Darüber hinaus gibt es erst mal KEINEN Meta-Eintrag robots im Head-Bereich der Seite. Dieser wäre nämlich überflüssig, da z. B. Google eine Seite gar …