O Tag Robots

Robots META

Se você tiver páginas que você especificamente não querem aranhas para ver, você deve usar a tags de robôs para especificá-lo. Você pode se perguntar por que você quer ter certeza de uma página não seja indexada. Considere páginas privadas no seu site, páginas de login, etc

Junto com suas tags META outros, coloque o seguinte código:

<meta name="robots" content="noindex,nofollow">

<meta name="robots" content="none">

Se você quiser verificar se a página não seja indexada, mas a aranha pode seguir todos os links que encontra, você pode usar esta tag:

<meta name="robots" content="noindex,follow">