Início » SEO Consultoria » Robots.txt e noindex: como controlar o WordPress

Robots.txt e noindex: como controlar o WordPress

Robots.txt e noindex representados por dois portões entre WordPress e Google Search Console

Entenda como usar robots.txt e noindex no WordPress, verificar quais páginas o Google consegue rastrear e escolher o controle adequado para filtros, confirmações de formulário e ambientes privados de homologação.

Separe descoberta, rastreamento e indexação

Fluxo de descoberta, rastreamento e indexação com três estações

No WordPress, robots.txt orienta o rastreamento. A diretiva noindex pede que um mecanismo de busca compatível mantenha a página fora do índice depois de ler a resposta.

Um catálogo B2B fictício oferece filtros públicos, uma confirmação de orçamento e uma área de homologação. A equipe precisa preservar funções diferentes para visitantes e mecanismos de busca.

Comece identificando a finalidade de cada URL:

  • Anote quem precisa abrir o endereço.
  • Identifique se ele deve aparecer na busca.
  • Defina se o rastreador precisa ler a resposta.
  • Confirme se há conteúdo que exige autenticação.

Entenda como o Google encontra uma página

A descoberta ocorre quando o Google conhece um endereço por meio de um link, de um sitemap ou de outra referência. Isso pode ocorrer antes de qualquer visita.

O rastreamento acontece quando o robô tenta buscar a página. Durante a indexação, o Google avalia o conteúdo e outros sinais para decidir se inclui o endereço nos resultados.

Escolha o controle pelo efeito esperado

Se o catálogo oferece uma confirmação que deve abrir para quem acabou de preencher o formulário, a equipe pode manter o acesso público e aplicar noindex.

Se a homologação contém materiais internos, a equipe precisa controlar quem entra. Uma barreira de autenticação protege o conteúdo mesmo quando alguém descobre o endereço.

Identifique o robots.txt que o site entrega

Arquivo robots.txt entre um servidor WordPress e o Chrome

Abra o caminho /robots.txt no domínio público antes de procurar onde editar. A resposta revela as regras que os rastreadores encontram na origem que você está analisando.

Inclua protocolo, nome do host e porta quando houver porta explícita. Um arquivo disponível no domínio principal tem escopo diferente do arquivo servido em um subdomínio.

Registre a origem e a resposta observada:

  • Abra o endereço público sem iniciar sessão.
  • Anote o código de resposta final.
  • Confira se o corpo contém regras de rastreamento.
  • Compare a resposta com o ambiente pretendido.

Localize a camada que gera a resposta

O WordPress pode produzir um robots.txt virtual. Um arquivo físico ou uma regra do servidor também pode responder primeiro, conforme a configuração da hospedagem.

Quando um plugin oferece edição do arquivo, compare o conteúdo que ele mostra com a resposta pública. A correspondência ajuda a identificar qual camada controla o resultado.

Diferencie a produção da homologação

No catálogo fictício, a equipe anota a origem pública e o endereço separado de homologação. Ela consulta cada origem para evitar aplicar conclusões de um ambiente ao outro.

Guarde a resposta atual antes de propor mudanças. Inclua o endereço final, a data e as regras vistas para que outra pessoa consiga repetir a checagem.

Avalie o alcance de uma regra de rastreamento

Dois caminhos para uma página de produto e uma página de filtro

Uma regra de robots.txt pode atingir mais endereços que o exemplo usado durante a edição. Antes de mudar o arquivo, liste páginas que devem continuar disponíveis ao rastreador.

No catálogo fictício, a equipe quer controlar filtros em um caminho próprio. Ela separa exemplos de filtros e exemplos de produtos que usam uma estrutura de URL parecida.

Monte a amostra com casos de controle:

  • Inclua uma URL que a regra deve alcançar.
  • Escolha um produto que deve continuar rastreável.
  • Teste caminhos vizinhos com prefixo parecido.
  • Confira qual agente o grupo de regras identifica.

Examine o grupo e o caminho juntos

Os grupos começam com linhas User-agent. Leia as instruções Allow e Disallow no grupo relevante antes de concluir que uma regra se aplica ao rastreador analisado.

Observe o caminho inteiro que você pretende controlar. Um prefixo amplo pode alcançar uma categoria principal junto com os filtros, mesmo quando a intenção se limita às combinações.

Compare a resposta antes e depois

Registre o efeito esperado para cada URL da amostra. Se uma alteração futura tornar o resultado diferente, a equipe terá uma lista curta para investigar o motivo.

Depois de aplicar uma regra autorizada, abra o arquivo público novamente. Compare o conteúdo com a versão aprovada e confira o mesmo conjunto de caminhos no diagnóstico.

Aplique noindex à página pública certa

Diretiva noindex com página acessível e resultado de busca excluído

Uma confirmação de orçamento pode precisar abrir para qualquer visitante que conclua o formulário. Se a equipe quer excluí-la da busca, aplique noindex à confirmação.

Antes de alterar uma configuração no WordPress, confira se ela afeta apenas a página ou um tipo inteiro de conteúdo. Prefira o alcance que atende à decisão.

Faça uma conferência antes de salvar:

  • Anote o endereço exato da confirmação.
  • Verifique como a equipe controla robots por página.
  • Escolha uma página comercial para comparar.
  • Guarde o estado anterior para uma eventual reversão.

Use o controle que gera a diretiva pública

Se o plugin de SEO expõe um campo de indexação no editor, confira qual opção produz noindex. Depois de salvar, abra a versão pública da página.

Uma mudança na interface administrativa ajuda a configurar a diretiva. A resposta que o rastreador recebe é a evidência de que a configuração teve o efeito esperado.

Preserve as páginas vizinhas

A equipe do catálogo abre também a página que recebe os pedidos de orçamento. Somente a confirmação recebe noindex. A página comercial conserva sua condição de indexação.

Revise o sitemap caso a confirmação continue listada. O diagnóstico do sitemap XML mostra como localizar a entrada e determinar qual gerador mantém aquele endereço.

Confira a diretiva no HTML e nos cabeçalhos

Cabeçalho HTTP e HTML ligados à resposta de uma página

Uma página HTML pode informar noindex por meio de uma meta tag. Um servidor também pode enviar a diretiva no cabeçalho HTTP X-Robots-Tag.

Para um PDF público que deve ficar fora da busca, examine a resposta HTTP. A configuração do editor de páginas pode afetar o HTML sem alcançar o arquivo.

Observe os pontos que mudam a interpretação:

  • Abra o endereço final depois dos redirecionamentos.
  • Procure robots e googlebot no código-fonte.
  • Inspecione o cabeçalho X-Robots-Tag.
  • Compare a resposta pública com a do painel.
  • Registre diretivas repetidas e o agente indicado para interpretar restrições que aparecem em camadas diferentes.

Localize o componente que define a diretiva

Se o HTML apresenta noindex, verifique de onde vem a meta tag. O tema, o WordPress ou um plugin de SEO pode definir a saída.

Quando o cabeçalho contém a diretiva, confira a configuração da camada que responde pelo endereço. Se houver CDN, compare a resposta atual com a regra em vigor.

Teste os tipos de recurso separadamente

A equipe verifica a confirmação de orçamento e um PDF do catálogo. Ela procura a meta tag na página e analisa os cabeçalhos do documento.

Repita a consulta em uma página que deve continuar apta à indexação. Um cabeçalho aplicado a todas as respostas pode afetar destinos fora do escopo.

Resolva conflitos entre Disallow e noindex

Robô de busca diante de uma barreira que impede a leitura da página

Se o robots.txt impede que o Google busque uma URL, o rastreador não consegue ler a diretiva noindex na resposta. O endereço pode continuar conhecido por links.

No catálogo fictício, a confirmação aparece em um relatório de indexação depois que alguém inclui seu caminho em Disallow. A equipe examina primeiro o objetivo da regra.

Reúna as duas evidências antes de alterar:

  • Abra o robots.txt da origem pública.
  • Verifique se uma regra cobre o endereço.
  • Confira a diretiva entregue pela página.
  • Anote o resultado desejado para o endereço.

Mantenha a página acessível quando o Google precisa ler noindex

Se o objetivo é tirar da busca uma página que continua pública, permita o acesso ao rastreador para que ele leia noindex. Confira também o HTML final.

Quando a página contém informação privada, use autenticação ou outra restrição de acesso. A proteção precisa funcionar para qualquer visitante que tente abrir o endereço diretamente.

Acompanhe a leitura após a correção

Use a inspeção de URL para distinguir o que o Google conhece da resposta que o teste ao vivo encontra. A leitura anterior pode refletir a configuração antiga.

Registre a data da correção e compare a situação depois de um novo rastreamento. Preserve os exemplos que permitem identificar se outras páginas foram afetadas pela mudança.

Proteja o ambiente de homologação

Página de homologação e PDF protegidos por cadeado

A homologação pode conter preços em teste, cadastros fictícios e páginas que ainda aguardam revisão. Configure autenticação para limitar o acesso à equipe responsável pelo ambiente.

O catálogo fictício mantém a homologação em um subdomínio próprio. A equipe testa o acesso em uma sessão anônima para evitar confundir permissões administrativas com acesso público.

Inclua os arquivos na conferência de acesso:

  • Abra uma página de teste sem sessão.
  • Consulte o endereço direto de um PDF.
  • Verifique o comportamento em uma janela anônima.
  • Compare com o acesso autorizado da equipe.

Confira a proteção além da tela de entrada

Uma página de login pode proteger a navegação sem impedir o acesso direto a arquivos. Verifique se o servidor aplica o controle também aos caminhos dos documentos.

Quando a hospedagem oferece proteção de diretório, confira o escopo e teste a resposta real. Garanta que o ambiente público continua acessível na origem de produção.

Revise os controles ao levar mudanças para produção

Liste os controles temporários antes da migração. Um cabeçalho noindex herdado da homologação pode afetar páginas públicas mesmo depois que a equipe remove a autenticação.

Compare o primeiro acesso anônimo em cada origem. Confirme separadamente a autenticação na homologação e a resposta das páginas comerciais que precisam aparecer na busca.

Escolha o controle pela finalidade da URL

Quatro tipos de URL para produto ativo, confirmação, homologação e produto removido

Um catálogo reúne páginas que atendem a tarefas diferentes. A confirmação encerra um formulário, o filtro ajuda a explorar produtos e a página de produto atende uma busca.

Registre uma decisão por grupo antes de mudar o WordPress. Inclua exemplos que possam revelar se uma regra afeta destinos além dos que a equipe analisou.

Separe os grupos por objetivo de acesso:

  • Identifique páginas comerciais que devem permanecer elegíveis.
  • Liste confirmações públicas que ficam fora da busca.
  • Separe materiais que só usuários autorizados podem abrir.
  • Identifique endereços de produtos que saíram de linha.

Compare os resultados que cada medida produz

Para produtos ativos, verifique se a página responde com sucesso e mantém os sinais de indexação pretendidos. Registre exceções quando um produto exige um fluxo diferente.

Para filtros, avalie se cada combinação oferece conteúdo próprio. A equipe pode limitar o rastreamento de um caminho quando esse é o objetivo específico da intervenção.

CasoObjetivoControle ou resposta
Produto ativoDescoberta pela buscaAcesso público
ConfirmaçãoAcesso sem aparecer na buscanoindex
HomologaçãoAcesso internoAutenticação
Produto removidoInformar ausência permanenteHTTP 404 ou 410

Diferencie produtos removidos e substituídos

Se existe um sucessor realmente equivalente, avalie redirecionar a URL antiga para ele. Confira se a equipe ainda oferece conteúdo específico de suporte no endereço anterior.

Quando o conteúdo desapareceu e falta um sucessor adequado, a resposta HTTP deve indicar a ausência. Revise links internos e o sitemap para refletir a decisão.

Verifique a resposta atual e a visão do Google

Lupa comparando a página pública e o registro do Search Console

Abra a URL sem sessão e registre o destino final. Confira o robots.txt da mesma origem, o código HTTP e as diretivas que a página entrega.

Depois, use a inspeção de URL na propriedade correspondente do Search Console. Compare os dados de indexação que o Google guarda com o teste ao vivo.

Registre os resultados em campos separados:

  • Copie o endereço que você consultou.
  • Anote o status e o destino final.
  • Registre a diretiva encontrada na resposta.
  • Separe o teste atual da leitura anterior.

Interprete a diferença entre os dois resultados

Se o teste atual mostra noindex e o relatório ainda indica uma URL indexada, compare as datas. O Google pode ter buscado a página antes da mudança.

Se a inspeção mostra bloqueio de rastreamento, volte ao robots.txt. Verifique se a regra se aplica à URL final e se ela contraria a decisão registrada.

Confirme se outras páginas conservaram o comportamento

Teste uma página comercial da mesma seção. Ela serve de controle para descobrir se um ajuste pretendido para uma confirmação acabou afetando outras páginas do catálogo.

Registre o comportamento de cada URL separadamente. Quando os resultados divergirem, compare o tipo de conteúdo e as configurações da página antes de mudar uma regra geral.

Acompanhe o rastreamento e prepare a reversão

Linha do tempo com registros de rastreamento e uma seta de reversão

Uma mudança no site altera a resposta pública assim que chega à origem que atende o visitante. A atualização dos resultados do Google depende de novo processamento.

A equipe do catálogo registra a suspensão de uma regra e conserva o arquivo anterior. Assim, consegue comparar o efeito da mudança e recuperar a configuração de referência.

Guarde as informações para a próxima conferência:

  • Registre o horário da mudança publicada.
  • Preserve a regra ou diretiva anterior.
  • Defina quais endereços devem manter o resultado.
  • Anote quem revisará as leituras seguintes.

Descubra se o problema persiste na resposta pública

Se o endereço continua exibindo a diretiva antiga, confira a camada responsável antes de esperar por outro rastreamento. Compare também a resposta com a que o painel indica.

Se a resposta mudou e o relatório ainda mostra a leitura anterior, acompanhe a data que o Search Console apresenta. Evite alterar outras regras durante a comparação.

Reverta a mudança se ela atingir páginas prioritárias

Se uma regra ampla afeta a área comercial, restaure a configuração anterior pelo mesmo mecanismo que publicou a mudança. Depois repita as verificações nas URLs de controle.

Confirme que o arquivo público e as respostas das páginas voltaram ao comportamento esperado. Registre o incidente e reduza o alcance antes de reaplicar qualquer alteração.

Conclusão

Lista de verificações, página pública e pasta com acesso restrito

Escolha o controle conforme a finalidade da URL. Use robots.txt para orientar o rastreamento e permita a leitura de noindex quando uma página pública deve ficar fora da busca.

Quando o conteúdo exige privacidade, teste a autenticação sem iniciar sessão. A verificação precisa incluir os arquivos que alguém consegue abrir por endereço direto.

Antes de concluir, faça estas verificações:

  • Abra o robots.txt da origem correta.
  • Confira as diretivas na resposta da URL.
  • Teste uma página que deve permanecer indexável.
  • Registre a próxima consulta no Search Console.

Use a mesma amostra depois da alteração

Inclua a confirmação de orçamento, uma página comercial e um documento da homologação. Compare cada resposta com o público e a finalidade que a equipe definiu.

Se alguma resposta divergir da decisão, revise a configuração com o menor alcance necessário. Atualize a regra global somente quando o problema disser respeito ao conjunto.

Registre separadamente a leitura e o resultado

Um teste ao vivo descreve o que o Google encontra naquele momento. Os dados de indexação ajudam a entender o que o sistema registrou anteriormente.

Use as duas observações para orientar a próxima verificação. Anote a origem, a data e as URLs de controle para a equipe poder repetir o teste.

Perguntas frequentes

Estas respostas tratam dos controles mais comuns de rastreamento, indexação e acesso em sites WordPress.

O robots.txt torna o site privado?

Para restringir acesso, use autenticação e verifique páginas e arquivos diretamente em uma sessão sem login.

O Google consegue ler noindex em uma URL bloqueada?

A diretiva precisa estar acessível ao rastreador. Uma regra Disallow correspondente impede a leitura da resposta.

Onde encontro a meta tag robots?

Abra o código-fonte da resposta final e procure uma meta tag com nome robots ou googlebot.

Posso aplicar noindex a um PDF?

Use o cabeçalho HTTP X-Robots-Tag na resposta do próprio arquivo e verifique a entrega pública.

Por que a página ainda aparece na busca?

Compare a data da última leitura registrada pelo Google com o horário em que a diretiva mudou.

O sitemap substitui noindex?

O sitemap apresenta endereços para descoberta. A exclusão da busca exige um controle adequado à resposta e ao objetivo da página.

Qual endereço devo testar após um redirecionamento?

Registre o caminho de origem e examine a resposta final. Confira os controles na origem que atende o destino.

Posso aplicar a configuração de homologação na produção?

Revise as configurações de acesso e indexação de cada ambiente antes de publicar. Confira se a produção continua aberta ao público.

Como saber se o bloqueio atingiu outras páginas?

Escolha exemplos com prefixos semelhantes e compare o comportamento esperado de cada um com as regras do arquivo.

Qual o primeiro passo se um produto deixou de aparecer?

Abra a resposta pública e consulte a inspeção de URL. Compare o acesso, as diretivas e a data do último rastreamento.

Separe a situação do produto das regras de catálogo inteiro antes de alterar uma configuração compartilhada.

Fontes

Sobre o autor

Sergio TimóteoEngenheiro Consultor
Perfil no LinkedIn

Vídeo relacionado


WhatsApp