Visão geral
Finalidade
ByteDance web crawler; published purpose details are limited.
User-agent exato
Bytespider
robots.txt
Exemplo para permitir
User-agent: Bytespider Allow: /
Exemplo para bloquear
User-agent: Bytespider Disallow: /
Limitação importante
O resultado do robots.txt descreve a regra publicada para o caminho testado. Não prova rastreamento, indexação, treino, citações ou tráfego.
Pergunta frequente
Esta regra controla todos os produtos do mesmo operador?
Não. Os operadores podem publicar user-agents distintos para treino, pesquisa e recuperação iniciada pelo utilizador.
Fonte oficial
Consult the operator’s current documentation before publishing a policy change.