Mensagem # 1 | 8:18 PM 2012-11-26

Site com arquivos robots.txt padrão são indexados da melhor maneira possível. Nós o ajustamos de tal forma que apenas as páginas com conteúdos são indexados, e não todas as páginas existentes (por exemplo, página de login ou registro). Portanto, sites uCoz são indexados melhor e obtêm maior prioridade em comparação com outros sites onde todas as páginas desnecessárias são indexadas.

Recomendamos a não substituição do arquivo robots.txt padrão.

Segue exemplo de como o arquivo robots.txt padrão parece:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /main/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat

Há um período de "quarentena" para cada novo site. Em caso de bom tráfego, a quarentena vai durar até 2 semanas. Para os sites com tráfego baixo cerca de 30 dias. Se você pagar por qualquer um dos serviços adicionais, a quarentena termina imediatamente após o pagamento.

O robots.txt é um arquivo de sistema. Se você ainda assim quer substituí-lo por conta própria, crie um arquivo de texto usando o bloco de notas ou qualquer outro editor de texto com o nome "robots.txt". Em seguida, envie o arquivo para a pasta raiz do seu site via Gerenciador de Arquivos ou FTP.

O endereço do arquivo robots.txt é http://seu_endereco_site/robots.txt

Aparência do arquivo robots.txt durante o período de quarentena:
User-agent: *
Disallow: /

Informativos não são indexados porque eles exibem informações que já existem. Como regra, essas informações já são indexadas nas páginas correspondentes.

Tudo sobre robots.txt (em Inglês)


Acidentalmente corrompi o robots.txt. O que devo fazer?
Excluí-lo. Nosso arquivo robots.txt será adicionado automaticamente (o sistema verifica se o usuário tem, e se não - adiciona de volta o arquivo padrão).

Sites com baixo tráfego ficão em quarentena durante um mês. Como pode um site ter um bom tráfego se ele é desconhecido pelos mecanismos de busca?
Este tempo é necessário para você tornar o seu site mais interessante, adicionar conteúdo e design exclusivo. Em seguida, os mecanismos de busca irão indexar bem o seu site e não irão ignorá-lo porque ele está vazio.

É possível encurtar o período de quarentena para um site com baixo tráfego?
Sim, mas você precisa pagar por um dos serviços adicionais.

Se eu anexar um domínio para o meu site que está na quarentena, a quarentena será terminada?
Não. Anexar domínio não influencia o período de quarentena.

Posso registrar um site nos motores de busca se a quarentena não acabou ainda?
Não, o site não será aceito.

O arquivo robots.txt será substituído automaticamente após a quarentena acabar? Ou devo atualizá-lo manualmente?
Ele será atualizado automaticamente.

É possível permitir a indexação de álbuns de fotos no robots.txt? Muitas pessoas buscam por imagens.
Dificilmente vai gerar algum resultado, mas você pode, se desejar.

Como posso proibir a indexação de sites espelhados?
Leia sobre sites espelhados. Você deve escrever a sua hospedagem no robots.txt, e então ele será o principal.

É possível excluir o robots.txt padrão?
Você não pode excluí-lo. Ele é um arquivo de sistema. Mas você pode adicionar seus próprios. No entando, como está escrito acima é melhor não fazer isso. Durante a quarentena é impossível adicionar seu próprio arquivo robots.txt.

O que é "UNetBot"? O robô do uCoz?
Sim.

O que devo fazer para proibir a indexação das páginas a seguir?
_http :/ / site.ucoz.com/index/0-4
_http :/ / site.ucoz.com/index/0-5
Adicione o seguinte texto para o arquivo robots.txt:
/index/0-4
/index/0-5

Proibi a indexação de alguns links, por meio de robots.txt, mas eles ainda são exibidos. Por quê?
Por meio do robots.txt você pode proibir a indexação de páginas e não de links.

Quero fazer algumas mudanças no meu arquivo robots.txt. Qual é o processo para isso?
Você deve fazer o download para o seu computador e fazer o upload de volta via Gerenciador de Arquivos ou cliente de FTP.