Sites de Busca

Desde uns dois dias atrás, o Senado não está mais em #1 para a pesquisa [vergonha nacional]. Nesse momento, a página senado.gov.br/sf/ é a mais bem colocada, em #15.

E por que isso estaria ocorrendo? Ou seja, por que o site do Senado estaria perdendo posições para a pesquisa por [vergonha nacional]?

Uma hipótese é que os links estariam perdendo força. Como a maioria dos links estava em blogs, à medida que os posts vão para a segunda página, os links perdem força.

Outra hipótese é que a Google esteja aprendendo que a página do Senado não tem relação com a pesquisa [vergonha nacional]. E como a Google aprende isso? Estudando o comportamento do usuário. É provável que poucos usuários que pesquisem por [vergonha nacional] cliquem o link para o Senado; e dos poucos que clicam, menos ainda de fato se interessam pelo site do Senado.

Vamos ver o que acontece com a página ao longo do tempo; talvez possamos tirar conclusões úteis.

Update 22 de outubro: a página senado.gov.br/sf está em #11 para [vergonha nacional]

Update 20 de novembro: leiam esse post.

Há pouco tempo, por causa da decisão do Senado que resolveu não cassar Renan Calheiros, iniciou-se uma campanha entre webmasters que conclamava todos a linkarem para o site do Senado com o texto-âncora ‘vergonha nacional’.

Em poucos dias, o site do Senado chegou ao número 1 na Google para [vergonha nacional]. Isso foi visto como uma grande proeza, mas na verdade foi um trabalho dos não muito complicados, já que uma pesquisa “vergonha nacional” (entre aspas, para que a pesquisa se restrinja apenas à expressão exata [vergonha nacional], e não aos milhões de variantes que incluam apenas [vergonha] ou apenas [nacional]) retorna apenas 479.000 resultados.

Do ponto de vista de SEO, dois fatos foram relevantes.

Primeiro, a rapidez com que a Google captou os links e lhes atribuiu valor. O julgamento de Renan foi no dia 12 de setembro, a campanha começou no dia 13 e no dia 15 a Google já mostrava o Senado em #1 (o Yahoo levou alguns dias a mais). Alguns chamaram esse um caso de Google bombing, mas não me parece ser exatamente isso; o Google bombing é o caso quando sites não-correlatos apontam para uma mesma página usando o mesmo texto-âncora com o único propósito de melhorar a posição do site. No caso presente, os links apareceram em posts que explicavam o porquê de o Senado ser uma vergonha, e em sites (a grande maioria blogs de relevância, que são rastreados pelos bots todos os dias) que de certa forma tratavam do assunto (política, dia-a-dia). O seja, os links eram válidos como opinião, e daí a Google tê-los valorizado.

Mas, o mais importante, e que me levou a escrever esse post, é que desde há alguns dias, o Senado ganhou sitelinks para [vergonha nacional]. E o mais interessante é que os sitelinks são os mesmos apresentados para a pesquisa [senado] (também é interessante observar que os snippets são diferentes).

Isso, na minha opinião, fornece pistas sobre a receita para se obter sitelinks.

Primeiro passo: chegue a #1 da Google; segundo passo: tenha tantas visitas ao seu site (como é certamente o caso do site do Senado) que a Google seja capaz de criar um perfil das páginas que são mais úteis/relevantes/visitadas do site, e apresente essas páginas como sitelinks. O segundo passo é mais difícil do que o primeiro.

Em 2002, Brett Tabke, criador do site Webmasterworld, escreveu um post que, em Português, seria traduzido como Um Site de Sucesso em 12 Meses somente com a Google; o post virou um clássico entre os SEOs. Basicamente, o post dizia: escreva conteúdo relevante periodicamente, submeta às Search Engines mais importantes, pratique técnicas básicas, escreva conteúdo relevante periodicamente, mantenha uma boa estrutura interna, escreva mais conteúdo relevante, repita …

Desde então, o post tornou-se ainda mais válido. As brechas que existiam no algoritmo da Google foram se fechando. Hoje, todos sabem o que o algoritmo da Google quer. A GOOGLE QUER LISTAR OS SITES MAIS RELEVANTES PARA CADA PALAVRA DE BUSCA.

Por exemplo, façamos uma pesquisa para Volkswagem. Qual é o site mais relevante? O website da Volkswagem (apesar da péssima otimização do site). E por que isso? Primeiro, porque o site oferece hoje (setembro/2007) mais de 700 páginas de informações sobre a Volkswagen, com aval da própria empresa (quem melhor do que ela para falar sobre seus próprios produtos?); segundo, porque o site é a fonte preferencial para qualquer um que procure informações sobre a Volkswagen, e em conseqüência o site tem milhares de links apontando para ele; terceiro, o domínio vw.com.br foi registrado em 22/11/1999 (há quase oito anos), o que significa que a Google teve tempo suficiente para conhecer o domínio e o site, e pôde verificar que ele é confiável (a Volkswagen nunca empregou técnicas de spam para divulgar seu site).

Outros exemplos: o primeiro lugar para uma palavra altamente competitiva como viagra é o site da Pfizer; o primeiro lugar da listagem orgânica para New York é o site oficial da cidade de Nova York.

Então, baseados nesses exemplos, podemos tentar concluir: o que fazer para chegar ao topo da Google para uma dada palavra-chave?

1) Escreva o conteúdo mais relevante para a dada palavra-chave. Escreva o que ninguém mais escreveu. Se alguém já escreveu, escreva com mais detalhes e precisão. Escreva conteúdo que responda às dúvidas dos usuários sobre a palavra-chave. Escreva temas correlatos à palavra-chave (se o tópico do site é Ferrari, escreva também algo sobre a McLarem, que tenha correlação com a Ferrari). Utilize gráficos, esquemas e mapas. Faça perguntas e respostas. Coloque links para outras fontes relevantes sobre o tópico. Em suma: faça o melhor site sobre a palavra-chave.

Isso evidentemente significa que o autor ou autores devem conhecer profundamente o tópico referente à palavra-chave (mais do que os autores dos outros sites). Quer ver o site em primeiro para ‘cirurgia plástica’? Esteja preparado para apresentar muita informação interessante e relevante sobre ‘cirurgia plástica’ (o primeiro lugar hoje é a Sociedade Brasileira de Cirurgia Plástica). Ou você sabe muito sobre cirurgia plástica, ou vai estudar muito, ou vai pagar alguém para escrever sobre cirurgia plástica; o que não é possível é encontrar um segredo que faça um site fraco ou medíocre subir ao topo da Google para um tema competitivo como cirurgia plástica.

Outra conseqüência é: escreva sobre temas de que você goste, pelos quais você tenha interesse em escrever ou aprender (ou seja, sobre temas nos quais você consiga ser a fonte mais relevante). No longo prazo, os melhores sites serão escritos por pessoas ou entidades que se interessem e gostem de escrever sobre os respectivos tópicos (e não aqueles que queiram apenas ganhar dinheiro). Se você escrever sobre o de que gosta, então criar e aprimorar o site será um prazer, e não um fardo. E quem faz as coisas por prazer sempre fará mais bem feito.

2) Consiga links relevantes.

A Google tem aprimorado constatemente suas ferramentas de avaliação on-site e on-page, ou seja, ferramentas que avaliem a relevância de páginas e sites sem depender de fontes externas. Isso pode ser conseguido, por exemplo, pela combinação de estudos de semântica e lingüística (a Google é um dos maiores empregadores de profissionais dessas áreas no mundo) com o enorme banco de dados de pesquisas que a Google acumulou ao longo dos anos e ainda com o estudo da maneira como usuários interagem com um site ou página.

Por exemplo, a Google sabe que uma página sobre ‘Independência do Brasil’ será mais relevante se contiver também a expressão ‘Dom Pedro I’. Por quê? A Google estudou História? Não! Porque, ao longo dos anos, a Google constatou que diversas pesquisas incluíram simultaneamente os termos ‘Independência do Brasil’ e ‘Dom Pedro I’; ou, ainda, que diversas páginas contêm esses mesmos termos, muito freqüentemente com links.

A Google ‘aprende’, apenas observando a estrutura da web, que esses termos são correlatos. É mais ou menos como nós, seres humanos, também aprendemos. É por isso que o item 1 acima é importante: a Google tem uma certa capacidade de reconhecer, apenas por análise estrutural/semântico do site e do seu posicionamento da web, a qualidade e relevância do site.

Entretanto, essa análise on-page ou on-site não é suficiente. A Google precisa de avaliadores externos para avaliar a relevância de uma página. A Google precisa de links.

Se o site do Museu do Ipiranga linkar para uma página sobre Independência do Brasil, a Google sabe que essa página é relevante para pesquisas sobre ‘Independência do Brasil’. Por quê? Porque a Google sabe que o site do Museu é uma autoridade para o tema Independência do Brasil. E por que o site do Museu é autoridade? Porque diversos sites da internet, que versam sobre História e Independência, apontam para o site do Museu.

Outro exemplo. Quem escreve sobre, digamos, engenharia de petróleo, precisa de links de sites que sejam autoridades em engenharia de petróleo. Quais são esses sites? Petrobrás, ANP, Shell, etc. E por que essas empresas são autoridades em engenharia de petróleo? Porque é provável que milhares de sites cujos temas sejam correlatos a petróleo apontem para Petrobrás, ANP, etc.

Os links não são todos iguais (como eles eram há alguns anos). O que interessa hoje para a Google são links relevantes. Quer subir no ranking para ‘Rogério Cenni’? Consiga links do site do São Paulo, do site do próprio Rogério, de sites de fãs-clubes do Rogério, de sites sobre os grandes goleiros do mundo, do site da CBF, de sites genericamente importantes (Yahoo, dmoz, etc). Conseguir qualquer um desses links é mais proveitoso do que conseguir cem links na blogsfera com o texto ‘blog do Fulano’.

E isso leva a outro elemento importante: o texto do link. O texto não é tão importante quanto já foi, mas ainda é importante. Não é mais tão importante, porque hoje a Google utiliza análise semântica para saber o tópico do site e da página; não adianta muito conseguir um link com o texto ‘Rogério Cenni’ se a página em que o link se encontra tratar de agricultura. Entretanto, se a página tratar sobre futebol, é muito melhor que o texto do link seja ‘Rogério Ceni’.

Reconhecer links relevantes é provavelmente a parte mais importante do trabalho de SEO. Isso porque escrever texto relevante, como explicado acima, e ganhar confiança pelo tempo, como explicado abaixo, são coisas difíceis de simular; ou você conhece o tópico, ou não; ou você tem tempo na internet, ou não. Mas links são sujeitos a manipulação; pode-se obter bons links com dinheiro. Por isso a Google se esforça muito para não demonstrar quais são os links de valor.

Conhecer e obter links relevantes constitui, atualmente, o trabalho mais importante de um SEO. Esse post fala um pouco mais do tema.

3) Tempo + Honestidade = Confiança (Trust)

Ninguém consegue disfarçar o tempo de vida na internet. Um site registrado em 1998 demonstra que o autor tinha interesse pelo tópico do site há muito tempo.

A Google tornou-se um dos registradores oficiais de domínios há alguns anos, mas nunca registrou nenhum domínio. Por quê? Porque a intenção da Google era apenas ter acesso ao banco de dados que informa quando um domínio foi registrado ou alterado.

Junte a isso os registros que a Google tem sobre o histórico do site (ele já tentou enganar os bots, ou ele sempre foi honesto? A Google armazena diversos dados sobre o site para determinar isso) e tem-se aí um grande fator de avaliação do site. De fato, o TrustRank, ou medida de confiança que a Google tem no site, há muito tornou-se mais relevante do que o PageRank.

É por isso que sites que promovem alterações radicais na estrutura sofrem alguma penalização; por exemplo, sites que mudam todas as URLs de dinâmicas para estáticas simultaneamente, ou mesmo sites que alteram todo o conteúdo repentinamente (típico caso de pessoas que compram domínios expirados e trocam o conteúdo - ver riotransito.com.br, por exemplo - a Google demora, mas um dia descobre, e pune).

Junte ainda dados sobre a maneira como os usuários interagem com o site (quanto tempo os usuários ficam no site? quantas vezes eles retornam? quantos usuários adicionam o site aos Favoritos?), acumulados ao longo do tempo (um site com dez anos tem muitos usuários fiéis), e tem-se outro fator que diz muito quanto à relevância do site.

A Google confia mais nos sites que têm longo tempo de vida, e que ao longo desse tempo se dedicou a produzir conteúdo relevante (e não se aproveitar de vulnerabilidades do algoritmo).

Em resumo: como chegar ao topo da Google? Escreva conteúdo relevante, obtenha links relevantes, mantenha um site honesto e aguarde.

A Google anunciou a Universal Search em maio de 2007, por isso ela não é novidade.

O que é novidade é que a Universal Search está começando a ter impactos práticos. Para algumas palavras, as SERPs estão sendo alteradas para acomodar resultados decorrentes do Universal Ranking. Para [são paulo], por exemplo, o primeiro resultado já é ‘Resultados de Notícias sobre São Paulo’, o que leva para a News.google.com.br sobre SP. Para outras cidades, como [recife], as notícias aparecem no final da primeira página; e para termos menos populares, as notícias ainda não aparecem na primeira página.

O que isso significa na prática? Significa que um site competindo para a expressão [são paulo] ganhou um novo e poderosíssimo concorrente: a página de notícias sobre São Paulo; a briga agora é pelas nove posições restantes. Ou seja, a disputa está agora mais acirrada, e ficará ainda mais à medida que, por exemplo, forem surgindo (e a Google os considerar relevantes) vídeos sobre São Paulo na web, e a Universal Search entender que eles merecem um lugar na primeira página (uma pesquisa sobre [ronaldinho] hoje já traz Notícias em #4, e vídeos do Youtube sobre o dito-cujo em #5 e #6).

Mais informações sobre a Universal Search: http://searchengineland.com/070831-085631.php

Adendo, dezembro de 2007: ao que parece, a Google prepara outro forte candidato à primeira página: o Knol, versão Google da Wikipedia.

Estive ocupado, cuidando dos meus sites.

Vejamos o que aconteceu com o blogverde.

Primeiro (e grande) problema: o webmaster não colocou links para os que participaram da promoção, o que tirou o interesse de potenciais participantes. Ele ganhou menos links do que poderia.

Mesmo assim, para a expressão [como ganhar dinheiro na internet], o blogverde passou de #90 para #29; isso mostra a influência que uns poucos links podem ter. O tecmarcos passou para #2 e #3; o número #1 agora é patraodigital.com.br, com PR1 (o que mostra como PR pode ser enganoso); o interney é #10. Para [”como ganhar dinheiro na internet”], ou seja, pesquisa com aspas pelo termo exato da âncora, o blogverde é #16.

No cade.com.br, o #1 é ainda dinheirofacil.hpg.ig.com.br; a primeira página está cheia de spam. A página blogverde.com/category/assunto-quente aparece em #89; a página blogverde/2007/06 aparece em #94.

Mais uma vez, não há surpresas: bons links com a âncora correta melhoram os rankings.

Update 24 de outubro: a homepage do blog verde está em #12 na google para  [como ganhar dinheiro na internet]; tecmarcos voltou para #1, patraodigital caiu para #25; há hoje 2.240.000 resultados.

No cade.com.br, o #1 para [como ganhar dinheiro na internet] é dinheirobr.kit.net; o post do blog verde blogverde.com/2007/06/28/ganhar-dinheiro-na-internet  aparece em #62, e a homepage aparece em #75.

Escrito pelos Americanos David A. Vise e Mark Malseed. Editora Rocco. Aproximadamente R$ 42; eu comprei no aeroporto do Recife.

Não fala nada sobre o algoritmo (além, evidentemente, do PageRank).

Fala sobre como Sergei e Brin se conheceram, suas famílias, o início numa garagem.

Eles tentaram vender a patente do PageRank para a Excite e para o Yahoo!, que recusaram. O Yahoo! alegou que seu objetivo (do Yahoo) era manter o usuário o máximo possível dentro do site (daí eles terem criado o mail, groups, flickr, jobs, travel, cars.yahoo, etc), e o PageRank faria com que os usuários encontrassem rapidamente o que buscavam e se afastariam do site.

Um professor, David Cheriton, apresentou Larry e Sergei a Andy Bechtolsheim, ele próprio um gênio em computação e investidor milionário. Bechtolsheim acreditou, com reticências, no potencial da dupla e fez um cheque de US$ 100.000 (’porque era um número redondo’) em nome da Google Inc.. Como tal empresa ainda não existia, Larry e Sergei tiveram que guardar o cheque até formalizar a Google.

Capítulo interessante é o que descreve o lançamento das ações na Bolsa. Esse é o momento em que,  geralmente, os fundadores perdem o controle da empresa; em todos os casos de IPO antes da Google, os grandes bancos de Wall Street impuseram aos fundadores condições que, visando a salvaguardar os interesses dos futuros investidores, colocavam o controle da empresa nas mãos de diretores profissionais.

A Google quebrou o paradigma. O IPO da Google foi pulverizado; todos puderam comprar ações, ainda que umas poucas. Sergei e Larry se mantiveram no controle, com autonomia para ditar os rumos da empresa; a concessão que fizeram foi aceitar a entrada de Eric Schmidt, que se tornou o ‘elemento financeiro’ na direção. Isso explica, em grande parte, porque a Google continua focada em melhorar o algoritmo e satisfazer o usuário, enquanto o Yahoo se tornou a maior vitrine comercial da internet.

Capítulo à parte sobre Charlie Ayers, ex-chef da banda Grateful Dead que assumiu o restaurante da Googleplex; como muitos outros, Charlie tornou-se milionário e aposentou-se.

Nos outros capítulos, a descrição do sucesso da empresa. Muito se fala do PageRank, mas a maior inovação da Google foram Adwords e Adsense (ver também o livro A Cauda Longa).

Esse post analisou a influência que um conjunto de links sobre os rankings.

Esse tipo de experimento é interessantíssimo. Como são poucas as pessoas que conhecem os algoritmos das SEs no Brasil, são poucas as que procuram melhorar seus rankings aplicando técnicas de otimização. Isso significa que, quando alguém aplica as técnicas, é fácil ver quais foram os resultados práticos das mesmas (daí aplicam-se as mesmas técnicas em outros domínios).

Na língua inglesa, isso é impraticável. Todos os termos que podem ser otimizados já o são (isso porque muitas pessoas já estão ganhando dinheiro há tempos com sites otimizados). Por exemplo, é impossível fazer um experimento controlado para [make money online], pois existem milhares de pessoas esforçando-se ao máximo para chegar ao topo (basta ver o número de pessoas utilizando Adwords para o termo); o #1, bidvertiser.com, é um PR7.

No Brasil, onde não há disputa, a situação é diferente. Vejamos o caso abaixo.

O webmaster do blogverde.com criou uma outra promoção: está propondo uma troca de links. Webmasters de outros sites devem linkar para a homepage do blog com o texto:

“Estou participando da promoção do Blog Verde, que ensina Como Ganhar Dinheiro na Internet com Blogs!”

O texto-âncora é “Como Ganhar Dinheiro na Internet” (link removido). Em troca, o webmaster dará um link de volta.

Acompanhemos, pois, o avanço do blog para o termo “Como Ganhar Dinheiro na Internet”.

Hoje, 6 de julho, o #1 na Google é o site tecmarcos.com, PR5 (o PR é registrado apenas para fins históricos); a página tecmarcos.com/ganhardinheiro.php aparece em #14. O blogverde.com aparece em #90. O interney.net aparece em #3 e #4.

No cade.com.br, o #1 é www.dinheiroffacil.hpg.ig.com.br; o www.tecmarcos.com/ganhardinheiro.php aparece em #4. A página blogverde.com/2007/02/01/fechamento-de-janeiro-07-recorde aparece em #778; a página blogverde.com/2007/03/10/silvio-santos-eu-quero-ganhar-mais aparece em #806; a homepage não aparece entre os 1000 primeiros.

O comando linkdomain:www.blogverde.com do Yahoo retorna 5400 links; todos os 100 primeiros links são ou da feedburner ou do novo-mundo, outro blog do mesmo webmaster. Uma análise completa do impacto dos links deveria levar em conta o número e a qualidade dos novos links (que é o que eu faço com meus próprios sites). Mas nesse estudo de caso isso é impraticável, pois toma muito tempo; ademais, como explicado acima, as especificidades do mercado brasileiro permitem que se tirem boas conclusões, mesmo com essa análise superficial.

Veremos o que acontecerá nos próximos meses.

PS: Para os que possam estar se perguntando por que a expressão [ganhar dinheiro na internet] e similares são tão disputadas, vai uma breve explicação:
Muitas pessoas procuram formas de ganhar dinheiro pela internet (se possível, sem muito esforço). Como tirar proveito disso? Crie uma página cheia de programas de afiliados, que pagam comissões para cada novo afiliado que você indicar; apresente essa página aos interessados em ganhar dinheiro, convença-os de que eles ganharão dinheiro fácil e convença-os a tornarem-se afiliados; quanto mais pessoas se afiliaram, e quanto mais eles ganharem, mais o indicador (você) ganhará.

Em maio/junho de 2006, um black hat conseguiu indexar 5 bilhões de páginas na Google: ver comentários, por exemplo, na ThreadWatch e no Digital Point (no Digital Point, o próprio Black Hat compareceu para discutir a técnica). Com bilhões de páginas indexadas, os sites atraem milhões de visitantes por dia, e rendem milhares de dólares em Adsense.

O que ele fez?

1) Ele registrou um domínio qualquer, como t1ps2see.com (dêem uma olhada no tráfego do site - expandam o período de tempo no gráfico - atualização: a Alexa restringiu o período máximo de visualização do tráfego a apenas alguns meses; entretanto, eu vi o tráfego do t1ps2see.com, e ele apresentava picos impressionantes) .
2) Ele percebeu que a Google dava aos sub-domínios um tratamento diferente do dado às páginas; um sub-domínio pagina.tips2see.com era facilmente indexável, enquanto a página tips2see.com/pagina estava sujeita a diversos filtros (o chamado efeito Sandbox), e demorava muito a aparecer.
3) De alguma forma (há diversas formas, desde as absolutamente legais - wordtracker - até as completamente ilegais - invasão de máquinas), ele passou a espionar os termos que as pessoas estavam pesquisando.
4) Para cada termo, um script automaticamente configurava um sub-dominio no servidor do black hat. Por exemplo, se alguém pesquisasse por ‘receita de bolo’, o script criava o sub-domínio receita-de-bolo.tips2see.com. Foi assim que ele gerou bilhões de páginas.
5) Ele gerou conteúdo para cada um dos sub-domínios. Como? Ele fez o que se chama content scrapping: pegue uma outra página já pronta (em geral, de uma Search Engine) e embaralhe o conteúdo; a nova página conterá diversas palavras e links correlatos com o assunto. Em lugares proeminentes da nova página (topo, laterais, etc), ele entupiu de Adsense.
6) Também por script, ele criou uma imensa interligação de sub-domínios correlatos. Tão logo uma página (na verdade, um sub-domínio) sobre ‘receitas de pudim’ fosse criada, o script automaticamente interligava essa página à outra, sobre ‘receita de bolo’.
7) Adicione alguns links (em blogs, forums, domínios expirados, etc) a algumas páginas-chave, e espere pelo efeito multiplicador de bilhões de páginas interligadas.

Na verdade, a grande sacada do Black Hat foi o item 2. Ele percebeu que a Google tratava cada sub-domínio como um domínio independente, e tirou proveito disso. Os outros itens da ‘técnica’ dele já eram mais ou menos conhecidos (tentarei detalhar mais, no futuro).

Novamente, como se vê, ser um black hat não é coisa de amadores.

Nesse post, de aproximadamente um mês atrás (31 de maio), pudemos ver o início de um experimento; uma página específica de um blog começou a receber links de outros blog, todos com o mesmo texto.

Vejamos o que aconteceu após um mês.
Até o final de maio, o Bruno tinha recebido 40 pares de links; em 6 de junho, ele anunciou ter recebido mais dez, e em 20 de junho outros 10, perfazendo assim um total de 60 pares de links (60 para a homepage do blog, 60 para a página da promoção).

Resultados nas SERPs:

CONCLUSÕES: Essas são minhas conclusões.

No Cade.com.br:

CONCLUSÕES:

No msn.com.br:

Conclusão: 1) os links tiveram certamente forte influência para alavancar o post; 2) o msn não se preocupa muito com usabilidade.

Alguns blogs discutem se técnicas como otimizar <title>, utilizar headers (h1, h2, etc), utilizar palavras-chave, escrever para ganhar links (!), etc são ou não técnicas black hat.

Minha opinião: um verdadeiro black hat daria risadas dessas comparações.

Tornar o site acessível e compreensível para os bots é o objetivo dos webmasters. Utilizar tags que estruturem a página, utilizar links de navegação que estruturem o site, utilizar headers e palavras que expressem o tópico da página ou site, tudo isso são técnicas não apenas aceitas, mas estimuladas pelas maiores Search Engines.

O que faz, então, um black hat? O black hat explora técnicas e vulnerabilidades que enganam os bots e os algoritmos. Um bom black hat tem profundos conhecimentos de redes, programação, servidores, algoritmos, etc.; ele estuda o conjunto, olha por outros ângulos, faz experimentos e descobre as vulnerabilidades.

Quais seriam exemplos de técnicas black hat?

NOTA: eu não sou um black hat. Black hats sabem que suas técnicas durarão pouco (até que as SEs as descubram, ou até que alguém as denuncie); eu prefiro criar sites duradouros. Mas algumas técnicas black hat tornaram-se públicas, e eu tomei conhecimento. Não estimulo nenhuma técnica black hat; menciono nesse blog alguns exemplos para fins puramente didáticos, eis que as vulnerabilidades mencionadas já foram detectadas e corrigidas pelas SEs.

Primeiro exemplo: Redirecionamento 302. Essa técnica foi muito discutida há uns 3 anos. Um redirecionamento é feito para se informar aos bots que a página que ele busca está em outro local. Se o redirecionamento for permanente (ou seja, a página buscada foi mudada para outro local e não retornará), o servidor informa ao bot o novo local e passa o código 301. Se o redirecionamento for temporário (ou seja, a página buscada está em outro local, mas logo retornará ao local que o bot está buscando), o servidor informa ao bot o novo local e passa o código 302. Leia esses comentários sobre redirecionamento.

Como funcionava a técnica? A técnica funcionava apenas porque o PageRank tinha altíssimo peso no algoritmo (o que não mais ocorre; veja quais fatores de ranking são mais importantes hoje). Suponhamos que eu tenha uma página sobre um tópico qualquer com alto PR (digamos, PR6). Suponhamos que eu veja uma página com bons rankings para uma palavra que eu queira, e que tenha um PR menor (digamos, PR3).

Note que o tópico dessa página-vítima não tem nada a ver com minha PR6; meu único interesse é capturar os rankings daquela página, que eu sei que me geraria dinheiro. Caso prático, para elucidar: eu criava um site sobre ‘futebol’, comprava links, e tinha centenas de páginas PR6; eu via uma página sobre ‘remédios para emagrecer’ com PR3 que aparecia na primeira página da Google; eu sei que visitantes interessados em ‘remédios para emagrecer’ geralmente gastam dinheiro online, e por isso eu vou tentar capturar aquela página.

Como fazer? Quando o bot da Google requisitar minha página sobre ‘futebol’, eu digo ao bot que houve um redirecionamento temporário (cabeçalho 302) e passo ao bot o endereço da página sobre ‘remédios’. O bot pensará: “hmm, esse conteúdo está temporariamente nessa página de PR3, mas retornará brevemente para aquela página de PR6; como a página de PR6 é muito mais relevante do que a página de PR3, então eu vou atribuir esse ranking para a página de PR6″.

E voilá: a cada vez que alguém pesquisasse por ‘remédios para emagrecer’, em vez de mostrar a página PR3, a Google se lembraria do redirecionamento e mostraria a página PR6; o dono da PR6, o black hat, colocaria anúncios sobre ‘remédios para emagrecer’ em sua página sobre ‘futebol’ e, provavelmente, ganharia algum dinheiro às custas do white hat. Veja que esse é um exemplo específico, mas em geral os black hats atuam de forma genérica: criam milhares de páginas, capturam outras milhares (um pouco de script ajuda a selecionar os nichos e páginas mais lucrativas)

Problema: e quando um usuário enviado pela Google requisitasse a página PR6? Ele não deveria ser redirecionado para a PR3? Não. Aqui entra uma técnica chamada cloaking.

O cloaking consiste em servir diferentes páginas a diferentes usuários (o nome técnico de usuários é User Agent). Se o User Agent for um navegador como o Internet Explorer ou Firefox, sirva uma página. Se o User Agent for um bot, sirva o redirecionamento. Praticamente todas as técnicas black hat utilizam cloaking. É por isso que a Google expressamente condena o uso de cloaking.

Como se vê, Black Hat não é coisa para amadores.