Trabalho em uma empresa que possui uma loja Magento 1.9 e a fim de otimizar a pesquisa organiza estamos tentando excluir centenas de páginas indexadas pelo google, porém, estou enfrentando duas dificuldades.
Loja: lojamastertoys.com.br
1) A página “Categorias” é genérica, ela contempla todos os produtos seja eles de meninos ou meninas, então essa categoria e todas as suas dependências foram setadas como noindex, nofolow no meta robots, ela ainda está indexada.
2) No Robots.txt foi definido para excluir por exemplo, a página da categorias e todas as suas dependências, assim como página minha conta, contato, sobre, whishlist, product_search (buscar) entre outras, elas ainda estão indexadas após alguns dias.
Abaixo vou colocar meu robots.txt, talvez eu tenha feito algo errado ou vocês possam conhecer outra solução para excluir essas várias páginas.
User-agent: Googlebot-Image User-agent: googlebot User-agent: google User-agent: bingbot User-agent: bing Disallow: /404 Disallow: /app Disallow: /cgi-bin Disallow: /downloader Disallow: /errors Disallow: /includes Disallow: /lib Disallow: /magento Disallow: /pkginfo Disallow: /report Disallow: /scripts Disallow: /shell Disallow: /stats Disallow: /var Disallow: /index.php Disallow: /catalogsearch Disallow: /catalogsearch/* Disallow: /catalog/* Disallow: /catalog/product_compare Disallow: /catalog/product_compare/* Disallow: /catalog/category/view Disallow: /catalog/category/view/* Disallow: /catalog/product/view Disallow: /catalog/product/view/* Disallow: /catalog/product/gallery Disallow: /catalog/product/gallery/* Disallow: /checkout Disallow: /control Disallow: /contacts Disallow: /customer Disallow: /customize Disallow: /newsletter Disallow: /poll Disallow: /review Disallow: /sendfriend Disallow: /tag Disallow: /wishlist Disallow: /cron.php Disallow: /cron.sh Disallow: /error_log Disallow: /install.php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /STATUS.txt Disallow: /*?SID= Disallow: /*?*SID= Disallow: /politica-de-trocas Disallow: /categorias Disallow: /categorias/* Disallow: /sobre Disallow: /contato
