Depuis belle lurette déjà Google vous propose une série de liens sur la page de résultat juste en dessous de votre site dans les SERP pour souligner :
1/la pertinence de votre requête pour le mots clé tapés
2/mais nous voyons sur tout une récompense par rapport à la valeur de notre site
3/un meilleur CTR dû au fait que votre site ressort plus que les autres.

Ces sitelinks apparaissent pour votre site au bout d’un certain temps. Mais la plupart d’entre nous reste frustré car on ne les a pas toujours ! En général, c’est sur une requête égal à votre nom de domaine que vous voyez apparaitre ces sitelinks.

C’est en voulant chercher pourquoi un de nos site ne possède pas de sitelink alors qu’un concurrent avec un site « inférieur » au nôtre l’a que je me suis penché sur les raisons de l’attribution des sitelinks, cette récompense que tout webmaster recherche.

Le site en question a peu de liens entrant, et possède pourtant un sitelink ! Le nombre de liens n’est pas forcément un facteur (j’ai pris ça comme hypothèse).

Le profil de backlinks, peut être que la diversité des backlinks joue un rôle, notamment les fameux liens avec l’url en guise d’ancre. (http://www.domaine.com).
Je ne vous détaille pas l’analyse, mais je suis arrivé à la conclusion que c’est sans doute le nom de domaine mis en début du titre de la homepage qui influe le plus.

Par exemple, le titre de notre site en home :
« Formation Referencement Naturel Google | Referencementschool.com« , j’ai toujours formaté les title en home de cette façon (vu sur Seomoz.org), résultat, aucun de mes sites ne possèdent de sitelinks. Tout au moins un mini sitelink sur une ligne comme ceci :

Vous pouvez avoir plusieurs sitelinks pour différentes sections de votre site comme ci-dessous:

Dans les Webmaster tools de Google, vous pouvez choisir de bloquer un lien du groupe si vous le désirez (si vraiment vous vous la pétez)

Au bout de dix jours exactement, les sitelinks sont apparus pour notre site !
Donc pour confirmer l’astuce, j’ai appliqué à referencementschool.com le même traitement, en changeant le titre en:
« Referencementschool.com, Formation Referencement Naturel Google | Referencementschool.com »

J’ai attendu dix jours exactement et j’obtiens les sitelinks également.

A ceci près que c’est mon blog qui est en première position cette fois -ci et non la home page du site.

Donc deux sites qui ont gagné leur sitelink avec cette manipulation simple. Je tente un troisième et vous tiens au courant, ce site est plutôt jeune et je suis pas sûr de les obtenir.

Ca ne marche pas toujours !

J’ai essayé sur 3 autre sites, et ça n’a pas marché, deux site sont agés mais peu de backlinks, un autre site jeune et pas assez de backlinks donc. Je pense que les texte d’ancre et la navigation jouent un rôle ainsi que l’ancienneté du site et des backlinks.

Je me suis récemment penché sur le référencement des images d’un site de e-commerce dont je m’occupe, je le fais régulièrement car le trafic par Google Image n’est pas à négliger pour les site de e-commerce pour les raisons suivantes :

• vous vendez dans une niche où l’on ne sait pas vraiment comment s’appelle un article
• la recherche visuelle s’applique bien au e-commerce
• il y a plus de 10 résultats et la nouvelle version de Google dépasse les 25 images de l’ancienne version
• l’on est plus tolérant avec des images qu’avec du texte en terme de recherche d’images, si vous regardez vos referers, les clics d’images peuvent avoir lieu à la dixième page ! tout dépend de la rareté de ce que l’on recherche
• les référenceurs portent moins d’importance aux images (une bonne raison de vous lancer)
• l’index de Google Image est plus facilement spammable
• un bon référencement des images peut vous faire apparaitre dans les résultats de recherche universelle

et il y a sûrement d’autres raisons que je n’ai pas citées. Mais avant d’en venir sur le référencement des images de votre boutique Prestashop, nous allons passer en revue les facteurs positifs pour le référencement des images.

Les fondamentaux du référencement des images

Les facteurs positifs sont les suivant (je ne connais personnellement pas de facteurs négatifs:

• remplir votre balise alt avec au maximum 3 mots
• renseigner les dimensions réelles width et height
• donner un nom à mots clé, le mot clé sur lequel vous voulez vous positionner
• choisir entre ces formats d’images seulement : jpg, gif, png
• optimisez le poids de vos images
• proposer plusieurs tailles grande, moyenne (500 x 500 en moyenne quoique j’ai vu du 1000 x 600),les petites images ont disparu
• entourer l’image de texte avant et après avec les mots clé qu’il faut
• faites une image qui sort du lot
• linker vers cette page

Le référencement d’images dans Prestashop

Avant la version 1.4 de Prestashop, le référencement des images dans Prestashop était…merdique. Vous avez beau donner des noms de fichiers explicites, il vous les renommait à sa sauce avec des noms génériques comme thumb, small etc. Du coup vous perdez le bénéfice du nom de fichier qui a on le verra par la suite un poids non négligeable.

Deuxième cause du mauvais référencement de vos image : dans le template de base de Prestashop ( et donc dans tous les dérivés), c’est l’attribut title (qui ne sert à rien dans le référencement des images) qui est renseigné et l’attribut alt est inexistant, heureusement j’explique comment éliminer ce défaut en retouchant une ligne du template.

Récemment donc, j’ai eu la désagréable surprise de constater que mes images étaient moins bien référencée qu’un concurrent qui tourne aussi sur Prestashop. Quasiment toute la première page était monopolisée par ses images. Après une étude rapide, je me suis aperçu que toutes ses images, avaient un nom de fichier explicite et long (en fait c’était le titre de la page et donc du produit). Au début je pensais qu’une bidouille dans le template pouvait résoudre le problème, mais heureusement c’était plus simple que je ne pensais, et la bonne nouvelle est que Prestashop 1.4 faisait de la réécriture de nom de fichier pour les images ! Bravo les gars ! J’ai donc rapidement upgradé vers la dernière version ( 1.4.3 pour ce site), et graduellement mes images reviennent dans le haut de l’index.

Upgradez vers Prestashop 1.4 !

Je vous recommande d’upgrader vers cette version qui présente de nombreuses innovation pas seulement dans le domaine du SEO. Possibilité d’exporter vers Ebay votre catalogue, one page checkout et guest checkout entre autre. Pour la mise à jour, je vous rappelle cet article sur la mise à jour vers Prestashop 1.4 à partir de la version 1.3.

Google dans sa bonté ( après avoir réduit en miettes les revenus de certains webmasters du jour au lendemain, preuve qu’il ne faut pas baser ses sources de revenu uniquement sur le SEO) a ouvert un thread où les webmasters qui se sentent victimes de dommages collatéraux de poster leur demandes.

Quelque soit le type de site, les sites web comme des bébés, forcément, on ne se sent pas visé et ce ne peut qu’être une erreur due à l’imperfection de Google, bien sûr.

Google est clair là dessus, il n’y aura pas de tuning manuel car tout ça c’est fait par un programme informatique, dont ils sont très heureux de la performance et pertinence.

J’ai jeté un coup d’oeil sur les sites, franchement certains méritent leurs sorts tant ils sont faits pour générer un max de clics comme celui ci. Et d’autres doivent avoir une raison d’être des victimes collatérales (si Google était tellement sûr d’eux, ils n’ouvriraient pas ce thread pour recueillir les doléances), curieusement peu de webmasters s’expriment.

Je voudrais vous soumettre pour avis une liste de sites, et vous me direz lesquels méritent la Panda update.

1. askmehelpdesk.com
2. homeconstructionimprovement.com
3. proposalwriter.com
4. charlesandhudson.com
5. theteacherscorner.net
6. wordnik.com
7. spirithome.com
8. My3cents.com
9. artpromote.com
10. travbuddy.com

Retrouvez vous une constante dans la liste des sites pénalisés?

Ok les gars, ce Google Instant va mettre la pagaille, depuis la première seconde où j’ai utilisé ce truc. Diverses choses ont été entendues, du ridicule Seo is dead jusqu’au Google kills long tail keywords.

Sous l’ère pré Instant, vous tapez une requête, entrée et glissez l’ascenseur pour jeter un coup d’oeil sur les 10 résultats des serps.

Google Instant

Ce qui se passe lorsque vous tapez sous Google Instant, c’est vos yeux sont focalisés sur les premiers résultats, et que le 11ème annonceur Adwords s’en sort de justesse (ouf les $$ sont saufs !). Moins de chance cependant pour les résultats organiques, qui n’ont pas le même traitement de faveur, maintenant on arrête de taper quand on a un résultat qui est à peu près potable. Exit les recherches associées donc. Je ne dis pas que tout le monde va faire ça, l’on continuera à scroller à travers les 10 résultats, mais sans doute moins souvent qu’avant.

Cependant il faut considérer deux types d’utilisateurs de Google, ceux qui tapent une lettre puis lève leur yeux vers l’écran puis regardent le clavier pour la lettre suivantes, et ceux qui peuvent taper un mot sans regarder le clavier.

Dans la première catégorie, on s’apercevra que quelque chose se passe, car il y a déjà quelque chose de retourné, et pourtant on n’a pas encore pressé la touche Entrée. Dans la seconde catégorie on s’aperçoit en temps réel que les résultats bougent !

Les première fois c’est assez impressionnant, et techniquement c’est impressionnant de retourner des résultats aussi vite, Google Instant c’est Google Suggest on Steroid!

Pour nous référenceur, la seule chose qui compte, c’est si cela va impacter le trafic vers nos sites.

Pour ma part je n’ai pas constaté de baisse de trafic ni de hausse, (Google instant a été lancé le 8 septembre). Je pense que Google n’a pas pris de risque et sait que l’influence de Google Instant est minimal sur la recherche.

Je pense que le changement est surtout perceptible pour les annonces de liens sponsorisés. En effet pour la requêtes « référencement », avant il fallait attendre le retour des résultats pour avoir une page avec des pub Adwords. Avec Google Instant les annonces Adwords commencent dès « réfé » puis changent à « référ » pour stabiliser jusqu’à « référencement+<Espace> ».

Le temps d’exposition de l’internaute aux publicité Adwords augmenté de plusieurs secondes. Mais le plus surprenant est que les annonces Adwords pour le même mot clé sont beaucoup plus nombreuses. Au lieu des 11 annonces traditionnelles, j’ai dénombré environs une vingtaine, je suis sûr que les impressions sont plus nombreuses, et le taux de clic risque de baisser. Actuellement je n’ai pas de campagne active, mais je vais relancer bientôt une campagne pour un client et je suis impatient de voir comment ça va évoluer.

Google a réussi un coup de maître en affichant plus de publicités Adwords, tout en se faisant passer pour un grand innovateur en technologie web pour le bien de l’internaute.

Pour les webmarketers, le plus important est maintenant de savoir si leur ROI a changé, si leur dépense a augmenté pour une même période de temps.

Et vint Google Instant Preview

C’est une version graphique de Google Instant. Cette fonction vous permet de visualiser un site Web depuis la page des résultats de Google. L’ennui c’est que les résultats AdWords semblent être cachés par cette petite fenêtre de visualisation. A priori, cela pourrait porter préjudice à la vache à lait du Google. Mais qu’en est-il vraiment ? Nous avons vu qu’avec Google Instant, le taux de clic était légèrement modifié à la hausse. Tous les blog posts qui sont sortis suite à Google Instant ne sont en réalité que du vent, pour une raison très simple, Google teste ses nouvelles fonctionnalités en live depuis toujours. Si Google a décidé de sortir Google Instant, c’est qu’il a déjà fait beaucoup de tests grandeur nature. Or, une évolution de cette ampleur ne pouvait se faire à la légère. Et bien sûr Google ne va pas prendre de risques par rapport à voir ce qui est encore une fois sa vache à lait. Même chose pour Google Instant Preview

Lorsque nous survolons la loupe en cliquant dessus il apparaît à la droite une fenêtre flottante avec un aperçu de la page de destination. Cette fenêtre flottante masque les résultats AdWords. Enfin, presque. Car à aucun moment, le bloc Adwords ne les masquait en intégralité, même si vous survolez le premier résultat il y a toujours le petit message qui précède le bloc annonce de AdWords. Et quand vous survolez les résultats suivants, on commence à entrevoir le premier résultat de AdWords. Ceci pourrait attirer votre attention sur le bloc des liens sponsorisés. Je pense que c’est l’effet recherché par Google. Ce qui paraît comme être un acte de suicide est en fait la toute dernière technique de Google pour rentrer encore plus d’argent.

Update 2:bon apparemment c’était en place depuis avril 2009 Duh !

Update : Entre la publication de l’article et l’apparition de ce billet dans Feedburner, il s’est écoulé 10 seondes…

J’ai constaté aujourd’hui que Google géolocalise les suggestions. Peut être que c’est en cours depuis plusieurs jours, mais à regarder l’image, je ne peux qu’être sûr que ce n’est pas une coincidence si on voit plusieurs lieux de la région de Toulouse.

Seuls informatique de gestion, informatique leclerc ne sont pas à connotation géolocalisée. Quand à savoir s’il y a une relation entre l’ordre d’arrivée et la proximité du lieu de l’ordinateur je vais tenter ci-après de vois s’il ya  une corrélation:

Distance Toulouse-Albi:68 km

Distance Toulouse Rodez :122 km

Distance Toulouse – Tarbes:118 km

Distance Toulouse – Montauban :46km

Distance Toulouse – Auch :68 km

Pour faire la mesure des distances je me suis basé sur le vol d’oiseau, par défaut Google Maps vous centre sur la ville (Toulouse dans mon cas si je ne rentre que « informatique »). Bon clairement il n’y a pas de corrélation.

Google Maps vous permet également de mesurer la distance le long d’une route (plutôt killer comme fonctionnalité non ?) , mais là non plus pas de corrélation, je me suis épargné l’effort de la faire. Tout ce dont on peut déduire c’est que le classement ne doit pas seulement reposer sur la distance au point de recherche sur le moteur. Ci dessous la carte Google map que j’ai créé pour l’occasion:
Afficher Geolocalisation Suggestion Toulouse sur une carte plus grande

Voilà c’est cuit on dirait si on veut un listing plus exhaustif de Google Suggest. L’historique des recherches peut influer sur les suggestions retournées. Mais même en déconnecté j’ai les mêmes suggestions.

Je me souviens que les suggestions sur Google Mobile étaient géolocalisées, mais je n’arrive pas à retrouver l’article de Search Engine Land.

Faites le test et envoyez moi l’image de la même recherche pour le terme « informatique » depuis chez vous si vous le voulez.

Depuis le seo-campus Toulouse, le monde du black hat en France semble être en ébullition avec les annonces des inoxydables Discodog et Tiger, « porte paroles » du black hat français. En effet lancement de Auto-splog, d’un forum black hat par Tiger:

Le black hat c’est quoi?

C’est un mec qui a tout compris au référencement on page et off page. On page, il génère du contenu sans effort (apparent) et en off page, il a tout compris également depuis le début, puisque le plus important pour lui c’est d’avoir le maximum de backlinks possible sans effort (apparent) sur des pages à fort pagerank. Donc les gens qui nous les cassent avec des déduplications pour des pages catégories filtrés par ordre croissant et décroissant, vous avez mieux à faire…

Les outils du black hat

Tiger nous a fait une excellent présentation lors du seo-campus Toulouse, le slide du SMX est en partie disponible, les outils sont divisés en deux catégories: les générateurs de contenu , et les moissonneurs de liens

Les générateurs de contenu : le fameux Link Farm Evolution qui est en passe d’entrer dans le Hall Of Fame du web tellement j’en entend parler,SE Nuke, Auto Splog par Discodog.

Les moissonneurs de liens : Scrapebox, Xrumer pour les expert BH, SE Nuke, Sick Submitter.

A cela il faut ajouter les outils pour passer les captchas, fini les solutions software, maintenant on crowdsource en Afrique, avec decaptcher.com. N’oubliez pas le B A Ba, faites du black hat derrière un proxy, il existe des proxys gratuit mais pour 10 euros/mois, vous avez de beaux proxys fiables, les prix varient en fonction de ce que vous voulez faire.

Le black peut être une réponse aux personnes affamées de positionnement, mais ne vos y engagez pas sans être averti ! Le Black Hat promet des résultats (d)étonnants (je n’en doute pas) mais les risques sont à la mesure des gains, alors une règle d’or, ne mettez pas en jeu vos sites web importants, faites vous un bac à sable, ou mettez en oeuvre le link wheel qui permet de mettre un écran devant votre site principal et le mettre en quarantaine.

Je suis sûr qu’avec la pression commerciale qu’ils vont nous mettre, je ne fais pas de soucis pour leur CA de cette année.

Enfin n’oubliez pas une chose, faites le à vos risques et périls. Si vous ne voulez pas prendre de risque, alors faites du seo white hat, gage de pérennité.

Q1:Salut Jean Denis, j’ai connu Crawltrack en 2007, à l’époque je n’avais que des connaissances vagues sur les bots (j’étais plutôt Google analytics). Or ce dernier ne détecte que les visites d’humains. Très concerné par le Seo technique, j’ai très vite vu l’intérêt d’un outil comme Crawltrack qui à la différence de Google Analytic à l’époque, détectait les visites des bots. Mais parlons d’abord de toi, comment es tu venu à Crawltrack? Quelles connaissances techniques avais tu à l’époque où tu as commencé à coder Crawltrack?

Pour revenir à l’origine de CrawlTrack il faut remonter à fin 2004. Je fait partie d’une famille nombreuse dont les membres sont éparpillés un peu partout en France, et j’ai eu l’idée de créer un site  pour  s’échanger des infos.  J’ai commencé par un site fait en Frontpage sur un hébergement gratuit, mais assez vite j’ai eu envie d’apprendre et de maitriser le code et j’ai laissé tomber Frontpage pour un simple notepad++.

J’ai installé un phpMyVisites (aujourd’hui Piwik)pour suivre les statistiques de visites et la j’ai eu envie de comprendre comment ça marchait. Je n’avais jamais fait de php, je ne suis pas informaticien mais ingénieur en mécanique. J’ai acheté plusieurs livres (du style php5 pour les nuls) et j’ai appris. Assez vite j’ai fait des modifs dans phpMyVisites pour mon usage personnel et j’ai fini par mettre en ligne des plugins pour phpMyVisites.

Au mois de juin 2005, l’idée de permettre la détection des robots par phpMyVisites est lancé et je me charge de cette partie. A l’époque RobotStats est la référence dans la détection de robots mais déjà son développeur (Olivier Duffez du site Webrankinfo) a visiblement d’autres priorités et le script n’est plus mis à jour. Après plusieurs semaines de travail, il apparaît clairement qu’il y a  une incompatibilité technique entre phpMyVisites qui utilise le Javascript (tout comme Google Analytics) et la détection des robots qui nécessite d’utiliser le php.  L’idée de l’intégration dans phpMyVisites est abandonnée et j’ai pris la décision de sortir CrawlTrack comme script autonome. La première version a été proposée en téléchargement le 5 novembre 2005.

Q2:Peux tu nous expliquer comment marche crawltrack techniquement?
Voilà une vaste question, je vais essayer de faire simple. A chaque requête,  le tag de CrawlTrack qui est positionné sur la page lance l’exécution d’un script php.  Ce script va utiliser les informations disponibles dans la requête http reçue par le serveur (url demandée, user-agent, IP et referer) pour  classifier la visite (attaque ou pas, robot ou humain, etc…). La visite une fois  identifiée comme venant d’un robot connu par CrawlTrack, venant d’un humain ou étant une attaque fera l’objet d’un enregistrement dans la base de donnée. Les autres visites « non identifiées » seront juste comptées mais pas enregistrées. L’ensemble du traitement est fait coté serveur, c’est la différence fondamentale avec des scripts qui utilisent le Javascript (Google Analytics, Piwic) dont une part du traitement est fait coté client. CrawlTrack ne pourra jamais donner la résolution de l’écran d’un visiteur mais en contrepartie il ne dépend pas de l’activation de Javascript pour détecter une visite ce qui lui permet de détecter les robots.

La détection des attaques est faite par l’analyse de l’url demandée en y regardant chacun des paramètres passé dans l’url. Classiquement, une tentative d’injection de code fait appel à un lien vers le script malicieux, c’est ce lien qui est détecté. De même pour les tentatives d’injection sql, c’est la présence de morceaux de requêtes SQL qui est détectée. La liste d’attaques qui est disponible dans la base de CrawlTrack n’est pas utilisée dans le processus de détection, elle ne sert qu’à donner les infos sur la page de statistiques de CrawlTrack (les scripts visés par les attaques reçues).

C’est vrai qu’au départ je n’avais pas prévu d’intégrer la détection des humains. Ce qui m’a fais évoluer dans ce sens c’est d’une part les utilisateurs de CrawlTrack qui ont été de plus en plus nombreux à le demander et d’autre part, mon expérience en tant que webmaster qui trouvait lourd de devoir utiliser plusieurs outils différents pour avoir l’ensemble des informations qui m’intéressaient. L’avantage du tag php c’est qu’il voit toute les requêtes reçues par le serveur, mais quand il s’agit de détecter les humains ça devient un inconvénient. C’est fou le nombre requêtes que reçoit un serveur web. Pour faire le tri entre les humains et les autres il a fallu développer des  filtres pour séparer le bon grain de l’ivraie. Ce traitement est lancé lors de la préparation de l’affichage des pages de résultat. Il a fallu presque un an de tests en parallèle avec Google Analytic pour mettre au point ces filtres.

C’est chaque utilisateur qui peut inventer son mode de fonctionnement et d’utilisation des données. C’est clair par exemple que de voir ce que font les robots permet de mieux comprendre le processus d’indexation pour éventuellement  apporter les corrections nécessaires pour favoriser un crawlage en profondeur. L’analyse des mots clef utilisés par les visiteurs et des pages d’entrée sur le site permet dans un deuxième temps de vérifier l’impact du référencement. On découvre parfois que des mots clefs utilisé par les visiteurs pour arriver sur le site ne sont pas ceux auxquel on avait pensé, ce qui peut ouvrir de nouvelles pistes pour le référencement. Il y a certainement encore beaucoup d’autres façons d’utiliser la masse importante d’informations donnée par CrawlTrack. Et c’est les suggestions des utilisateurs qui permettront de donner de nouvelles pistes pour les évolutions futures.

Je pense qu’il y a une première raison, c’est que les webmasters sont d’abord intéressés par le nombre de visiteurs sur leur site. La prise de conscience de l’importance des robots ne vient qu’en deuxième temps si le webmaster commence à s’intéresser au référencement.
La deuxième raison c’est qu’il est plus simple pour le webmaster d’intégrer un tag Javascript qui ne demande rien de particulier au niveau du codage du site, alors que le tag php demande soit des pages en .php, soit un paramétrage du serveur pour traiter les pages html comme du php. Pour un produit « grand public », le choix du Javascript parait au première abord plus évident mais du coup cela ferme la porte à la détection des robots.

C’est un bonne question, sur mon site le numéro un et de loin s’appelle Googlebot avec une  visite toute les 2 à 4 secondes; ensuite arrive dans l’ordre Slurp Inktomi (Yahoo) et MSN Bot. Je trouve ça plutôt bon signe, mais si je fais un calcul de ratio (visiteurs envoyés)/ (visites du robot) je trouve que Yahoo et Bing utilisent beaucoup de bande passante pour un résultat très médiocre. Alors en fait je n’ai pas la réponse à ta question, il faudrait la poser à Google, Yahoo et Microsoft…

Q7:As tu des conseils à donner à ceux qui font du référencement de par ta connaissance des crawlers? Penses-tu que l’on ne met pas assez l’accent sur cette partie invisible qu’est le crawling?

Le référencement a pour objectif essentiel d’amener des visiteurs sur un site; tout le travail du référenceur consiste à faire connaître le site sur la toile. La part de visiteurs venant de moteurs de recherche (principalement Google) est souvent très importante, voir la plus importante. Ces moteurs ne « conseilleront » un site à un visiteur que si ils  le connaissent, et la seule façon pour eux de connaitre un site est de le crawler. Clairement, une page jamais crawlée, ne sera jamais proposée par le moteur puisqu’il ne la connait pas. C’est donc fondamental de savoir ce qui se passe au niveau du crawling pour d’une part vérifier que tout se passe bien (ça serait ballot de bloquer l’IP de Googlebot dans son .htaccess par exemple), mais aussi détecter les pages qui sont oubliées par le robot (page orpheline?). Un autre paramètre important est la fréquence de crawling, Googlebot viendra de plus en plus souvent si il découvre de nouvelles informations (ou pages) et si il n’est pas freiné dans son exploration. J’ai souvent observé qu’une augmentation de la fréquence  de crawling précédait une augmentation du nombre de visiteurs. Attention aux capacités du serveur, les robots peuvent être très gourmands, souvent nettement plus que les visiteurs humains.

Q8:ta base de bots a l’air sympa puisque très complète. Cela me rappelle que Fantomaster lui aussi a une base d’addresse ip de bot très mise à jour. Des possibilités que certains utilisent ta base à des fins de cloaking (surtout pour les ip de Google) ou alors c’est un peu risqué ?

Les utilisateurs sont libres de faire ce qu’ils veulent avec cette base, à eux d’assumer les risques qu’ils prennent au niveau de leur référencement. Personnellement je ne tente pas le diable, Google est beaucoup trop important en terme de source de visiteurs pour prendre le risque d’un blacklistage. Les ingénieurs de Google ne sont pas nés de la dernière pluie, ils savent que le cloaking existe et ils peuvent le détecter. Je ne serai pas étonné que de temps en temps Googlebot se déguise en visiteur lambda…[Ne tentez pas le black hat sur vos sites importants NDB]

Q9:le travail que tu as fait est considérable, Crawltrack est toujours gratuit, penses-tu le rendre payant un jour, en faire un service professionnel et freemium?

CrawlTrack est et restera open-source et gratuit. Les ressources publicitaires me permettent maintenant d’amortir l’ensemble des coûts d’hébergement. CrawlTrack reste pour moi un loisir, j’ai une activité professionnelle qui n’a rien à voir avec le web qui me permet de faire bouillir la marmite.

Q10:Quelle direction va prendre Crawltrack dans les mois et années à venir?

Voilà une bonne question, je ne fait pas de plan à long terme, les évolutions sont la plupart du temps venues suite à des demandes d’utilisateurs.
Dans un premier temps, c’est certainement la partie anti-hacking qui va évoluer le plus, ensuite on verra, j’attends les suggestions.

Q11:Parles nous de Crawlprotect, ta solution de protection des sites web, en quoi une protection au niveau du serveur peut être efficace?

CrawlProtect est né d’une demande de certains utilisateurs de CrawlTrack qui n’étaient intéressés que par la protection anti-hacking. L’objectif était donc de proposer un script léger uniquement dédié à la protection. CrawlProtect utilise un fichier .htaccess, et c’est donc au niveau du serveur Apache que le traitement est fait, avant tout traitement php (et donc avant les éventuels failles présentes dans les scripts utilisés).
Ca permet un plus grande réactivité tout en utilisant moins de ressources. Cela  fonctionne quelque soit le type de page (hml, php, …) sans avoir a intégrer un tag sur le site.
Mais attention, aucune protection n’est efficace à 100%, de nombreux cas de hacking se font simplement par ftp avec le login et le mot de passe qui ont été récupéré directement sur le PC du webmaster par un Trojan. Et là ni CrawlTrack, ni CrawlProtect ne peuvent rien y faire, alors si je peux donner un dernier conseil, en tant que webmaster, mettez vous à Linux, surtout que si vos affaires marchent bien il faudra passer au serveur dédié un jour et là vous serez en terrain connu .

Merci JDB. pour cette interview.

Si vous avez marre de Google Analytics il est temps d’essayer des alternatives certes moins puissantes (mais combien de gens utilisent les fonctions avancées de GA?) légère et au moins vous gardez tout pour vous.

MAJ : Le slash /Rank va vous donner plein d’infos sur le ranking d’un url

Le moteur de recherche Blekko couvait depuis deux ans, mais j’ai eu connaissance de son existence il y a seulement un an et demi, aussi j’ai pas mal patienté pour pour le tester (actuellement en phase de beta privée).

Il est actuellement inutile de faire un moteur de recherche comme Google, ce dernier a une position dominante et une gamme de produits qui maintient l’internaute captif (Gmail, Youtube, Google Docs), et pour un public plus averti (nous) il y a Google Analytics, Google Webmaster Tools, Google Website Optimizer entre autre.

Il est donc difficile pour un moteur de ne pas rester dans l’anonymat et d’atteindre la masse critique d’utilisateurs, sauf peut-être à coup de centaines de millions comme Bing, Yahoo quant à lui va bientôt tomber dans les oubliettes.

Y-a-t-il encore de la place pour une start-up en search? je pense que oui, surtout en ce moment où le géant s’est un peu assoupi sur ses dollars avec tous les inconvénients que cela induit.

Il est temps de faire bouger les choses et c’est ce que veut faire Blekko. Derrière ce moteur de recherche il y a Rich Skrenta et Mike Markson. Leur crawler s’appelle ScoutJet.

Les fonctionnalité phares de Blekko: Le slashs et les données Seo.

Les slash « / » sont des opérateurs équivalents aux tags. Dans la boîte de recherche , vous pouvez faire une recherche traditionnelle, mais aussi une recherche « slashée ». Un slash tag est un tag que tout le monde peut créer à la manière de Delicious, et vous y ajoutez des urls.

Premiers pas sur Blekko

Voyons quelle est la différence entre une recherche non slashée et un recherche slashée.

Faisons un comparatif des deux types de résultats retournés :

La recherche traditionnelle à la Google (on va pas le ringardiser?) pour « iphone gadgets » retourne 6 millions de résultats.

Si nous utilisons le slash:

La recherche « iphone /gadgets » retourne moins de 10000 résultats ! Ces résultats ont tous été taggés par des utilisateurs de Blekko, aucun script automatique derrière. Le slash qui est en fait un filtre humain offre moins de concurrence et si les gens comment à l’utiliser couramment cela peut-être intéressant. Je ne vous dis pas les implications concernant le référencement pour Blekko, on va parler de Slash Spam dans pas longtemps. Le slash fait ressortir le côté social et crowdsourcing du moteur, désormais il y a deux index, le générique et le 2.0. Le petit « + » vert sert à suivre le slash tag qui sera mis dans votre barre latérale. Et il appartient pour l’occasion à Blekko, donc il y a déjà des tags par défaut appartenant à Blekko, aussi ne soyez pas surpris par le nombre de résultats.

Mes slash tags créés /HTML5 et /Refschool. Je suis actuellement deux autres slash tags de Debra Mastaler, et il y a des suggestions de tags populaires et même des tags qui s’appuient sur des API tiers comme Amazon ou Youtube pour restreindre votre recherche (pour Youtube on n’a pas forcément le même ordre de présentation des résultats).

Autre chose intéressante à noter, c’est que vous pouvez dans la cas d’une recherche par Slash tag ‘ordonner par pertinence ou par date. Par date ok, mais pertinence? Voilà un critère à étudier. Est-ce que c’est le nombre de fois où est slash taggée la page? Ce serait trop facile. A approfondir donc.

Place maintenant aux fonctions seo de Blekko !

Il faut tout simplement entrer dans la barre de recherche l’url du domaine suivi du slash tag /seo.

Domain SEO de Blekko : Overview Links :

En un coup d’oeil on a une vus synthétique géographique des sources de liens et le « rank » des pages.

Domain SEO de Blekko : Overview Additional data :

Domain SEO de Blekko

Il est intéressant de noter le lien à partir duquel mon site a été trouvé (le blog de Marie) d’où l’importance d’être linké !

Domain Seo de Blekko : Duplicated Content

Blekko Crawl log

Blekko me signale une trentaine de pages dupliquées sans plus de précision, dommage espérons qu’il y aura plus de donnée à l’avenir.
Domain Seo de Blekko : Crawl log:

Le craw log ne marchait pas au moment où je testais le moteur. En fait  il y avait un bug d’affichage.

URL SEO Overview:

Overview de Blekko 1ère partie

Blekko nous donne avec un luxe de détail les origine géographiques des liens, sans doute imortant pour un référencement local plus tars. JE suis surpris d’avoir des liens en provenance des US mais j’imagine qu’il se base sur l’IP des serveurs, je ne me doutais pas que tant de site français étaient hébergés aux USA.

Overview de Blekko 2ème partie

Dans le résumé ci-dessus, Blekko nous donne le « rank » des pages sources des liens, si c’est le rank interne à Blekko et qui est un facteur de positionnement vous savez où laisser des commentaires. Au fait y-a-t-il un nofollow?

Il y a également un onglet « Additional Datas » qui va vous révéler votre « rank » et les mots fréquents.

URL Seo Links Inbound:

Affichage Des Backlinks

URL Seo Links Graph:

URL Seo Links Outbound:

Visualisation des liens sortants dans Blekko

Url Seo Links Internal:

Visualisation des liens internes - prise en compte des liens

Probablement un des tableaux les plus intéressants, j’imagine que « exclude » indique que le lien n’est as pris en compte, les liens provenant des pages category ne sont pas pris en compte.

Url Duplicate Content :

Fonction très intéressante s’il en est, si Blekko nous promet autant de transparence, espérons qu’il nous dévoile leur supplemental index et ne nous le cache pas plus tard comme l’a fait Google.

Duplicate content

Selon Blekko, il y a 3 urls du sous-domaine blog présentant des problèmes de contenu dupliqué. J’ai mis en home du blog les dix derniers articles, et je trouve comme prévu 10 problèmes de duplicate content (10 urls) car ces 10 billets existent sous leurs propres urls. Remarquez le rank des urls calculées au micron près ! Le offsite en rouge indiquerait-il un duplicate externe?

Si vous cliquez sur une url, Blekko vous montre en surligné les zones de texte à problèmes.

Blekko souligne les portions de texte à problème

Cette fonction est vraiment très sympathique car enfin pour la première fois on a un visuel des portions de texte dupliqué.

Visualize Urls:

Cette fonction vous permet de comparer jusqu’à 4 urls et est intéressante pour comprendre comment Blekko considère l’importance d’un site. Pour l’exemple j’ai comparé le sous-domaine blog et le domaine principal.

1. Ranking
2. Link stat
3. Top inbound links by pagerank
4. Top inbound links by hostrank
5. Domain stats
6. Domain to ranked pages

1-Ranking

Même si  on ne sait rien dans l’absolu, on a une échelle relative pour notre site et nous savons la hiérarchie en terme de ranking propre à Blekko (espérons que l’on ne va pas connaitre les mêmes déboires que la barre verte de Google). Le host rank est relatif au nom de domaine ou sous-domaine,  mais le site rank?

2-Link stat

Ceci est une vue graphique des classiques seo en terme de linking.

3-top inbound links by pagerank

Ceci montre sans doute le pagerank de la page source du lien entrant.

4-Top inbound link by Hostrank

Sans doute grâce à un lien de BFM Radio? le www a un score beaucoup plus élevé que blog.

5-Domain Stats

Tiens je ne savais pas que j’avais des liens Porn. La documentation de Blekko n’est pas assez détaillée pour l’instant, et je ne sais ce que veut dire le zapsite links.

6-Domain top ranked page

Il faudrait sans doute croiser avec les autres données pour savoir quelles sont les urls visualisée ci-dessus.

Sections:

Les sections sont la façon de voir votre site par le moteur Blekko d’un point de vue architecture de la page et contenu. Votre page est décomposée en blocks qui coincident avec les tags html, c’est donc une information très intéressante sur la façon dont les moteurs de recherche analysent une page !

Blekko vous montre très précisément ce que vous êtes en mesure d’attendre de lui en terme de positionnement et de texte pris en compte en réponse aux requêtes des internautes. Des heures d’analyse en perspective pour savoir quelles sections sont pondérées ou ignorées.

Résumé des slash propres au seo:

Résumé de la déclaration de droits de l’homme en search et quelle population elle concerne:

Les fondateurs de Blekko font un pari osé sur l’ouverture des données seo, et j’espère que cette ouverture va leur permettre de connaitre un succès auprès du grand public, car il y a une corrélation empirique sur l’ouverture envers la communauté des webmasters et le succès d’un moteur de recherche sur en général.

Google sera toujours le numéro un mais je suis bien heureux qu’il y ait constamment des challengers, qui permettraient de contrebalancer la toute puissance de Google.

Blekko supporte en natif l’équivalent de Google Webmaster Tool, et même plus, et avec une transparence dont on n’aurait même pas osé imaginer (les block pris en compte dans une page, les liens exclus ou non), bref énormément de choses destinées à draguer les webmasters.

Mais il y a un hic, c’est que ces données sont disponibles pour tout le monde et tout webmaster initié saura tirer son épingle du jeu en passant des heures à analyser ses concurrents. Sur Blekko, le succès passerait par le social avec les slashtags, mais aussi une action webmarketing globale propre à chaque site qui ne saurait être reproduite  par un site concurrent.

Et vous qu’allez vous faire de toutes ces données?

Google restera-t-il indétrônable? avant 2010, il y a eu déjà des tentatives Cuil, Wikia, etc mais aucun n’a tenu ses promesses.

Search Engine Land a un article intéressant et anticipe un changement à venir pour le search et le monde du search.

Blekko est en travaux depuis plus de deux ans, fondé par Rich Skrenta (Netscape, Dmoz, Topix), dont le parcours brillant n’est plus à démontrer, ce dernier avoue ne pas en faire un Google Killer (sage décision), mais il semblerait que Google va avoir un challenger dans pas longtemps.

D’abord il y a le problème des usines à contenus entrepris par de vénérables entreprises (AOL, Yahoo, Demand Media) qui publie du contenu rédigé par des humains certes, mais comme ces derniers sont payés au lance pierre, ce qui en ressort, c’est du contenu de mauvaise qualité.

Ensuite, les résultats des SERPS sont de plus en plus pollués par les unités de blended search (recherche universelle), on est loin du minimalisme qui a fait le succès (pas commercial mais utilitaire) de Google. Tout le monde doit gagner de l’argent mais comme Google est sans rival en ce moment, il fait un peu ce qu’il veut.

Tentative de Google de shunter les SERPS en essayant de satisfaire le chercheur avec des snippets plus fournis.

Et pour nous SEO, chaque jour Google nous rend la vie plus difficile, quasi-suppression de la commande link, inurl, et autres phénomènes obscures.

Et puis il y a Blekko, quel seo n’a pas pesté contre la toute puissance de Google, même si cela lui facilité le travail du moins en France (optimisation pour Google un point c’est tout).

Il semblerait qu’au niveau de la pertinence Blekko soit au niveau de Google mais je n’ai pas encore testé le moteur, mais c’est des fonctions comme les slashtag qui permettent de contextualiser sa recherche qui semble être la killer feature du moteur,aussi des données seo rendues publique (à l’inverse deGoogle et de Bing) qui vont faire le bonheur des seo, en plus de MajesticSeo, OSE,et le vénérable Yahoo Site Explorer et Exalead, on aura des données à foison sur les sites concurrents .

Restez branchés sur cette affaire, il y a encore de l’espoir!

J’ai mis un outil de recherche de mots clé à l’aide des suggestions de Google.fr, tout ce que j’espère est que l’on ne me charge pas trop le serveur .

Ce outil a fait son apparition en 2004 et a très longtemps été en beta façon Google. Le but de cet outil était de proposer (d’où son nom suggest) des suggestions de phrase clé à taper à partir de ce qui est couramment tapé.

Google Suggestions utilise des informations sur la popularité des recherches courantes afin de classer ses suggestions.

Cet outil a été décrié car on avait peur qu’il ne nous rende bête en nous mâchant le travail. Je pense que dans la réalité ce n’est pas le cas car cette image parle clairement:

Ci-dessus est typiquement l’effet longue traîne. Et c’est ce que tout marketer web doit exploiter. Si les suggestions sont effectivement basées sur les requêtes réelles, on peut se poser les question suivantes:

Les suggestions sont-elles sensibles aux tendances?

Comment sont ordonnées les résultats? (pas par ordre alphabétique en tout cas).

Sont elles ordonnées par volume de recherche? (pas par volume d’index en tout cas).

J’ai donc fait une mini investigation sur cet échantillon limité de 10 expressions clé, en notant leur volume de recherche pour le mois de Janvier et la tendance des recherche avec respectivement Google Adwords Suggestion Tool et Google Insight For Search.

Corrélation Volume de recherche et classement Google Suggest

Les chiffres ci-dessus sont relevés à partir de l’outil de suggestion externe d’Adwords, volume broad est pour la correspondance large, volume phrase est pour la correspondance expression, et volume exact pour la correspondance exact match.

Local concerne la France, et global concerne le monde (en l’occurence le Québec).  Pour la colonne volume de recherche global en exact match, on a une bonne corrélation jusqu’au 7ème terme de la liste. Puisque le volume de recherche décroit  en rapport avec le classement. Par contre à partir du 8ème terme, on a une remontée du volume de recherche, totalement découplé de la tendance initiale, cependant le volume décroit avec le classement.

Dit simplement, la meilleure corrélation qu’on pourrait trouver entre le classement de Google Suggest est avec le volume de recherche dans le monde en exact match pour les termes correspondants.

Corrélation Classement Google Suggest et Tendance des recherches

A titre d’information seulement, voici les screenshots des variations de volume de recherche dans Google Insight For Search (ça vaut ce que ça vaut…). Ne pas regarder les barres, mais les courbes !

Dans l’image ci-dessus on compare les variations pas les volumes absolus de recherche. Donc la courbe ascendante la plus raides l’emporte. La courbe qui stagne ou baisse perd.

Vous pouvez constater que la hiérarchie est assez respectée (je n’ai comparé que 3 termes à chaque fois)

Disons que la hiérarchie dans le classement Google Suggest n’est pas la même. Vue l’imprécision de l’outil je préfère ne pas poser de plan sur la comète.

Limite de ces mesures: Les 4 graphes ci-dessus concernent la France car j’ai supposé les suggestion de Google géolocalisée, mais je pense qu’il faudrait prendre au niveau mondial, mais même à ce niveau je n’ai pas de conclusion évidente.

Si vous n’avez rien compris à cet article laissez un commentaire!