Dyrk.org
Do You Really Know

Hello à tous,

La collecte de données est un peu le nerf de la guerre aujourd’hui (avec l’argent).
Moi-même, j’en fait assez souvent, pour tout un tas de raisons inavouables =)
(retrouver le propriétaire d’un email en est une …)

Aussi j’étais l’autre jour, sur l’une des plateformes de recrutements en vogue « DoYouB… » et j’ai trouvé  assez amusant la sécurité mise en place pour éviter le crawling* … ce qui m’a inspiré cet article !

Vocabulaire

Un petit point vocabulaire, pour que les personnes qui ne sont pas familières au langage « technique » puissent appréhender facilement le sujet.

Crawling : Collecte de donnée
Crawler : Outil de collecte de donnée
User Agent : Méta donnée attachée à un programme qui indique à un serveur / site internet le nom du programme  (Firefox, Google Chrome, Opéra, Internet Explorer …)
Timers : Petites pauses dans un programme
Obfuscations : Le fait de dissimuler une donnée derrière une très faible protection.
Rétro-engineering : Analyse de bout en bout du fonctionnement de quelque chose (programme, protocole, …)

L’user Agent

Si vous scannez une page avec un crawler* sans user agent*… vous tomberez parfois sur des faux liens qui vous amènent nulle part …
Néanmoins si dans votre crawler vous définissez un faux user agent … hop cette sécurité (sur la plupart des sites) est contournée …

La vitesse

Eh oui … un crawler va parcourir beaucoup plus de page à la minute, qu’un simple mortel comme nous …
Les sites internet dont vous allez récupérer les données vous verront venir de loin avec l’ouverture de 500 pages par minute …
Aussi, si vous mettez des « timers* » de 1 à 2 secondes entre chacune de vos requêtes …
ça vous prendra peut-être plus de temps, MAIS, vous pourrez faire votre collecte tranquillement … sans risque d’éveiller le moindre soupçon …

Les obfuscations* bidon

Pour ne prendre qu’un cas d’exemple, celui de DoYouB…
Ils cachent leurs emails avec ce genre d’obfuscations …
Oui oui vous ne voyez pas d’email … un crawler non plus d’ailleurs …
Sauf que le crawler n’est ni plus ni moins qu’un programme, qui fait ce qu’on lui demande de faire, et donc,  que l’on peut faire évoluer …
Donc si je prends cette jolie suite de numéros (cf. image) ….

101.98.115.101.98.106.111.102.109.118.100.98.116.65.104.110.98.106.109.47.100.112.110

Je me dis …

hmmm des chiffres

à quoi cela peut-il correspondre …

Il existe probablement un lien entre ces chiffres et les lettres de l’adresse email….
J’ai dans l’idée, que je vais trouver mon bonheur dans une table ascii*

J’essaie de faire quelques correspondances 

101  => e
98    => b
115  => s
101  => e
98    => b
106  => j

…

Bon après avoir décortiqué quelques lettres :

ebsebj …. ?fl`hk

Mouai mouai …. tiens et si je faisais juste un -1 sur chaque nombre :

101  – 1 = 100  soit  d
98    – 1 = 97    soit a
115   -1 = 114  soit r

…

darad…@gmail.com 

ah ah, ça fonctionne !!!
J’obtiens une véritable adresse email !

Avec un petit script php c’est décodé en 1 seconde

 <?php
$letters = explode('.',"101.98.115.101.98.106.111.102.109.118.100.98.116.65.104.110.98.106.109.47.100.112.110");
foreach ($letters as $v)
      echo chr($v-1);
?>

Et voilà comment un peu de rétro-engineering*, peut vous aider à obtenir ce que vous voulez …

Recommandation

Si vous souhaitez vraiment exposer sur votre site des adresses emails, faites de belles images plutôt que du texte ou des chiffres …
Je vous invite également à bloquer la consultation des emails des utilisateurs au bout d’un certain nombre par jour (comme le fait LebonCoin) !