Lecture du site via bot

Bonjour,

Désolé si la question a déjà été posée. J'suis un peu récent sur le jeu, donc, euh, voilà.

Après avoir passé des heures à scanner la map manuellement pour voir comment évoluaient les différentes villes de l'empire, j'ai commencé à faire un outil qui le fait automatiquement. J'ai donc un p'tit programme qui télécharge les maps de la trentaine de villes et qui ensuite en lit le HTML pour faire la liste des batiments avec toutes les données qu'on peut espérer avoir.
Cependant, il y a une partie des données qui ne peut être accédée qu'en cliquant sur le petit œil, ce qui ouvre une requête Ajax via javascript. Je pense notamment à la Valeur Indicative d'un bâtiment. (Ça peut se comprendre, je sais pas comment elle est calculée mais ça doit bien dépendre de beaucoup de choses qui peuvent varier rapidement).
Or si récupérer une trentaine de pages ça paraît pas abusé, faire un milier de requêtes pour scrap l'intégralité des bâtiments, c'est un autre niveau de botting.

Et votre position n'est pas forcément claire sur le sujet. Votre robot.txt ne dit rien contre /ajx/ ; vous n'avez pas d'API publique (mais bon, en avez-vous vraiment besoin ?) et vos conditions d'utilisations ne disent globalement pas grand chose.
J'ai trouvé ceci :

Les liens en direction de kraland.org sont autorisés à condition qu'ils pointent vers des pages de consultation d'information et ne tentent pas d'interagir avec le site.

Mais je l'interprète comme : on ne peut pas poster un lien sur un autre site web qui tenterait d'interagir, ie les autres sites web ne doivent pas faire semblant d'agir comme des humains. Mais je ne trouve rien qui parle des ordis persos qui tenteraient d'interagir de manière automatisée.

J'ai vu qu'une partie des informations pouvant être sensibles étaient protégées (genre les sous dans la caisse) et que globalement ya pas grand chose de "problématique" ou "d'abus possible" à faire d'un scrapping. mais je peux être passé à côté d'un truc.

Pour détailler un peu + mes intentions : je cherche à faire des outils pour faire des évaluations économiques du cybermonde. Des stats, en somme. Sur qui a quoi, quelle ville a quels batiments, etc.

Aussi, j'aimerais poser la question clairement :
Le scraping d'information est-il autorisé ? Interdit ? À quel degré ?
Il me semble que mon utilisation actuelle (télécharger la trentaine de maps des villes) ne soit pas abusée mais je peux me tromper : trouvez-vous cela problématique ? (Après, ça peut aussi ouvrir la question du : êtes-vous capable de détecter la différence entre ça et un human qui ouvre la trentaine de pages ?)
Trouveriez-vous problématique de collecter, de manière automatisée, les informations immobilières du cybermonde ?

Et si c'est pas problématique : y a-t-il des moyens de récupérer les informations des batiments autrement que par un milier de requêtes javascript:openbat(n) différentes ? Genre une seule requête pour les collecter toutes ?


Cordialement,
Grob

Pour détailler un peu + mes intentions : je cherche à faire des outils pour faire des évaluations économiques du cybermonde. Des stats, en somme. Sur qui a quoi, quelle ville a quels batiments, etc.

J'adore les stats, et ça m'aiderait beaucoup pour le RP de mon perso.
Je ne peux pas t'aider mais je te souhaite bon courage pour ta démarche et te remercie d'avance