Lecture du site via bot

Bonjour,

Désolé si la question a déjà été posée. J'suis un peu récent sur le jeu, donc, euh, voilà.

Après avoir passé des heures à scanner la map manuellement pour voir comment évoluaient les différentes villes de l'empire, j'ai commencé à faire un outil qui le fait automatiquement. J'ai donc un p'tit programme qui télécharge les maps de la trentaine de villes et qui ensuite en lit le HTML pour faire la liste des batiments avec toutes les données qu'on peut espérer avoir.
Cependant, il y a une partie des données qui ne peut être accédée qu'en cliquant sur le petit œil, ce qui ouvre une requête Ajax via javascript. Je pense notamment à la Valeur Indicative d'un bâtiment. (Ça peut se comprendre, je sais pas comment elle est calculée mais ça doit bien dépendre de beaucoup de choses qui peuvent varier rapidement).
Or si récupérer une trentaine de pages ça paraît pas abusé, faire un milier de requêtes pour scrap l'intégralité des bâtiments, c'est un autre niveau de botting.

Et votre position n'est pas forcément claire sur le sujet. Votre robot.txt ne dit rien contre /ajx/ ; vous n'avez pas d'API publique (mais bon, en avez-vous vraiment besoin ?) et vos conditions d'utilisations ne disent globalement pas grand chose.
J'ai trouvé ceci :

Les liens en direction de kraland.org sont autorisés à condition qu'ils pointent vers des pages de consultation d'information et ne tentent pas d'interagir avec le site.

Mais je l'interprète comme : on ne peut pas poster un lien sur un autre site web qui tenterait d'interagir, ie les autres sites web ne doivent pas faire semblant d'agir comme des humains. Mais je ne trouve rien qui parle des ordis persos qui tenteraient d'interagir de manière automatisée.

J'ai vu qu'une partie des informations pouvant être sensibles étaient protégées (genre les sous dans la caisse) et que globalement ya pas grand chose de "problématique" ou "d'abus possible" à faire d'un scrapping. mais je peux être passé à côté d'un truc.

Pour détailler un peu + mes intentions : je cherche à faire des outils pour faire des évaluations économiques du cybermonde. Des stats, en somme. Sur qui a quoi, quelle ville a quels batiments, etc.

Aussi, j'aimerais poser la question clairement :
Le scraping d'information est-il autorisé ? Interdit ? À quel degré ?
Il me semble que mon utilisation actuelle (télécharger la trentaine de maps des villes) ne soit pas abusée mais je peux me tromper : trouvez-vous cela problématique ? (Après, ça peut aussi ouvrir la question du : êtes-vous capable de détecter la différence entre ça et un human qui ouvre la trentaine de pages ?)
Trouveriez-vous problématique de collecter, de manière automatisée, les informations immobilières du cybermonde ?

Et si c'est pas problématique : y a-t-il des moyens de récupérer les informations des batiments autrement que par un milier de requêtes javascript:openbat(n) différentes ? Genre une seule requête pour les collecter toutes ?


Cordialement,
Grob

Pour détailler un peu + mes intentions : je cherche à faire des outils pour faire des évaluations économiques du cybermonde. Des stats, en somme. Sur qui a quoi, quelle ville a quels batiments, etc.

J'adore les stats, et ça m'aiderait beaucoup pour le RP de mon perso.
Je ne peux pas t'aider mais je te souhaite bon courage pour ta démarche et te remercie d'avance

De mémoire le scraping d'info publique est OK. Le reste ne l'est pas.

En v4, avec les orgas commerciales qui possédaient les bâtiments, quelqu'un compilait les rapports de tous ses bâtiments (il en avait beaucoup) pour faire un système d'espionnage à grande échelle. Il savait qui était où en temps réel. Fort heureusement il a été banni.

Alors,

J'ai commencé à en faire un peu (sans tout scrap, juste en récupérant une dizaine de données, pour test).
Si jamais ça vous pose problème bien sûr j'arrêterais tout.

Même sur le navigateur, on ne peut pas faire la requête ajax "openbat(nombre)" sans être connecté, et donc ya besoin d'un identifiant, d'un sessionID, d'un token, tout ça. Et c'est logique : la réponse sera pas la même selon si c'est un batiment à moi ou pas à moi.

Depuis mon ordi, j'peux mettre mes cookies, mais si jamais je veux partager le programme, notamment à des gens qui savent pas utiliser le devtool de leur navigateur pour récupérer leurs cookies de connexion, j'vais vite passer pour un énorme multicompte si c'est mes cookies dans le programme qu'ils font tourner...


De plus, de ce que je comprend bien le scraping d'info publiques est Ok, le scraping d'infos privés l'est pas.

Or, si je fait un openbat(nombre) pour les batiments qui ne m'appartiennent pas, j'ai des infos qui me semble publiques.
Mais si le batient m'appartient, j'ai les infos privées. Par exemple avec le montant exact de la caisse et pas un nombre de salaires cappé à 8. Et p'tet d'autres trucs que j'y ai pas encore fait gaffe... J'peux faire une exception pour mes propres batiments, mais déjà c'est à moitié relou, et deuxièmement si j'veux partager, je suis pas serein de pouvoir m'assurer facilement retrouver les batiments de la personne qui les utilise pour facilement les mettre en exception.

Du coup :
-> Est-ce OK si je fais openbat() sur tous les batiments dont les miens ? Ou ya moyen que j'ai des infos pas OK si j'le fais ?
-> Sinon, plus simplement, est-ce qu'il y a moyen d'accéder aux infos "publiques" des différents batiments sans avoir à simuler une connexion ? Comme ça aucun risque de scrap mes infos privées... Et plus facile à partager.

Sur le principe, pas de problème à récupérer des informations publiques pour les réarranger, comme, par exemple, la liste des bâtiments des villes. Ceci dit, il faut veiller à ne pas imposer une charge trop forte au serveur. Faire 30 requêtes par jour (ou par heure), c’est rien. Faire 3000 requêtes par minute pour récupérer de l’info en temps réel, non. Si c’est trop, je vais forcément le remarquer et bannir l’IP. Bref : rester raisonnable.

Il y a de l’info publique facile à récupérer et effectivement d’autre plus difficile (openBat etc). Je n’ai pas prévu (pour le moment) de possibilité de récupérer toute l’info de manière aisée. Une partie pourra être récupéré dans des fichiers xml comme en v6 (ou json m’a-t-on suggéré), mais c’est une partie que je dois retravailler (et ce sera une génération à la MAJ). Donc ça viendra, mais plus tard.

Par contre, il ne faut pas tenter d’interagir avec le site (= passer des ordres dans le jeu depuis un autre site), il y a des systèmes de protection pour éviter cela (token etc), pour protéger les joueurs de tentatives malveillantes pour leur faire passer des ordres dans le jeu à leur insu (et autres raisons similaires).

Toki a écrit :

Je ne peux pas t'aider mais je te souhaite bon courage pour ta démarche et te remercie d'avance

Je t'ai envoyé un kramail pour te partager le script.
Si jamais ça branche quelqu'un d'autre, qu'il m'envoie un kramail et se signale ici ou laisse mourir ce topic à jamais.

Et j'ai oublié de te remercier Red Star pour la réponse alors j'en profite : Merci beaucoup pour la réponse claire !

Du côté du script :
- Aucune interaction de prévue.
- On télécharge les 30-40 plans des villes, on en extrait les 1300+ IDs des bâtiments + d'autres infos, puis on fait les 1300 requêtes openbat avec un espacement de 0,5s à 1s entre les requêtes, pour récupérer les estimations immobilières. Ça dure 5 à 15 minutes. Ensuite on en fait des stats par ville, pays, personne.
- J'ai partagé mon script, 2 personnes pour l'instant, ils y iront avec leurs ID Kraland pas le mien, et avec recommandation de pas spam mais globalement une fois par jour.