Manipulation site web

Manipulation site web - Divers - Programmation

Marsh Posté le 22-04-2023 à 15:14:33    

Bondour
 
Je souhaite faire automatiser l'extraction des données d'une page web; prendre du texte et des images; les copiers, les collers, changer de pages, les copiers dans un traducteur et les coller ailleurs, appuyer sur des boutons, etc
 
Quel est le meilleurs langage pour faire cela?
Je suis un programmeur médiocre de SCL
 
Bisous

Reply

Marsh Posté le 22-04-2023 à 15:14:33   

Reply

Marsh Posté le 22-04-2023 à 16:55:13    

Première question, tu as l'autorisation du proprio du site web? :o

Reply

Marsh Posté le 22-04-2023 à 18:21:17    

Python, PHP, ça le fera très bien comme langage. Mais comme demandé par Rat de combat, tu dois avoir l'autorisation du proprio de scrapper son site web, en particulier s'il y a des droits d'auteur (cf. les images)...


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 23-04-2023 à 08:15:26    

merci
le site c'est le bon coin :o

 

Mais c'est pas pour un scam congolais, c'est pour optimiser

 

je connaissais pas le terme scrapper, apparement il y'a des outils pour scrapper pour les nuls


Message édité par miserable le 23-04-2023 à 08:18:14
Reply

Marsh Posté le 23-04-2023 à 12:57:35    

Je doute que le bon coin t'autorise à scrapper leur site :/
Par contre, regarde s'ils n'ont pas une API REST ou SOAP que tu pourrais utiliser. Ca serait plus propre, plus simple et surtout, légal :o


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 23-04-2023 à 14:45:43    

rufo a écrit :

Je doute que le bon coin t'autorise à scrapper leur site :/

+1 et ils doivent avoir des protections, si on télécharge massivement on doit se faire bloquer au niveau adresse IP voir compte si on en a un.

Reply

Marsh Posté le 23-04-2023 à 15:04:47    

Tu peux regarder https://github.com/RSS-Bridge/rss-bridge si tu veux faire un feed RSS des annonces

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed