mysqldb et threading

mysqldb et threading - Python - Programmation

Marsh Posté le 26-03-2009 à 00:45:35    

bonjour,
 
pour faire suite à ça http://forum.hardware.fr/hfr/Progr [...] 1783_1.htm ma classe python qui récupère des urls sur internet doit maintenant vérifier si par exemple une url est dans une table et si non l'ajouter.
 
Le soucis c'est qu'une fois sur 2 ça plante au niveau d'une des requetes fait par une des threads. D'après la doc, 2 mêmes threads ne peuvent partager la même connexion d'où mon problème... Y a t-il une solution ? Tout en évitant de créer une nouvelle connexion par threads. Si j'ai 20 threads, 20 connexion à MySQL risquent de charger un peu le serveur.
 
Code de base qui déconne si plusieurs threads:
 

Code :
  1. #!/usr/bin/env python2.6
  2. # -*- coding: utf-8 -*-
  4. import urllib2
  5. import MySQLdb
  7. # Threading version
  8. from threading import Thread
  9. from Queue import Queue
  13. class robot:
  16.     def __init__(self):
  17.         conn = MySQLdb.connect(host="localhost", user="user", passwd="", db="mabase" )
  18.         self.db = db.conn.cursor()
  19.         self.__num_worker = 4
  22.     def queue_fast(self):
  24.         def worker():
  25.             while True:
  26.                 url = q.get()
  27.                 try:
  28.                     True
  29.                     self.execute(url)
  30.                 except:
  31.                     print "erreur avec", url
  32.                 q.task_done()
  34.         q = Queue()
  35.         for i in range(self.__num_worker):
  36.             t = Thread(target=worker)
  37.             t.setDaemon(True)
  38.             t.start()
  39.        
  40.         self.db.execute("""SELECT url FROM site ORDER BY url_id ASC""" )
  41.         data = self.db.fetchone()
  42.         for d in data:
  43.             q.put(data)
  44.             data = self.db.fetchone()
  46.         q.join()    # block until all tasks are done
  50.     def execute(self, url):
  51.         """
  52.         Recupere le contenu html...
  53.         """
  54.         self.db.execute("""SELECT url, date FROM cache WHERE url = %s""", (url))     
  55.        
  56.         data = sql.fetchone()
  57.         page = data[0]
  58.         html = urllib2.urlopen(page).read()
  59.         if html:
  60.             try:
  61.                 self.db.execute("""UPDATE cache SET content = %s WHERE url = %s""", (html, page))
  62.                 return True
  63.             except:
  64.                 return False
  65.         else:
  66.             print "erreur sur la page {0}".format(page)
  67.             return False
  70. if __name__ == '__main__':
  72.     bot = robot()
  73.     bot.queue_fast()


 
donc des fois ça marche, la plupart du temps je m'en sors avec une erreur sql (_mysql_exceptions.OperationalError: 2006, 'MySQL server has gone away') et d'autre fois, le programme se bloque sans me rendre la main (je suppose qu'une des threads doit bloquer le q.join() qui attend).
 
je précise : python 2.6 avec MySQLdb 1.2.2 et MySQL-server 5.0.77 (sous arch)
 
merci

Message cité 1 fois
Message édité par pouchat le 26-03-2009 à 00:49:25
Reply

Marsh Posté le 26-03-2009 à 00:45:35   

Reply

Marsh Posté le 01-04-2009 à 17:04:46    

pouchat a écrit :

Le soucis c'est qu'une fois sur 2 ça plante au niveau d'une des requetes fait par une des threads. D'après la doc, 2 mêmes threads ne peuvent partager la même connexion d'où mon problème... Y a t-il une solution ? Tout en évitant de créer une nouvelle connexion par threads. Si j'ai 20 threads, 20 connexion à MySQL risquent de charger un peu le serveur.


 
Ne peux-tu pas, dans ton thread, créer la connexion, exécuter ta requête, clôre ta requête puis clôre ta connexion une fois devenue inutile ???


---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed