Python Language
Umgang mit der Global Interpreter Lock (GIL)

Bemerkungen

Multiprocessing.Pool

Die einfache Antwort auf die Frage, wie Threads in Python verwendet werden sollen, lautet: "Nicht. Verwenden Sie stattdessen Prozesse." Mit dem Multiprocessing-Modul können Sie Prozesse mit einer ähnlichen Syntax wie das Erstellen von Threads erstellen, aber ich bevorzuge die Verwendung ihres praktischen Pool-Objekts.

Mit dem Code, mit dem David Beazley zuerst die Gefahren von Threads gegen die GIL aufgezeigt hat , schreiben wir ihn mit Multiprocessing neu. Pool :

David Beazleys Code, der Probleme beim Einfädeln von GIL zeigte

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

import multiprocessing
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

start = time.time()
with multiprocessing.Pool as pool:
    pool.map(countdown, [COUNT/2, COUNT/2])

    pool.close()
    pool.join()

end = time.time()
print(end-start)

Anstatt Threads zu erstellen, werden neue Prozesse erstellt. Da jeder Prozess ein eigener Interpreter ist, gibt es keine GIL-Kollisionen. multiprocessing.Pool öffnet so viele Prozesse, wie Kerne auf der Maschine vorhanden sind, im obigen Beispiel wären jedoch nur zwei erforderlich. In einem realen Szenario möchten Sie, dass Ihre Liste mindestens so lang ist, wie Prozessoren auf Ihrem Computer vorhanden sind. Der Pool führt die von Ihnen angegebene Funktion mit jedem Argument aus, bis zu der Anzahl der erstellten Prozesse. Wenn die Funktion abgeschlossen ist, werden alle verbleibenden Funktionen in der Liste für diesen Prozess ausgeführt.

Ich habe festgestellt, dass die Prozesse auch dann noch vorhanden sind, wenn Sie die with Anweisung verwenden. Um Ressourcen zu bereinigen, schließe ich immer meine Pools.

Cython Nogil:

Cython ist ein alternativer Python-Interpreter. Es verwendet die GIL, kann jedoch deaktiviert werden. Sehen Sie ihre Dokumentation

Als Beispiel verwenden wir den Code , mit dem David Beazley zuerst die Gefahren von Threads gegen die GIL aufzeigte, mit Nogil neu schreiben:

David Beazleys Code, der Probleme beim Einfädeln von GIL zeigte

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

Mit Nogil neu geschrieben (NUR FUNKTIONIERT IN CYTHON):

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

with nogil:
    t1 = Thread(target=countdown,args=(COUNT/2,))
    t2 = Thread(target=countdown,args=(COUNT/2,))
    start = time.time()
    t1.start();t2.start()
    t1.join();t2.join()
    
end = time.time()
print end-start

So einfach ist das, solange Sie Cython verwenden. Beachten Sie, dass Sie in der Dokumentation darauf hingewiesen werden, dass Sie keine Python-Objekte ändern müssen:

Code im Rumpf der Anweisung darf Python-Objekte auf keine Weise manipulieren und darf nichts aufrufen, das Python-Objekte manipuliert, ohne die GIL erneut zu erwerben. Cython prüft dies derzeit nicht.