Python Language
Arbeta runt det globala tolklåset (GIL)

Anmärkningar

Multiprocessing.Pool

Det enkla svaret när man frågar hur man använder trådar i Python är: "Inte. Använd processer istället." Multiprocessing-modulen låter dig skapa processer med liknande syntax som att skapa trådar, men jag föredrar att använda deras bekväma Pool-objekt.

Med hjälp av koden som David Beazley först använde för att visa farorna med trådar mot GIL , kommer vi att skriva om den med multiprocessing.Pool :

David Beazleys kod som visade GIL-trådproblem

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

import multiprocessing
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

start = time.time()
with multiprocessing.Pool as pool:
    pool.map(countdown, [COUNT/2, COUNT/2])

    pool.close()
    pool.join()

end = time.time()
print(end-start)

Istället för att skapa trådar skapar detta nya processer. Eftersom varje process är sin egen tolk finns det inga GIL-kollisioner. multiprocessing.Pool öppnar så många processer som det finns kärnor på maskinen, men i exemplet ovan skulle det bara behöva två. I ett verkligt scenario vill du utforma din lista så att den har minst lika lång längd som det finns processorer på din maskin. Poolen kommer att köra den funktion du säger att den ska köra med varje argument, upp till antalet processer den skapar. När funktionen är klar körs alla återstående funktioner i listan på den processen.

Jag har funnit att även med hjälp av with uttalandet, om du inte stänger och går med i poolen, fortsätter processerna att existera. För att rensa upp resurser stänger jag alltid och går med i mina pooler.

Cython nogil:

Cython är en alternativ pytontolk. Den använder GIL, men låter dig inaktivera den. Se deras dokumentation

Som exempel, genom att använda koden som David Beazley först använde för att visa farorna med trådar mot GIL , kommer vi att skriva om den med nogil:

David Beazleys kod som visade GIL-trådproblem

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

Omskrivet med hjälp av nogil (ENDAST ARBETE I CYTHON):

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

with nogil:
    t1 = Thread(target=countdown,args=(COUNT/2,))
    t2 = Thread(target=countdown,args=(COUNT/2,))
    start = time.time()
    t1.start();t2.start()
    t1.join();t2.join()
    
end = time.time()
print end-start

Det är så enkelt, så länge du använder cython. Observera att dokumentationen säger att du måste se till att du inte ändrar några pythonobjekt:

Kod i uttalandets kropp får inte manipulera Python-objekt på något sätt och får inte kalla något som manipulerar Python-objekt utan att först återfå GIL. Cython kontrollerar för närvarande inte detta.