Python Language
Praca wokół globalnej blokady tłumacza (GIL)

Uwagi

Multiprocessing.Pool

Prosta odpowiedź na pytanie, jak używać wątków w Pythonie, brzmi: „Nie. Zamiast tego używaj procesów”. Moduł wieloprocesowy pozwala tworzyć procesy o podobnej składni jak tworzenie wątków, ale wolę używać ich wygodnego obiektu Pool.

Korzystając z kodu, którego David Beazley użył po raz pierwszy do pokazania niebezpieczeństw związanych z wątkami przeciwko GIL , przepisujemy go za pomocą przetwarzania wieloprocesowego .

Kod Davida Beazleya pokazujący problemy z wątkami GIL

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

import multiprocessing
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

start = time.time()
with multiprocessing.Pool as pool:
    pool.map(countdown, [COUNT/2, COUNT/2])

    pool.close()
    pool.join()

end = time.time()
print(end-start)

Zamiast tworzyć wątki, tworzy to nowe procesy. Ponieważ każdy proces ma własny interpretator, nie ma kolizji GIL. multiprocessing.Pool otworzy tyle procesów, ile jest rdzeni na maszynie, chociaż w powyższym przykładzie wystarczyłyby tylko dwa. W rzeczywistym scenariuszu chcesz zaprojektować listę tak, aby miała co najmniej tyle samo długości, ile procesorów na twoim komputerze. Pula uruchomi funkcję, którą każesz uruchamiać z każdym argumentem, aż do liczby procesów, które utworzy. Po zakończeniu funkcji wszystkie pozostałe funkcje na liście zostaną uruchomione w tym procesie.

Przekonałem się, że nawet przy użyciu instrukcji with , jeśli nie zamkniesz i nie dołączysz do puli, procesy nadal będą istnieć. Aby oczyścić zasoby, zawsze zamykam i dołączam do swoich pul.

Cython nogil:

Cython to alternatywny interpreter języka Python. Używa GIL, ale pozwala go wyłączyć. Zobacz ich dokumentację

Na przykład, używając kodu, którego David Beazley po raz pierwszy użył do pokazania niebezpieczeństw związanych z wątkami przeciwko GIL , przepisujemy go za pomocą nogil:

Kod Davida Beazleya pokazujący problemy z wątkami GIL

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

Przepisane przy użyciu nogil (TYLKO DZIAŁA W CYTHONIE):

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

with nogil:
    t1 = Thread(target=countdown,args=(COUNT/2,))
    t2 = Thread(target=countdown,args=(COUNT/2,))
    start = time.time()
    t1.start();t2.start()
    t1.join();t2.join()
    
end = time.time()
print end-start

To takie proste, o ile używasz cytonu. Zauważ, że dokumentacja mówi, że musisz upewnić się, że nie zmieniasz żadnych obiektów Pythona:

Kod w treści instrukcji nie może w żaden sposób manipulować obiektami Python i nie może wywoływać niczego, co manipuluje obiektami Python bez uprzedniego ponownego uzyskania GIL. Cython obecnie tego nie sprawdza.