Python Language
Работа над глобальным блокировщиком перевода (GIL)

замечания

Multiprocessing.Pool

Простой ответ, когда вы спрашиваете, как использовать потоки в Python, это: «Не используйте. Вместо этого используйте процессы». Многопроцессорный модуль позволяет создавать процессы с похожим синтаксисом для создания потоков, но я предпочитаю использовать их удобный объект Pool.

Используя код, который Дэвид Бэйзли впервые использовал для выявления опасностей потоков против GIL , мы перепишем его с помощью многопроцессорной обработки. Пул :

Код Дэвида Бэзли, который показал проблемы с резьбой GIL

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

import multiprocessing
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

start = time.time()
with multiprocessing.Pool as pool:
    pool.map(countdown, [COUNT/2, COUNT/2])

    pool.close()
    pool.join()

end = time.time()
print(end-start)

Вместо создания потоков это создает новые процессы. Поскольку каждый процесс является его собственным интерпретатором, не происходит столкновений GIL. multiprocessing.Pool откроет столько процессов, сколько на нем будет ядер, хотя в приведенном выше примере ему потребуется только два. В реальном сценарии вы хотите создать свой список, чтобы иметь как минимум столько же, сколько на вашем компьютере. Пул будет запускать функцию, которую вы укажете ей для запуска с каждым аргументом, вплоть до количества процессов, которые он создает. Когда функция завершится, все остальные функции в списке будут запущены в этом процессе.

Я обнаружил, что даже используя оператор with , если вы не закрываете и не присоединяетесь к пулу, процессы продолжают существовать. Чтобы очистить ресурсы, я всегда закрываю и присоединяюсь к моим пулам.

Cython nogil:

Cython - альтернативный интерпретатор python. Он использует GIL, но позволяет отключить его. См. Их документацию

В качестве примера, используя код, который Дэвид Бэйсли впервые использовал, чтобы показать опасности потоков против GIL , мы перепишем его с помощью nogil:

Код Дэвида Бэзли, который показал проблемы с резьбой GIL

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

Переписано с использованием nogil (ТОЛЬКО РАБОТАЕТ В ЦИТОНЕ):

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

with nogil:
    t1 = Thread(target=countdown,args=(COUNT/2,))
    t2 = Thread(target=countdown,args=(COUNT/2,))
    start = time.time()
    t1.start();t2.start()
    t1.join();t2.join()
    
end = time.time()
print end-start

Это так просто, если вы используете cython. Обратите внимание, что в документации указано, что вы не должны изменять какие-либо объекты python:

Код в теле оператора не должен каким-либо образом манипулировать объектами Python и не должен называть ничего, что манипулирует объектами Python, без предварительного повторного приобретения GIL. Cython в настоящее время не проверяет это.