Python Language
글로벌 인터프리터 잠금 (GIL)

비고

다중 처리 .Pool

파이썬에서 쓰레드를 사용하는 방법을 묻는 간단한 대답은 "하지 마라. 대신 프로세스를 사용하라"이다. 다중 처리 모듈을 사용하면 스레드 작성과 유사한 구문으로 프로세스를 작성할 수 있지만 편리한 Pool 오브젝트를 사용하는 것이 더 좋습니다.

David Beazley가 처음 GIL에 대한 스레드의 위험을 보여주기 위해 사용한 코드를 사용하여 다중 처리를 사용하여 다시 작성합니다 .Pool :

GIL 스레딩 문제를 보여준 David Beazley의 코드

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

import multiprocessing
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

start = time.time()
with multiprocessing.Pool as pool:
    pool.map(countdown, [COUNT/2, COUNT/2])

    pool.close()
    pool.join()

end = time.time()
print(end-start)

스레드를 만드는 대신 새로운 프로세스를 만듭니다. 각 프로세스는 자체 통역사이기 때문에 GIL 충돌이 없습니다. 위의 예제에서는 두 개만 필요하지만, 풀은 시스템에 코어가있는 프로세스만큼 많은 프로세스를 열 수 있습니다. 실제 시나리오에서는 시스템에 프로세서가있는 길이 이상으로 목록을 디자인하려고합니다. 풀은 생성 한 프로세스의 수까지 각 인수로 실행하는 기능을 실행합니다. 함수가 끝나면 목록의 나머지 함수는 해당 프로세스에서 실행됩니다.

나는 with 문을 사용해도 풀을 닫지 않고 풀면 프로세스가 계속 존재한다는 것을 알았다. 자원을 정리하기 위해 항상 수영장을 닫고 가입합니다.

Cython nogil :

Cython은 파이썬 인터프리터의 대안입니다. 그것은 GIL을 사용하지만, 당신이 그것을 사용할 수 없도록합니다. 설명서 보기

예를 들어 David Beazley가 처음 GIL에 대한 스레드의 위험을 표시하는 코드를 사용하여 nogil을 사용하여 다시 작성합니다.

GIL 스레딩 문제를 보여준 David Beazley의 코드

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

t1 = Thread(target=countdown,args=(COUNT/2,))
t2 = Thread(target=countdown,args=(COUNT/2,))
start = time.time()
t1.start();t2.start()
t1.join();t2.join()
end = time.time()
print end-start

nogil을 사용하여 다시 작성 (CYTHON에서만 작동) :

from threading import Thread
import time
def countdown(n):
    while n > 0:
        n -= 1

COUNT = 10000000

with nogil:
    t1 = Thread(target=countdown,args=(COUNT/2,))
    t2 = Thread(target=countdown,args=(COUNT/2,))
    start = time.time()
    t1.start();t2.start()
    t1.join();t2.join()
    
end = time.time()
print end-start

Cython을 사용하는 한 간단합니다. 문서에 따르면 파이썬 객체를 변경하지 말아야한다는 내용이 있습니다.

명령문의 본문에있는 코드는 어떤 식 으로든 파이썬 객체를 조작해서는 안되며, 먼저 GIL을 다시 획득하지 않고 파이썬 객체를 조작하는 것을 호출해서는 안됩니다. Cython은 현재 이것을 확인하지 않습니다.