tensorflow
다차원 softmax

Softmax 출력 레이어 만들기

state_below 가 2D Tensor 인 경우 U 는 2D 가중치 행렬이고, b 는 class_size length 벡터입니다.

logits = tf.matmul(state_below, U) + b
return tf.nn.softmax(logits)

state_below 가 3D 텐서 인 경우 U 와 b 는 이전과 같습니다.

def softmax_fn(current_input):
    logits = tf.matmul(current_input, U) + b
    return tf.nn.softmax(logits)

raw_preds = tf.map_fn(softmax_fn, state_below)

Softmax 출력 레이어의 컴퓨팅 비용

사용 tf.nn.sparse_softmax_cross_entropy_with_logits 하지만의 출력을 받아 들일 수 있음을 조심 tf.nn.softmax . 대신, 비 눈금 활성화 및 비용을 계산하십시오.

logits = tf.matmul(state_below, U) + b
cost = tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels)

이 경우 state_below 와 U 는 2D 행렬이어야하고 b 는 클래스 수와 동일한 크기의 벡터 여야하며 labels 은 int32 또는 int64 의 2D 행렬이어야합니다. 이 함수는 2 차원 이상의 활성화 텐서도 지원합니다.