tensorflow
बहुआयामी सॉफ्टमैक्स

सॉफ्टमैक्स आउटपुट लेयर बनाना

जब state_below एक 2D state_below है, U एक 2D वेट मैट्रिक्स है, b एक class_size :

logits = tf.matmul(state_below, U) + b
return tf.nn.softmax(logits)

जब state_below एक 3D टेंसर हो, U , b पहले की तरह:

def softmax_fn(current_input):
    logits = tf.matmul(current_input, U) + b
    return tf.nn.softmax(logits)

raw_preds = tf.map_fn(softmax_fn, state_below)

सॉफ्टमैक्स आउटपुट लेयर पर कम्प्यूटिंग लागत

tf.nn.sparse_softmax_cross_entropy_with_logits उपयोग करें, लेकिन सावधान रहें कि यह tf.nn.softmax के आउटपुट को स्वीकार नहीं कर सकता है। इसके बजाय, अनचाही गतिविधियों की गणना करें, और फिर लागत:

logits = tf.matmul(state_below, U) + b
cost = tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels)

इस स्थिति में: state_below और U 2D Matrices होना चाहिए, b को कक्षाओं की संख्या के बराबर आकार का वेक्टर होना चाहिए, और labels int32 या int64 का 2D मैट्रिक्स होना चाहिए। यह फ़ंक्शन दो से अधिक आयामों के साथ सक्रियण टेंसरों का भी समर्थन करता है।