machine-learning
प्राकृतिक भाषा प्रसंस्करण

परिचय

पाठ मिलान या समानता

एनएलपी के महत्वपूर्ण क्षेत्रों में से एक समानता खोजने के लिए पाठ वस्तुओं का मिलान है। पाठ मिलान के महत्वपूर्ण अनुप्रयोगों में स्वचालित वर्तनी सुधार, डेटा डी-डुप्लीकेशन और जीनोम विश्लेषण आदि शामिल हैं। आवश्यकता के आधार पर कई पाठ मिलान तकनीक उपलब्ध हैं। तो चलो; लेवेंसाइटिन दूरी

दो तारों के बीच लेवेन्सहाइट दूरी को एक स्ट्रिंग को दूसरे में बदलने के लिए आवश्यक संपादन की न्यूनतम संख्या के रूप में परिभाषित किया गया है, जिसमें स्वीकार्य संपादन संचालन सम्मिलन, विलोपन या एकल वर्ण का प्रतिस्थापन है।

निम्नलिखित कुशल स्मृति संगणना के लिए कार्यान्वयन है।

def levenshtein(s1,s2): 
   
 if len(s1) > len(s2):
    s1,s2 = s2,s1 
distances = range(len(s1) + 1) 

for index2,char2 in enumerate(s2):
    newDistances = [index2+1]
    for index1,char1 in enumerate(s1):
        if char1 == char2:
            newDistances.append(distances[index1]) 
        else:
             newDistances.append(1 + min((distances[index1], distances[index1+1], newDistances[-1]))) 
             distances = newDistances 

             return distances[-1]

print(levenshtein("analyze","analyse"))