solr
SOLR का उपयोग करके HIVE2 TABLE को SOLR DIH का उपयोग करना
खोज…
परिचय
यह प्रलेखन SOLR डेटा आयात हैंडलर का उपयोग करके हाइव से कनेक्ट करने और SOLR में डेटा को इंडेक्स करने का एक तरीका प्रदान करता है। यह एक दिलचस्प दस्तावेज है क्योंकि मैं इसे इंटरनेट पर नहीं पा सका।
हैंडलर मूल रूप से 80 मिलियन से अधिक रिकॉर्ड संभालता है जिसका अर्थ है कि अच्छे सीपीयू और मेमोरी के साथ एक मजबूत बुनियादी ढांचा निश्चित रूप से आवश्यक है।
टिप्पणियों
कृपया बेझिझक हमारे पास पहुंचें और हम यथासंभव मदद करने की कोशिश करेंगे।
कदम
हमने पहले hive2 जार प्राप्त किया और कनेक्टिविटी की जांच के लिए जावा के माध्यम से काम किया। तब हमें एहसास हुआ कि इस्तेमाल किए जाने वाले जार हैं:
- Hadoop-आम-2.7.0-mapr-1703.jar
- छत्ता-आम-2.1.1-mapr-1703-r1.jar
- छत्ता-JDBC-2.1.1-mapr-1703-R1-standalone.jar
यदि आप एसओएलआर क्लाउड का उपयोग कर रहे हैं तो इन जार को वीएम में स्थानांतरित किया जाना चाहिए जहां एसओएलआर स्थापित है और फिर इस तरह से सोलक्रॉन्फिग.एक्सएमएल में संदर्भित किया गया है:
Solrconfig.xml में भाग आयात करें
<lib dir = "/ users / path_to_folder_with_jar" regex = "। *। j।" />
तब यह सबसे महत्वपूर्ण हिस्सा है: आपका हाइव कनेक्शन स्ट्रिंग:
कनेक्शन भाग
<dataConfig> <dataSource नाम = "ABC" ड्राइवर = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //InconnectionString" उपयोगकर्ता = "उपयोगकर्ता नाम" पासवर्ड = "पासवर्ड" />
<दस्तावेज़ का नाम = "collection_name">
<निकाय नाम = "collection_lookup" क्वेरी = "table_name से id के रूप में unique_key चुनें">
</ संस्था>
</ दस्तावेज>
</ dataCffig>
जुकाइपर के माध्यम से कॉन्फ़िगर करें
सर्वर / स्क्रिप्ट / क्लाउड-स्क्रिप्ट / zkcli.sh -zkhost host1: 2181, host2: 2181 -cmd upconfig -confname configName -confdir सर्वर / सॉल / कॉन्फिगरेशन / फ़ोल्डर /
Http: // host: 8983 / solr / # / collection_name / dataimport // dataimport पर जाएं फिर डीबग की जांच करें और पहले 10 या 20 रिकॉर्ड के साथ जांच करें।
आपको डेटा बहता हुआ दिखाई देगा। चेम्बर !! यदि आप आगे चर्चा करना चाहते हैं तो मैं मदद कर सकता हूं लेकिन मैं यह मान रहा हूं कि मुझे ऐसा करना चाहिए। यह मेरे लिए काम कर रहा है।