solr
INDEXING HIVE2-TABELL I SOLR ANVÄNDNING AV SOLR DIH
Sök…
Introduktion
Denna dokumentation ger ett sätt att ansluta till hive med hjälp av SOLR Data Import Handler och indexera data i SOLR. Detta är en intressant dokumentation eftersom jag inte kunde hitta den via internet.
Handlaren hanterar i princip mer än 80 miljoner poster vilket innebär att en stark infrastruktur med bra processorer och minne behövs definitivt.
Anmärkningar
Vänligen kontakta oss så försöker vi hjälpa till så mycket som möjligt.
Steg
Vi fick hive2-burkarna först och fick det att fungera genom java för att kontrollera anslutningen. Då insåg vi att burkarna som ska användas är:
- Hadoop-common-2.7.0-mapr-1703.jar
- bikupa-common-2.1.1-mapr-1703-r1.jar
- avvecklings jdbc-2.1.1-mapr-1703-r1-standalone.jar
Om du använder SOLR Cloud ska dessa burkar överföras till VM där SOLR är installerat och refereras sedan i solrconfig.xml så här:
Importera del i solrconfig.xml
<lib dir = "/ users / path_to_folder_with_jar" regex = ". *. jar" />
Då är detta den viktigaste delen: Din bikupanslutningssträng:
Anslutningsdel
<dataConfig> <dataSource name = "ABC" driver = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //....connectionString" user = "användarnamn" lösenord = "lösenord" />
<document name = "collection_name">
<enhet name = "collection_lookup" query = "välj unik_nyckel som id från tabellnamn">
</ enhet>
</ document>
</ dataConfig>
Tryck på config genom zookeeper
server / scripts / cloud-scripts / zkcli.sh -zkhost host1: 2181, host2: 2181 -cmd upconfig -confname configName -confdir server / solr / configsets / folder /
Gå till http: // host: 8983 / solr / # / collection_name / dataimport // dataimport och kontrollera sedan felsökning och kontrollera först med 10 eller 20 poster.
Du kommer att se data flyta. SKÅL !! Jag kan hjälpa om du vill diskutera vidare, men jag antar att det borde göra. Det fungerar för mig.