solr
INDEXING HIVE2-TAFEL IN SOLR MET SOLR DIH
Zoeken…
Invoering
Deze documentatie biedt een manier om verbinding te maken met de component met behulp van de SOLR Data Import Handler en om de gegevens in SOLR te indexeren. Dit is een interessante documentatie omdat ik het niet via internet kon vinden.
De handler verwerkt in principe meer dan 80 miljoen records, wat betekent dat een sterke infrastructuur met goede CPU's en geheugen absoluut nodig is.
Opmerkingen
Neem gerust contact met ons op en we zullen proberen zoveel mogelijk te helpen.
Stappen
We kregen eerst de hive2-potten en zorgden ervoor dat deze werkte via Java om de connectiviteit te controleren. Toen realiseerden we ons dat de te gebruiken potten zijn:
- Hadoop-common-2.7.0-mapr-1703.jar
- bijenkorf-common-2.1.1-mapr-1703-r1.jar
- bijenkorf-jdbc-2.1.1-mapr-1703-R1-standalone.jar
Als u SOLR Cloud gebruikt, moeten deze potten worden overgebracht naar de VM waar SOLR is geïnstalleerd en vervolgens als volgt naar solrconfig.xml worden verwezen:
Onderdeel importeren in solrconfig.xml
<lib dir = "/ users / path_to_folder_with_jar" regex = ". *. jar" />
Dan is dit het belangrijkste onderdeel: je bijenkorf-verbindingsreeks:
Verbinding deel
<dataConfig> <dataSource name = "ABC" driver = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //....connectionString" user = "gebruikersnaam" wachtwoord = "wachtwoord" />
<document name = "collection_name">
<entity name = "collection_lookup" query = "selecteer unieke sleutel als id uit tabelnaam">
</ entiteit>
</ document>
</ dataConfig>
Push config door zookeeper
server / scripts / cloud-scripts / zkcli.sh -zkhost host1: 2181, host2: 2181 -cmd upconfig -confname configName -confdir server / solr / configsets / folder /
Ga naar http: // host: 8983 / solr / # / collection_name / dataimport // dataimport controleer vervolgens debug en controleer eerst met 10 of 20 records.
U zult de gegevens zien stromen. CHEERS !! Ik kan helpen als je verder wilt discussiëren, maar ik neem aan dat dit zou moeten doen. Het werkt voor mij.