solr
INDEXIERUNG DER TABELLE HIVE2 IN SOLR MIT SOLR DIH
Suche…
Einführung
Diese Dokumentation bietet eine Möglichkeit zum Herstellen einer Verbindung mit hive mithilfe des SOLR Data Import Handler und zum Indizieren der Daten in SOLR. Dies ist eine interessante Dokumentation, da ich sie nicht über das Internet finden konnte.
Der Handler wickelt im Grunde mehr als 80 Millionen Datensätze ab, was eine starke Infrastruktur mit guten CPUs und Arbeitsspeicher erfordert.
Bemerkungen
Gerne können Sie sich mit uns in Verbindung setzen und wir werden versuchen, so viel wie möglich zu helfen.
Schritte
Wir haben zuerst die Hive2-Gläser bekommen und es durch Java erledigt, um die Konnektivität zu überprüfen. Dann stellten wir fest, dass die Gläser verwendet werden:
- hadoop-common-2.7.0-mapr-1703.jar
- hive-common-2.1.1-mapr-1703-r1.jar
- hive-jdbc-2.1.1-mapr-1703-r1-standalone.jar
Wenn Sie die SOLR Cloud verwenden, müssen diese Jars auf die VM übertragen werden, auf der SOLR installiert ist, und anschließend in solrconfig.xml folgendermaßen referenziert:
Importieren Sie Part in solrconfig.xml
<lib dir = "/ users / path_to_folder_with_jar" regex = ". *. jar" />
Dann ist dies der wichtigste Teil: Ihre Hive-Verbindungszeichenfolge:
Verbindungsteil
<dataConfig> <dataSource name = "ABC" driver = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //....connectionString" user = "Benutzername" password = "password" />
<document name = "collection_name">
<entity name = "collection_lookup" query = "unique_key als ID aus Tabellenname auswählen">
</ entity>
</ document>
</ dataConfig>
Schieben Sie die Konfiguration durch den Zoopeeper
server / scripts / cloud-scripts / zkcli.sh -zkhost host1: 2181, host2: 2181 -cmd upconfig -confname configName -confdir server / solr / configsets / folder /
Gehen Sie zu http: // host: 8983 / solr / # / collection_name / dataimport // dataimport, überprüfen Sie dann das Debugging und prüfen Sie zuerst mit 10 oder 20 Datensätzen.
Sie sehen die Daten fließen. PROST !! Ich kann helfen, wenn Sie weiter diskutieren wollen, aber ich gehe davon aus, dass dies tun sollte. Es arbeitet für mich.