solr
INDEXING HIVE2 TABLE DANS SOLR À L'AIDE DE SOLR DIH
Recherche…
Introduction
Cette documentation fournit un moyen de se connecter à la ruche à l'aide du gestionnaire d'importation de données SOLR et d'indexer les données dans SOLR. C'est une documentation intéressante car je ne l'ai pas trouvée sur Internet.
Le gestionnaire gère en principe plus de 80 millions d’enregistrements, ce qui signifie qu’une infrastructure solide avec de bons processeurs est nécessaire.
Remarques
N'hésitez pas à nous contacter et nous essaierons de vous aider autant que possible.
Pas
Nous avons d'abord obtenu les jarres ruche2 et l'avons fait fonctionner via Java pour vérifier la connectivité. Ensuite, nous avons réalisé que les pots à utiliser sont:
- hadoop-common-2.7.0-mapr-1703.jar
- ruche-commune-2.1.1-mapr-1703-r1.jar
- ruche-jdbc-2.1.1-mapr-1703-r1-standalone.jar
Si vous utilisez SOLR Cloud, ces fichiers doivent être transférés sur la machine virtuelle sur laquelle SOLR est installé, puis référencés dans solrconfig.xml comme ceci:
Importer une partie dans solrconfig.xml
<lib dir = "/ users / path_to_folder_with_jar" regex = ". *. jar" />
Alors c'est la partie la plus importante: Votre chaîne de connexion ruche:
Partie connexion
<dataConfig> <dataSource name = "ABC" driver = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //....connectionString" user = "username" password = "mot de passe" />
<document name = "nom_collection">
<entity name = "collection_lookup" query = "sélectionnez unique_key comme identifiant de la table_name">
</ entité>
</ document>
</ dataConfig>
Poussez la configuration via zookeeper
server / scripts / cloud-scripts / zkcli.sh -zkhost host1: 2181, hôte2: 2181 -cmd upconfig -confname configName -confdir server / solr / configsets / folder /
Accédez à http: // hôte: 8983 / solr / # / nom_collection / dataimport // import_données puis vérifiez le débogage et vérifiez d'abord avec 10 ou 20 enregistrements.
Vous verrez les données circuler. À VOTRE SANTÉ !! Je peux vous aider si vous voulez discuter davantage, mais je suppose que cela devrait être le cas. Ça marche pour moi.