solr
УКАЗАНИЕ ТАБЛИЦЫ HIVE2 В СОЛНЕЧНОМ ИСПОЛЬЗОВАНИИ SOLR DIH
Поиск…
Вступление
Эта документация обеспечивает способ подключения к улью с использованием SOLR Data Import Handler и индексация данных в SOLR. Это интересная документация, потому что я не мог найти ее через Интернет.
Обработчик в основном обрабатывает более 80 миллионов записей, что означает сильную инфраструктуру с хорошими процессорами и память, безусловно, необходима.
замечания
Пожалуйста, не стесняйтесь обращаться к нам, и мы постараемся помочь как можно больше.
меры
Сначала мы получили банку hive2 и запустили ее через java для проверки возможности подключения. Затем мы поняли, что используемые банки:
- Hadoop-синфазного 2.7.0-mapr-1703.jar
- улья общего 2.1.1-mapr-1703-r1.jar
- улья-2.1.1 JDBC-mapr-1703-r1-standalone.jar
Если вы используете SOLR Cloud, эти банки должны быть переданы на виртуальную машину, где установлен SOLR, а затем ссылаются на файл solrconfig.xml следующим образом:
Импортировать часть в файл solrconfig.xml
<lib dir = "/ users / path_to_folder_with_jar" regex = ". *. jar" />
Тогда это самая важная часть: ваша строка подключения к ульям:
Часть подключения
<dataConfig> <dataSource name = "ABC" driver = "org.apache.hive.jdbc.HiveDriver" url = "jdbc: hive2: //....connectionString" user = "username" password = "password" />
<document name = "collection_name">
<entity name = "collection_lookup" query = "select unique_key как id from table_name">
</ entity>
</ document>
</ dataConfig>
Нажать конфиг через zookeeper
server / scripts / cloud-scripts / zkcli.sh -zkhost host1: 2181, host2: 2181 -cmd upconfig -confname configName -confdir server / solr / configsets / folder /
Перейдите по адресу http: // host: 8983 / solr / # / collection_name / dataimport // dataimport, затем проверьте debug и сначала проверьте 10 или 20 записей.
Вы увидите, что данные текут. CHEERS !! Я могу помочь, если вы хотите обсудить дальше, но я предполагаю, что это должно делать. Он работает для меня.