Ubuntu'da Apache Hive Kurulumu

Bu blogda, Ubuntu'da Apache Hive kurulumu ve Hadoop Hive, Hive sql, Hive veritabanı, Hive sunucusu ve Hive kurulumu ile ilgili kavramları öğreneceğiz.

Apache Hive, Hadoop ekosistemindeki en önemli çerçevelerden biridir ve bu da onu aşağıdakiler için çok önemli hale getirir: . Bu blogda, Ubuntu'da Apache Hive ve Hive kurulumu hakkında bilgi edineceğiz.



Apache Hive nedir?

Apache Hive dağıtılmış depolama sisteminde bulunan büyük veri setlerinin sorgulanmasını ve yönetilmesini kolaylaştıran bir veri ambarı altyapısıdır. Hadoop üzerine inşa edilmiş ve Facebook tarafından geliştirilmiştir. Kovan SQL benzeri bir sorgu dili kullanarak verileri sorgulamanın bir yolunu sağlar. HiveQL (Kovan sorgu Dili).



Dahili olarak, bir derleyici çevirir HiveQL ifadeler Harita indirgeme daha sonra gönderilen işler Hadoop çerçevesi yürütme için.

Hive ve SQL arasındaki fark:

Kovan geleneksel veritabanına çok benziyor SQL Giriş. Ancak, çünkü Kovan dayanır Hadoop ve Harita indirgeme işlemler, birkaç temel fark vardır:



Hadoop uzun ardışık taramalar için tasarlandığından ve Kovan dayanır Hadoop , sorguların çok yüksek bir gecikmeye sahip olmasını beklersiniz. Bu demektir Kovan geleneksel bir RDBMS veritabanından bekleyebileceğiniz gibi çok hızlı yanıt sürelerine ihtiyaç duyan uygulamalar için uygun olmayacaktır.

En sonunda, Kovan okuma tabanlıdır ve bu nedenle, genellikle yazma işlemlerinin yüksek bir yüzdesini içeren işlem işleme için uygun değildir.

bufferedreader java nedir

Ubuntu'da Kovan Kurulumu:

Lütfen yüklemek için aşağıdaki adımları izleyin Apache Hive Ubuntu'da:



Aşama 1: İndir Kovan katranı.

Komut: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

Adım 2: Ayıkla katran dosya.

Komut: tar -xzf apache-hive-2.1.0-bin.tar.gz

Komut: ls

Spread Hive File - Kovan Kurulumu - Edureka

Aşama 3: Düzenleyin '.Bashrc' kullanıcı için ortam değişkenlerini güncellemek için dosya.

Komut: sudo gedit .bashrc

Aşağıdakileri dosyanın sonuna ekleyin:

# HIVE_HOME'u ayarla

dışa aktar HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
dışa aktarma PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

Ayrıca hadoop yolunun da ayarlandığından emin olun.

Değişikliklerin aynı terminalde çalışması için aşağıdaki komutu çalıştırın.

Komut: kaynak .bashrc

4. Adım: Kovan versiyonunu kontrol edin.

linux sistem yöneticisi iş tanımı

Adım 5: Oluşturmak Kovan içindeki dizinler HDFS . Rehber 'depo' kovanla ilgili tablonun veya verilerin saklanacağı konumdur.

Komut:

  • hdfs dfs -mkdir -p / kullanıcı / kovan / depo
  • hdfs dfs -mkdir / tmp

6. Adım: Tablo için okuma / yazma izinlerini ayarlayın.

Komut:

Bu komutta gruba yazma izni veriyoruz:

  • hdfs dfs -chmod g + w / kullanıcı / kovan / depo
  • hdfs dfs -chmod g + w / tmp

7. Adım: Ayarlamak Hadoop yol h ive-env.sh

Komut: cd apache-hive-2.1.0-bin /

Komut: gedit conf / hive-env.sh

Parametreleri aşağıdaki anlık görüntüde gösterildiği gibi ayarlayın.

8. Adım: Düzenle hive-site.xml

Komut: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = JDBC meta deposu için gerçek JDBC bağlantı dizesi. Bağlantıyı şifrelemek / doğrulamak için SSL kullanmak için, bağlantı URL'sinde veritabanına özgü SSL bayrağını sağlayın. Örneğin, postgres veritabanı için jdbc: postgresql: // myhost / db? Ssl = true. hive.metastore.warehouse.dir / user / hive / warehouse, uzak metastore için depo hive.metastore.uris Thrift URI'si için varsayılan veritabanının konumu. Metastore istemcisi tarafından uzak metastore'a bağlanmak için kullanılır. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Driver sınıfı bir JDBC meta deposu için javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory sınıfı jdo kalıcılığını uyguluyor

9. Adım: Varsayılan olarak Hive, Derbi veri tabanı. Derby veritabanını başlatın.

__kendi içinde)

Komut: bin / schematool -initSchema -dbType derbi

10. adım :Başlatmak Kovan.

Komut: kovan

11. adım :Hive kabuğunda birkaç sorgu çalıştırın.

Komut: veritabanlarını göster

Komut: tablo çalışanı oluştur (id dizesi, ad dizesi, bölüm dizesi) satır biçimi sınırlandırılmış alanlar metin dosyası olarak depolanan ‘‘ ile sonlandırıldı

Komut: tabloları göster

Adım 1/2: Çıkmak için Kovan:

Komut: çıkış

Artık Hive kurulumunu tamamladığınıza göre, bir sonraki adım Hive kabuğunda Hive komutlarını denemektir. Dolayısıyla, bir sonraki blogumuz ' HQL'de Örneklerle En İyi Hive Komutları ”, Hive komutlarında ustalaşmanıza yardımcı olacaktır.

İlgili Mesajlar:

Hive Scripts nasıl çalıştırılır?

Hive Komutları

Apache Hive'a Giriş