Hadoop 2.0'ı Öğrenmek İçin 4 Pratik Neden

Hadoop 2.0'a yükseltmenin bu 4 nedeni, Hadoop iş piyasası ve sizi büyük iş fırsatlarına açık hale getirerek kariyerinizi hızlandırmanıza nasıl yardımcı olabileceğinden bahsediyor.



Küçükken Star Wars film serisine bayılırdım. O kadar sevdim ki, her birinin bu video kasetlerine sahiptim. Onları defalarca izlerdim. Sonra DVD oynatıcıların zamanı geldi ve bu filmleri tekrar DVD'ye almak zorunda kaldım. Yeni teknolojiyi deneyimlemek ve en sevdiğim filmlerin keyfini çıkarmaya devam etmek istediğim için setin tamamını DVD olarak satın almaktan hiç çekinmedim. Başka bir yeni teknoloji olan Blu-ray ortaya çıkana kadar işler harikaydı. Filmleri daha önce iki kez satın aldığım için hepsini yeniden satın almayı dört gözle beklemiyordum. Bir süredir kendimi 'güncellemek' için çaba sarf etmedim, bu teknoloji olmasaydı gayet iyi olacağımı düşündüm. Ve iyi yaptım. Zaten hayatımı etkilemedi. Ama trendde bir değişiklik görebiliyordum ve filmlerimi birbirleriyle yaptıkları gibi arkadaşlarımla paylaşamadım. Gerçekten dışlanmış hissettim.



Sonunda dışarı çıktım ve filmi Blu-ray olarak aldım. Bunu filmi sevdiğim için değil, video kalitesinin akıllara durgunluk verdiği için hatırlıyorum. Ve hepsinden önemlisi, tüm film setini tek bir Blu-ray Diskte aldım.

Riskler daha büyük olduğu için mesleğimize gelince, güncel kalma ihtiyacı veya dürtüsü en güçlüdür. Oyunun zirvesinde kalmak çok önemli hale geldi.



Hadoop 2.0'ı Öğrenmek İçin 4 Pratik Neden:

Kaçınılmaz olsa da mesleğimizde güncel kalmak hayatımızın önemli bir parçası haline geldi. Kulağa korkutucu gelse de, teknolojiler gerçekten bu kadar hızlı veya şiddetli bir şekilde değişmediğinden endişelenmenize gerek yoktur. Ancak bu teknolojiler ve onlarla yapabileceğimiz şeyler hakkında konuşmalar ve bilgiler giderek görünürlük kazanıyor. İşte güncel kalmanız için bazı nedenler:

# 1: Yakalanmayın

c ++ stl mülakat soruları

Hadoop 2.0



Bir teknolojideki son güncellemeye dikkat etmemek, sizi fara sıkışmış bir geyik gibi görünmenize neden olabilir. Profesyonel yeteneklerinizin tam olarak ışık saçan bir resmi değil. Güncel olmak, mesleki becerileriniz için meslektaşlarınız tarafından saygı görmenizi sağlayacaktır. Öğrendiğiniz her yeni şeyi uygulamaya gerek olmayabilir, ancak güncellemelerin bilincinde olmak zorunludur.

Örneğin, Hadoop'ta bir konuşma olduğunda, bir HTTP proxy sunucusu kullanırken Hadoop 2.5.0'ın kimlik doğrulama geliştirmeleri olduğunu meslektaşlarınıza bildirebilirsiniz. Ve ayrıca Hadoop'un aynı sürümünde, doğrudan Graphite'e yazmak için bir hüküm var.

Kuruluşlar Hadoop'a geçmeyi düşünürken en son güncellemelerden haberdar olmak çok önemli hale geliyor. Ve 'bilmek', kariyerinizde büyük bir fark yaratabilir.

# 2: Rekabetçi Bir Kenara Sahip Olmak

Alanında yetenekli profesyonellere saygı duyulur. Ve güncel kalmak, zirvede olmanın en iyi yoludur. Güncel kalma ihtiyacınız, işinize olan tutkunuzu yansıtır. İşinizde ve sektörünüzde uzmanlık geliştirerek çevrenizdeki insanların güvenini ve saygısını kazanacaksınız. Liderlik açısından bakıldığında, bu paha biçilemez!

Kuruluşunuz hala Hadoop 1.0 ile çalışıyor olsa bile, Hadoop 2'nin en son özelliklerini bilmek, nispeten yeni ve kesinlikle daha iyi olduğu için sizi yolda tutacaktır. Bunu öğrenen ilk kişi olmak, akranlarınız üzerinde size bir avantaj sağlayacaktır.

# 3: Yeni Fırsatlar

Mevcut rolümüzün değişmeye devam etmesi üzücü bir gerçek. Zamanla yeni görevler yapmak için ek sorumluluklar ve fırsatlar gelir. Sektör trendlerinden haberdar olarak, bu fırsatları en iyi şekilde değerlendirebilirsiniz.

Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore Ulusal Laboratuvarı ve daha pek çok şirket, en yeni özelliklerde yetenekli kişileri arıyor. Hadoop 2, YARN gibi.

# 4: Daha Doğru Kararlar Alın

Ekstra bilgiler, bilinçli seçimler yapmanıza ve daha iyi kararlar almanıza olanak tanır. Fırsatları tanımanıza ve kuruluşunuzun stratejisine değer katmanıza yardımcı olacaktır.

Hadoop 2, hızı artıran ve maliyeti düşüren özelliklere sahiptir. Performansı iyileştirmek ve hızı artırmak için seçenekler önermek kesinlikle kuruluşun üretkenliğini artırabilir. İşte Hadoop 2'nin kuruluşa fayda sağlayacak ve bunların kariyerinizi de artıracağını öneren bazı özellikleri.

  • Microsoft Windows'da Hadoop çalıştırma desteği

  • YARN Dağıtılmış Önbellekte HDFS aracılığıyla MapReduce ikili dosyalarının basitleştirilmiş dağıtımı.

  • Uygulama Geçmişi Sunucusu ve Uygulama Zaman Çizelgesi Sunucusu ile YARN'de yeni uygulamalar için gelişmiş destek

  • HDFS'de eksiksiz HTTPS desteği

  • YARN’ın zaman çizelgesi deposu için Kerberos entegrasyonu.

  • HDFS'de Heterojen Depolama hiyerarşisi desteği.

  • Merkezi yönetim ve yönetime sahip HDFS verileri için bellek içi önbellek.

  • YARN Dağıtılmış Önbellekte HDFS aracılığıyla MapReduce ikili dosyalarının basitleştirilmiş dağıtımı.

Güncel kalmak için pratik nedenlerden daha fazlası var Teknik nedenler de var. Hadoop, kuruluşlar için avantajlı sayısız özelliğe sahiptir. Bunlara derinlemesine bakmak, size avantajlı olanların ne olduğu konusunda net bir fikir verecektir.

Hadoop'taki en son güncelleme nedir?

Her ürün çeşitli sürüm aşamalarından geçer ve kendisinin çeşitli sürümlerini bulur. Hadoop bir istisna değildir ve Hadoop 2.0 ile gelmiştir. Apache Vakfı, Hadoop 2.1.0, Hadoop 2.4.0 gibi sonraki Hadoop sürümlerini geliştirdi ve Eylül 2014'te yayınlanan en son sürüm olan Hadoop 2.5.1'e ulaştı.

Hadoop 2 neden yayınlandı?

Yeni sürümle birlikte ek özellikler ve düzeltilmiş hatalar geliyor. Dolayısıyla, Hadoop'un belirli bir sürümünü her kullandığınızda ve belirli bir özelliğin eklenebileceğini veya bazı hataların düzeltilmesi gerektiğini düşündüğünüzde, Apache kuruluşundaki adamlara bunu bildirirsiniz. Bu adamlar sırayla üzerinde çalışıyor ve bir sonraki sürümde size daha iyi bir ürün veriyor.

Hadoop 2 - Sadece Bir Sayı Değil

Hadoop 2, Hadoop'un yalnızca en son sürümü değildir. Genel olarak, ikinci nesil bir mimaridir. Hadoop distribütörü Hortonworks'ün kurucusu ve mimarı Arun Murthy, Hadoop'u toplu işlemenin ötesine ve gerçek zamanlı analitik dünyasına taşımak için gereken yeniden mühendislik miktarının önemli olması nedeniyle bu ayrımın önemli olduğu konusunda ısrar ediyor.

Hadoop 2.0'ın selefi Hadoop 1.0'dan ne kadar farklı olduğunu tartışalım. Açıkçası, daha sonra yayınlanan sürüm, önceki sürümden daha üstün olacak. Aşağıdakiler, Hadoop 2.0'da Hadoop 1.x'e göre dört büyük iyileştirmedir:

  • HDFS Federation - NameNode'un yatay ölçeklenebilirliği

  • NameNode Yüksek Kullanılabilirlik - NameNode artık Tek Nokta Arıza Değil

  • YARN - MPI, GIRAPH gibi MapReduce dışı uygulamaları kullanarak HDFS'de bulunan Terabayt ve Petabaytlarca veriyi işleme yeteneği

  • Kaynak Yöneticisi - Aşırı yüklenmiş JobTracker'ın (kaynak yönetimi ve iş planlama / izleme) iki ana işlevini iki ayrı arka plan yordamına ayırır: küresel Kaynak Yöneticisi ve uygulama başına ApplicationMaster

Kapasite Zamanlayıcı (Hadoop'ta Çoklu kiracılık desteğini etkinleştirin), Veri Anlık Görüntüsü, Windows Desteği, NFS erişimi gibi ek özellikler vardır ve Sektörde Büyük Veri sorunlarını çözmek için Hadoop'un daha fazla benimsenmesini sağlar.

Hadoop 2.X Vs Hadoop 1.X

Küçük bir karşılaştırma yapalım ve Hadoop 2.0'ın hangi yönlerden daha iyi ve Hadoop 1.0'dan farklı olduğunu görelim

Hadoop 2 neden Hadoop 1.0'a tercih edilir?

Hadoop 2.0, Hadoop ekosistemindeki ilgili teknolojilere fayda sağlayan performans iyileştirmeleri sunar. HDFS'nin ve ikinci nesil mimarinin (YARN) çığır açan özelliklerinin yanı sıra, Hadoop 2'yi Hadoop 1.0'a tercih etmenin daha da büyük nedenleri var:

  • Hadoop 2'de artık dil kısıtlaması yoktur. Yani, çok çeşitli profesyoneller artık Hadoop'u kullanabilir.

  • Hadoop 2 ile MapReduce kodlayıcı eksikliği gibi engellerin üstesinden gelinir.

  • Hadoop 1.0'dan 2 kat daha hızlı

  • Mevcut donanımla 2 kat daha fazla yatırım getirisi.

  • YARN ile uygulama programlama arayüzü çok daha açık ve esnektir.

  • Hadoop 2, Hadoop'u Büyük Veri projelerinde kullanma olanaklarını genişletir.

    Java için tutulmayı ayarla
  • Hadoop 2 ile geliştiriciler artık, Hadoop’un önceki toplu işlem kapsamının ötesinde çok çeşitli veri sıkıştırma görevleri gerçekleştirebilirler.

  • Bilgi yöneticileri için yeni fırsatlar sunar ve önceki sürümlerdeki eksiklikleri giderir.

  • Bu yeni sürüm, aynı Hadoop kümesinde birden çok iş yükü çalıştırma gibi benzersiz bir özelliğe sahiptir.

  • Hadoop artık tek bir özellikle sınırlı değil. Uygulaması artık HDFS ve MapReduce'un ötesine uzanıyor.

İPLİK'in Temel Faydaları

YARN'ın ikinci nesil bir mimari olduğunun farkındayız, onu bu kadar harika yapan şeyin ne olduğunu görelim.

Hadoop 2 Becerilerine Talep

Kuruluşlar artık Hadoop 2'yi başlatıyor veya deniyorlar. Sonuç olarak, Hadoop 2'de yetenekli profesyonellere ihtiyaç duyulmaktadır. Birçok kuruluş, Hadoop ile çalışacak kişileri şirket içinde aramaya başlamıştır. YARN'ın yükselişte olduğuna ve sonunda MapReduce becerisine olan talebin yerini alacağına dair açık göstergeler var.

Hadoop becerileri için mevcut ve öngörülen talebe ilişkin bazı görüşler şunlardır:

  • Gartner'dan analistlere göre, Hadoop 2, dünyanın dört bir yanındaki büyük işletmelerin Hadoop'u Büyük Veri yönetimlerinde oyunun kurallarını değiştiren biri olarak gördüğü için hayati bir gelişme.

  • Bloor grubundan Eric Kavanagh'a göre Hadoop 2.0, Büyük Veri ile uğraşmak isteyen bilgi çalışanları arasında ilgi gördü.

  • Hadoop 2.0'ın benimsenmesi artmaya devam ediyor ve şimdi olgunluk aşamasına giriyor.

  • Kuruluşlar, YARN'ın faydalarının farkındadır ve bundan heyecan duymaktadır.

Hadoop 2.0 / YARN için şu ülkelerdeki iş ilanlarının anlık görüntüsü Indeed.com

Hadoop 2'ye kimler geçiyor ya da zaten var mı?

Yahoo:

Yahoo! , Hadoop'un YARN (0.23.x) uyguladığı her şeyin lideri. Murthy'ye göre Yahoo’nun 35.000 düğümlü kümesi, YARN öncesindeki 50-60 işle karşılaştırıldığında artık günde 130-150 iş işliyor.

Murthy, mükemmel performanstan bahsederken, '35.000 ila 40.000 düğümden 2 kat daha fazlasına sahipseniz, bu olağanüstü' diyor. Ayrıca, 'Bir CIO'ya yazılımınızı Hadoop 1'den Hadoop 2'ye yükseltirseniz, işlerinizde 2 kat daha fazla iş hacmi artışı göreceğinizi anlatmak oldukça ilgi çekici bir hikaye.'

eBay:

eBay, verilerin petabayt cinsinden olduğu sektördeki en büyük Hadoop kümelerinden birine sahiptir. Ayrıca kümelerini Hadoop 2'ye taşıdılar.

Sonuç:

Hadoop 2'nin olgunlaşması ve uygulaması daha kolay olmasıyla, şüphecileri bile ikna ediyorlar ve giderek daha fazla kuruluş Hadoop 2.0'a geçiyor. 1.x sürümlerinden kaçınmak için geçerli nedenler vardır. Ancak Hadoop 2 ile inanmayanlar bile çok çeşitli kullanımlar için kullanılabileceği için düşünüyor. Hadoop 2.0'ı öğrenip Büyük Veri üzerinde hesaplamalar yapmak için uygulayarak, teknik olarak gelişmiş ve finansal olarak ödüllendirici bir kariyere kapıları açacaksınız.

Bizim için bir sorunuz mu var? Lütfen yorumlar bölümünde bunlardan bahsedin, size geri döneceğiz.

İlgili Mesajlar:

Hadoop eğitimi ne kadar önemlidir?