Sayısal çağını süren Dünyamızda tıpkı diğer araçlar gibi iletişim de hızlanıyor, hızla değişiyor, gelişiyor. Dünya ekonomisi bilişim ağları üzerinden yeniden hayat buluyor. İletişim ağlarında git gide daha fazla hizmet yer alıyor. Görünen o ki daha da fazlalaşacak. İşte bu yüzden bilişim sistemleri daha önem kazanıyor daha fazla yatırım yapılıyor. Yoksa içinde olduğumuz sistemde karlılığı yüksek olmayan herhangi bir teknolojiye yatırım yapılması gibi bir durum söz konusu değil. Bu gelişimler beraberinde yeni sorunları da getiriyor. Artık geleneksel çözümleme sistemlerinin yavaş yavaş terk edilmeye başladığı bir çağdayız.
Sitemizde yayınlanan son iki makaleden de anlaşılacağı gibi değişen, evrilen iletişim araçları, git gide büyüyen veritabanlarını ortaya çıkartıyor. Petabyte seviyesine erişen bu devasa boyuttaki veritabanları ya da veri ambarları bir hazine gibi görünse de bu hazineden anlamlı bilgiler çıkartmak için yeni tekniklere, yazılımlara, sistemlere ve dahi beyinlere ihtiyaç var.
Bu araçlar olmadan bu veriler, kaotik bir yığından başka bir şey değil. Artık anketlerin, piyasa tahminlerinin, gerçek ortam takip ederek yapılan öngörülerin sonu geliyor gibi. Yeni iletişim araçlarının yarattığı yeni ekonomi, bu veritabanlarının çözümlenmesinden çıkartılacak sonuçlara göre şekillenmek zorunda. Çünkü bu veriler gerçek ve tüm veri evrenini kapsayacak düzeye eriştiler. Bu durumda anket yaparak belirli bir kısmı temsili varsaymaya ya da tüm evreni kapsayacak büyük bütçeli araştırmalar yapmaya pek gerek kalmayacak.
Şüphesiz bu işin iki yüzü var. Birincisi yukarıda bahsettiğimiz veri çözümleme meselesi, ikincisi ise kişisel bilgi güvenliği. Bu devasa boyutlara ulaşan veritabanları, sizin, bizim, hepimizin her gün bilgisayar başında yaptığı etkinliklerin, tıklamalarının, alışverişlerin, sayfada durma sürelerinin, izlediği video, beğendiği ya da paylaştığı iletilerin sonucu oluşuyorlar. Yani şu bir gerçek ki ne yaparsak yapalım takipteyiz. Tabii ki takibi zorlaştırmak için yöntemler var. Ama dünyanın büyük bir kısmı bu takipten habersiz ya da umursamıyor. İş böyle olunca sistemin bu yönde gelişmesi için bir engel kalmıyor doğal olarak.
Bu bilgilerden yola çıkarak bilişim dünyasında yer edinilebilecek alanlardan birinin de büyük veri çözümleyicisi ya da benzeri işler olduğu söylenebilir. Bu tür bir işte uzman olmak için gelişmeleri yakından takip etmek, gerekirse bu çözümleme araçları için eğitim almak şart. Şimdilik ülkemizde çok gündemde olmayan bu sistemler ileride maliyetlerinin de düşmesiyle birlikte daha gözde olacaklar ve hazırlıklı olan bilişimciler emeklerinin karşılığını görecekler.
Örnek olarak Bilginç’in verdiği Hortonworks eğitimlerini gösterebiliriz. Hortonworks merkezi Palo Alto, California’da olan bir firma. Firmanın ilgi alanı Apache Hadoop’un desteğiyle oluşturdukları bir çatı ile dağıtık sunucu kümelerindeki büyük veriler üzerinde işlem yapmak. Hortonworks 2011 yılında Yahoo! ve Benchmark Capital’in 23 milyon dolar desteğiyle kurulan bağımsız bir firma. Firmanın ismi Horton Hears a Who! kitabında yer alan fil Horton’dan geliyor. Hortonworks Veri Platform’u Apache Hadoop’un içine yerleşiyor ve devasa boyuttaki verileri saklamak, işlemek ve çözümlemek için kullanılıyor. Platform bir çok kaynaktan ve bir çok çeşitteki veriyle çalışabilmek üzere tasarlanmış. Platform birçok Apache Hadoop ürününün içinde çalışabilir. Bunların içinde Hadoop Dağıtık Dosya Sistemi (HDFS), MapReduce, Pig, Hive, HBase ile Zookeeper ve bileşenleri de bulunuyor[1].
Hortonworks, sosyal medya, web sitesi tıklamaları, sunucu kayıtları, makine ve algılayıcı verileri, konum verileri üzerinden tekil ya da birleşik çözümlemeler yaparak firmaların gelecekteki yordamlarını belirlemesine yardımcı oluyor[2]. Firmanın müşterileri arasında Ebay, Spotify, Samsung, Western Digital gibi tanıdık isimler var[3]. Firmanın sitesinde 2015 yılına kadar dünyada saklanan verilerin %50’sinin Apache Hadoop üzerinde çalışan Hortonworks gibi platformlar ile çözümleneceği iddiası yer alıyor[4].
İddia göz önüne alındığında Hortonworks öğrenmenin bilişim dünyası içinde nasıl önem arz edeceğini öngörmek zor değil. Fakat veri çözümleyicisi olabilmek sadece çözümleme sistemlerini öğrenmekle değil aynı zamanda veri kaynakların özelliklerine de hâkim olmayı, duruma göre market bilgisi ve dahi gelen verileri sistemden gelen yorumların ötesinde değerlendirme yetisi gerektiriyor. Bu anlamda disiplinlerarası bir iş kolu. Eğer bu yönde ilerlemeyi düşünüyorsanız sistemi öğrenmekle birlikte çalışacağınız sektördeki gelişmelere ve hatta kişisel gelişiminize de önem vermeniz şart.
[1] http://en.wikipedia.org/wiki/Hortonworks
[2] http://hortonworks.com/use-cases/
[3] http://hortonworks.com/customers/
[4] http://hortonworks.com/why-hortonworks-for-hadoop/
Bu Makaleyi Paylaş Twitter Facebook Google
Etiketler: Büyük Veri, Hortonworks
