Spark #2 : Tarihce

"Dununu bilmeyen, gununu gun edemez" -Lombak Sehidi, 2020


2004, Google Paper
Simplified data processing on large clusters adiyla bir makale yayinliyor Google, sene 2004. Herkes bi sasiriyor. Zaten google'i google yapan en buyuk araclardan bir tanesi da buyuk datalari kolay isleyebilmesi olmustur. Bu paper'da, MapReduce programlama paradigmasini anlatiyorlar. Kendi implementasyonlarindan bahsetmiyorlar ancak bunun C++ ile yapildigi biliniyor ve hicbir zaman open source yapilmadi. 


2006, Yahoo Hadoop
Google paper'i yayinlandiktan sonra Yahoo'daki abiler de okuyor tabi. 'way aq cakallari` diyerek ise girisiyorlar. MapReduce paradigmasini kullanan opensource, Java tabanli bir framework'u hayata geciriyorlar ki ismi de Hadoop.


2009 Phd UC Berkley, Spark
uc sene falan hadoop ile ugrasan big data camiasi, onun da kisitlarini yavas yavas kesfetmeye basliyor. cesitli burun kivirmalar, homurdanmalar basgosteriyor. ilk baslarda bayila bayila MapReduce joblari yazan adamlar offlayip pofflamaya basliyor. Bunu gorenlerden bir kisi, doktora tezi olarak 'Spark: Cluster computing with working sets' adiyla bir makale yayinliyor. Ve boylece Spark'in temelleri atilmis oluyor. 


2013 Apache commons licence
Gel zaman git zaman derken en sonunda spark, Apache lisansina sahip oluyor ve bu noktadan sonra yardirip atararak big data camiasinda en cok contribute goren framework oluyor. Tum dagilmis beyliklari tek bir cati altinda birlestren efsanevi imparator gibi bir havalara burunuyor, pelerinler falan.

Buradan sonrasi malum ama yukaridaki 2 makaleyi okumak lazim ki yolda gezen ameleden farkimiz olsun. Umarim gelecek yazilarda bu makaleleri beraber okuyacagiz. 


Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Python'da Multithreading ve Multiprocessing

Resim
Bu multithreading isini cok karistirdilar.  Thread ve Process Thread ve Process, birbirinden bagimsiz olarak calisabilen (teorik olarak) kod parcaciklaridir.  Aradaki fark, ayni program tarafindan olusturulan threadler ayni hafiza alanina erisebilir. Buna karsilik process kendi basina bagimsiz bir program olarak dusunulebilir, Kendine ait hafiza alani vardir.  Bu da demek oluyor ki, thread'ler kendi aralarinda haberlesebilmek icin ekstra bir efora ihtiyac duymazken, process'leri birbiri ile konusturabilmek icin ekstra birseler (gRPC?) yapmak gerekir. Yukarida ayni program tarafindan olusturulan threadler derken bile, aslinda buradaki program, bir process 'tir. Her process primary thread olarak adlandirilan en azindan 1 adet thread'e sahiptir. (Single threaded tabirini hatirlayalim).  Peki neden birden fazla thread'e ihtiyac duyalim?  Kullanici acisindan, birden fazla process'in ayni anda calistirilbilmesi demek, ayni anda birden fazla uygulamayi calistirabilme
Devamı

Threat Modeling 1

Resim
- Tum modeller yanlistir, bazilari kullanisli. (Ronaldinho, 2024, survivor, Dominican Republic) Nedir? - Modelleme bize bir sistemi gorsellestirme imkani taniyarak, sistemi daha iyi anlamamizi saglar. - Iyi bir model bizim; ne uzerinde calistigimizi,  nelerin yanlis gidebilecegini  ve bizim bu yanlis gidebilecek hususlar hakkinda ne yapabilecegimizi daha iyi anlamamizi saglar. Ne zaman yapilir? - Ne kadar erken baslarsak o kadar iyidir - Penetrasyon testi yapacak olan kisiler de genellikle bizim olusturdugumuz bu treat modelini referans alirlar. - Sprintin bir parcasi olarak yapilabilir. Feature'lar implemente edilirken paralel olarak de treat modelleri olusturulabilir. Nasil yapilir? Bir yazilim muh olarak tasarladigimiz sistemlerin confidentiality , integrity ve availability ozelliklerini maksimumda tutmak bizim gorevimizdir. Threat modeling icin birden fazla yol vardir. Nasil ki programlama dilleri farkli trade-off'lara sahipse ve yerine gore bazilari daha kullanisli ise,
Devamı

Encoding / Decoding

Resim
Atalarin encoding'i Programlar genelde veriyi 2 sekilde kullanir: 1. In-memory : bilgisayar hafizasinda list, dictionary, ya da custom class olarak tutulut. Bu veri yapilari direk olarak CPU tarafindan erisilmek ve manipule edilbilmek uzere optimize edilmis olurlar.  2. Byte array : Datayi diske yazmak istedigimizde ya da network uzerinden transfer etmek istedigimizde, bir sekilde byte dizesi haline getirmemiz gerekir.  Iste hafizada duran verilen byte dizisi haline getirilmesi islemine encoding (marshalling ya da seializasyon da denilir) adi veilir. Byte arayindan tekrar hafiza tiplerine donustumek de decoding olarak adlandirilir. (benze sekilde Unmarshalling veya deseializasyon da denilebili). Peki hafizada tutulan verilei ne sekilde serialize edebiliriz? 1. Dil destekli encoding Mesela python icin pickle, Java icin java.io.Serializable, Ruby icin marshall formatlarinda dil tarafindan desteklenen encoding olanaklari vardir. Bir python class'ini ya da arrayini kolayca pickle&#
Devamı