Spark #12 : Kay-value metodlari


Evet pekcok transformasyonu gorduk, bircok aksyionu tanidik. Ancak bazi durumlarda islemleri optimize etmek icin kay-value pair'lerinden faydalanabiliyoruz. 

Pair RDD'ler uzerinde uygulanabilecek ekstra metotlar su sekildedir:

collectAsMap
Normal siradan collect gibi ama key-val'lerden bir map (dictionary) olusturuyor.

mapValues / flatMapValues
sadece value tarafindan islem goren map fonksyonu.

reduceByKey
Ayni key'e sahip elemanlar uzerinde bir reduce operasyonu calistiriliyor. Taa ilk bastaki word count orneginde bu metot ile ayni kelimeden metin icerisinde kac tane gectigini hesaplamistik. Tekrardan bir ornek yaparsak,

Ayni key'e sahip olan elemanlar tek bir partition'a sigmiyor olabilir. Hatta ayni makine uzerinde bile olmayabilir. Bu durumda bir all-to-all operasyon ile data shuffle edilir ve ayni key'e sahip elemanlar tum partitionlar'dan okunarak reduce edilir. 

foldByKey / aggregateByKey
fold ve aggregate metotlari gibi olsa da key ile gruplanmis halleri gini dusunulebilir. Ayrica fold ve aggergate birer action iken, bu metotlar birer transformasyondur. Shuffle gerektirme ihtimalleri vardir. 

combineByKey
Yukaridaki tum metotlarin atasi pasasi budur. Ancak cogu zaman bu derece bir abstract metot ihtiyac dahilinde degildir. 

join
2 RDD'yi ayni sql'de iki tabloyu join eder gibi join etmek mumkun. Cok basit bir ornek ile:

scala> val t = sc.parallelize(Seq(("a", 1), ("a", 2), ("a", 3), ("b", 5), ("c", 6)))
t: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> val q = sc.parallelize(Seq(("a", 12), ("b", 99)))
q: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[3] at parallelize at <console>:24

scala> t.join(q).collect
res2: Array[(String, (Int, Int))] = Array((a,(1,12)), (a,(2,12)), (a,(3,12)), (b,(5,99)))

Burada dikkatimizi ceken sey, default olarak inner join kullanilmasidir. Yani her iki RDD'de de olan elemanlardan olusan bir sonuc elde ediyoruz. Bunun yaninda fullOuterJoin, leftOuterJoin, rightOuterJoin gibi seceneklerimiz de mevcut. (bunlar da birer metot)

cogroup / groupWith
Bu da RDD'leri key'ler uzerinden birlestiren bir metot. Ayni key'e sahip olan elemanlar ayni satirda gruplaniyor. Yukaridaki ornekte kullandigimiz t ve q RDD'leri uzerinden :

scala> t.cogroup(q).collect
res3: Array[(String, (Iterable[Int], Iterable[Int]))] = Array((a,(CompactBuffer(1, 2, 3),CompactBuffer(12))), (b,(CompactBuffer(5),CompactBuffer(99))), (c,(CompactBuffer(6),CompactBuffer())))

Buradaki CompactBuffer ise array tarzindan bir veri tipi. Yani sonuc olarak iki RDD uzerinde bulunan tum key'leri barindiran ve her bir key icin iki RDD'nin de katkilarini ayri ayri (her satir) gruplayan bir sonuc elde ediyoruz. 





Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Python'da Multithreading ve Multiprocessing

Resim
Bu multithreading isini cok karistirdilar.  Thread ve Process Thread ve Process, birbirinden bagimsiz olarak calisabilen (teorik olarak) kod parcaciklaridir.  Aradaki fark, ayni program tarafindan olusturulan threadler ayni hafiza alanina erisebilir. Buna karsilik process kendi basina bagimsiz bir program olarak dusunulebilir, Kendine ait hafiza alani vardir.  Bu da demek oluyor ki, thread'ler kendi aralarinda haberlesebilmek icin ekstra bir efora ihtiyac duymazken, process'leri birbiri ile konusturabilmek icin ekstra birseler (gRPC?) yapmak gerekir. Yukarida ayni program tarafindan olusturulan threadler derken bile, aslinda buradaki program, bir process 'tir. Her process primary thread olarak adlandirilan en azindan 1 adet thread'e sahiptir. (Single threaded tabirini hatirlayalim).  Peki neden birden fazla thread'e ihtiyac duyalim?  Kullanici acisindan, birden fazla process'in ayni anda calistirilbilmesi demek, ayni anda birden fazla uygulamayi calistirabilme
Devamı

Threat Modeling 1

Resim
- Tum modeller yanlistir, bazilari kullanisli. (Ronaldinho, 2024, survivor, Dominican Republic) Nedir? - Modelleme bize bir sistemi gorsellestirme imkani taniyarak, sistemi daha iyi anlamamizi saglar. - Iyi bir model bizim; ne uzerinde calistigimizi,  nelerin yanlis gidebilecegini  ve bizim bu yanlis gidebilecek hususlar hakkinda ne yapabilecegimizi daha iyi anlamamizi saglar. Ne zaman yapilir? - Ne kadar erken baslarsak o kadar iyidir - Penetrasyon testi yapacak olan kisiler de genellikle bizim olusturdugumuz bu treat modelini referans alirlar. - Sprintin bir parcasi olarak yapilabilir. Feature'lar implemente edilirken paralel olarak de treat modelleri olusturulabilir. Nasil yapilir? Bir yazilim muh olarak tasarladigimiz sistemlerin confidentiality , integrity ve availability ozelliklerini maksimumda tutmak bizim gorevimizdir. Threat modeling icin birden fazla yol vardir. Nasil ki programlama dilleri farkli trade-off'lara sahipse ve yerine gore bazilari daha kullanisli ise,
Devamı

Encoding / Decoding

Resim
Atalarin encoding'i Programlar genelde veriyi 2 sekilde kullanir: 1. In-memory : bilgisayar hafizasinda list, dictionary, ya da custom class olarak tutulut. Bu veri yapilari direk olarak CPU tarafindan erisilmek ve manipule edilbilmek uzere optimize edilmis olurlar.  2. Byte array : Datayi diske yazmak istedigimizde ya da network uzerinden transfer etmek istedigimizde, bir sekilde byte dizesi haline getirmemiz gerekir.  Iste hafizada duran verilen byte dizisi haline getirilmesi islemine encoding (marshalling ya da seializasyon da denilir) adi veilir. Byte arayindan tekrar hafiza tiplerine donustumek de decoding olarak adlandirilir. (benze sekilde Unmarshalling veya deseializasyon da denilebili). Peki hafizada tutulan verilei ne sekilde serialize edebiliriz? 1. Dil destekli encoding Mesela python icin pickle, Java icin java.io.Serializable, Ruby icin marshall formatlarinda dil tarafindan desteklenen encoding olanaklari vardir. Bir python class'ini ya da arrayini kolayca pickle&#
Devamı