Airflow Idempotency

Airflow tasklarina database transaction'lari gibi gormek gerekir. Hicbir zaman yarim output ortaya koymayiniz ve her calistiginda ayni input icin ayni outputu verecek sekilde (idempotent) tasarlayiniz. Neden? Cunku bu task fail edebilir ve tekrar calisabilir, bu durumda:

1. INSERT kullanmayin bunun yerinde UPSERT kullanin (eger ki database islemi yapiliyor ise task icerisinde)

2. Sadece belirli bir partition'a yazin veya partition'dan okuyun. Sakin ola ki en son guncel datayi okuyayim demeyin. Bir airflow taskinin ne zaman calisacagi garanti edilemez. Yani farzi misal 1 ay sonra bir farkettiniz ki aslinda bir ETL job'unda bug var. Bu sefer tum gecmisi backfill etmeniz gerekecek. Bu durumda task icerisinde enson datayi oku derseniz olay patlar. Bunu yerine executin_data argumani kullanilmalidir ki Airflow backfill ederken verilen bir tarih icin calisan dag gerekli partition'lari okuyabilsin / yazabilsin. 

Ozetle bir dag'i verilen argumanlar icin 50 kere de calistirsaniz, sonucataki sistem state'i ayni olmasi gerekir. 









Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Python'da Multithreading ve Multiprocessing

Resim
Bu multithreading isini cok karistirdilar.  Thread ve Process Thread ve Process, birbirinden bagimsiz olarak calisabilen (teorik olarak) kod parcaciklaridir.  Aradaki fark, ayni program tarafindan olusturulan threadler ayni hafiza alanina erisebilir. Buna karsilik process kendi basina bagimsiz bir program olarak dusunulebilir, Kendine ait hafiza alani vardir.  Bu da demek oluyor ki, thread'ler kendi aralarinda haberlesebilmek icin ekstra bir efora ihtiyac duymazken, process'leri birbiri ile konusturabilmek icin ekstra birseler (gRPC?) yapmak gerekir. Yukarida ayni program tarafindan olusturulan threadler derken bile, aslinda buradaki program, bir process 'tir. Her process primary thread olarak adlandirilan en azindan 1 adet thread'e sahiptir. (Single threaded tabirini hatirlayalim).  Peki neden birden fazla thread'e ihtiyac duyalim?  Kullanici acisindan, birden fazla process'in ayni anda calistirilbilmesi demek, ayni anda birden fazla uygulamayi calistirabilme
Devamı

Threat Modeling 1

Resim
- Tum modeller yanlistir, bazilari kullanisli. (Ronaldinho, 2024, survivor, Dominican Republic) Nedir? - Modelleme bize bir sistemi gorsellestirme imkani taniyarak, sistemi daha iyi anlamamizi saglar. - Iyi bir model bizim; ne uzerinde calistigimizi,  nelerin yanlis gidebilecegini  ve bizim bu yanlis gidebilecek hususlar hakkinda ne yapabilecegimizi daha iyi anlamamizi saglar. Ne zaman yapilir? - Ne kadar erken baslarsak o kadar iyidir - Penetrasyon testi yapacak olan kisiler de genellikle bizim olusturdugumuz bu treat modelini referans alirlar. - Sprintin bir parcasi olarak yapilabilir. Feature'lar implemente edilirken paralel olarak de treat modelleri olusturulabilir. Nasil yapilir? Bir yazilim muh olarak tasarladigimiz sistemlerin confidentiality , integrity ve availability ozelliklerini maksimumda tutmak bizim gorevimizdir. Threat modeling icin birden fazla yol vardir. Nasil ki programlama dilleri farkli trade-off'lara sahipse ve yerine gore bazilari daha kullanisli ise,
Devamı

Encoding / Decoding

Resim
Atalarin encoding'i Programlar genelde veriyi 2 sekilde kullanir: 1. In-memory : bilgisayar hafizasinda list, dictionary, ya da custom class olarak tutulut. Bu veri yapilari direk olarak CPU tarafindan erisilmek ve manipule edilbilmek uzere optimize edilmis olurlar.  2. Byte array : Datayi diske yazmak istedigimizde ya da network uzerinden transfer etmek istedigimizde, bir sekilde byte dizesi haline getirmemiz gerekir.  Iste hafizada duran verilen byte dizisi haline getirilmesi islemine encoding (marshalling ya da seializasyon da denilir) adi veilir. Byte arayindan tekrar hafiza tiplerine donustumek de decoding olarak adlandirilir. (benze sekilde Unmarshalling veya deseializasyon da denilebili). Peki hafizada tutulan verilei ne sekilde serialize edebiliriz? 1. Dil destekli encoding Mesela python icin pickle, Java icin java.io.Serializable, Ruby icin marshall formatlarinda dil tarafindan desteklenen encoding olanaklari vardir. Bir python class'ini ya da arrayini kolayca pickle&#
Devamı