Sbt #3 : Dependency Yonetimi

 Bu postumuzda sbt ile dependency'ler nasil manage edilir (konustugumz dile bak) konusunu isleyecegiz. Sub-projelerin birbirine depend etmesi soz konusu oldugu gibi 3rd party library kullanimina da deginecegiz. 

3rd Party Library
Daha once sayisal loto tahmin uygulamasi yapmistik. Simdi buna bir ek yaparak, doviz kurlarini da ekleyecegiz. Bunun icin http request yapmamizi saglayacak scala-request kutuphanesini projeye ekliyoruz. buid.sbt dosyasindaki proje tanimlamasina soyle bir ek yapacagiz:

name := "hello_sbt"
version := "0.1"
scalaVersion := "2.13.4"

val sansOyunlari = project.settings(
    libraryDependencies ++= Seq(
        "com.lihaoyi" %% "requests" % "0.6.5",
        "org.scala-lang.modules" %% "scala-xml" % "1.2.0",
    )
)

Sbt projesini reload ediyoruz. Gidip IntelliJ sbt plugin sekmesine bakarsak su sekilde dependency'lerin olsuturuldugunu gorebiliriz:

Simdi requests calisiyor mu calismiyor mu kontrol edebilmek icin bu sansOyunlari (bu arada onceki posttaki sayisalLoto projesinin adini sansOyunlari olarak degistirdim, malum son asamada at yarisi da eklemistik) uzerinde console calistiriyoruz:

sbt:hello_sbt> sansOyunlari/console
[info] Starting scala interpreter...
Welcome to Scala 2.12.12 (Java HotSpot(TM) Client VM, Java 1.8.0_251).
Type in expressions for evaluation. Or try :help.
scala>

Simdi gidip hemen guncel doviz kurlari sayfasina bir request yapalim:

scala> val r = requests.get("https://www.ecb.europa.eu/stats/eurofxref/eurofxref-daily.xml")
scala> r.headers("content-type")
res0: Seq[String] = Buffer(text/xml)

Bu sekilde bir XML response elde ediyoruz. Bunu parse etmek icin de scala-xml kutuphanesini import edelim.

scala> val xmlResponse = XML.loadString(r.text)
scala> val ulkeKodlari = (xmlResponse \\ "@currency").map(_.text) 
scala> val euroCarpanlari = (xmlResponse \\ "@rate").map(_.text.toDouble)
scala> val kurlar = (ulkeKodlari zip euroCarpanlari).toMap

Seklinde her bir ulke kodu icin 1 euro'nun ne kadar yaptigini tutan bir dictionary olusturmus olduk. Mesele lirayi kurlar("TRL") seklinde elde edebliiriz. Denemeyi yaptigimiza gore bu kodu yeni api isimli yeni bir sub-proje olsutrara, oraya aliyoruz. Ayrica buradaki requests-scala ve xml dependency'lerini de api projesine kaydiriyoruz. 

build.sbt'nin son hali:

name := "hello_sbt"
version := "0.1"
scalaVersion := "2.13.4"

val sansOyunlari = project

val api = project.settings(
  libraryDependencies ++= Seq(
    "com.lihaoyi" %% "requests" % "0.6.5",
    "org.scala-lang.modules" %% "scala-xml" % "1.2.0",
    "org.scalatest" %% "scalatest" % "3.0.5" % Test
  )
)

Bu arada ekledigimiz bagimlilik tanimlasinda ilk kisim organizasyon, ikinci kisim kutuphane adi ucuncu kisim versiyon ve var ise son kisim (scala-test icin Test) configuration. Yani bu kutuphane sadece Test config'inde olacak ve ornek olarak assembly ile projemiz icin fatjar uretirsek onda yer almayacak. npm'deki dev tanimlamasi gibi dusunulebilir. prodda yer almayacak bir bagimlilik. 

api/src/main/scala/DovizKur.scala seklinde doviz kuru class'imizi da ekleyelim: 

import scala.xml.XML

object DovizKur extends App {

  def dovizurlariDownload(): Map[String, Double] = {
    val r = requests.get("https://www.ecb.europa.eu/stats/eurofxref/eurofxref-daily.xml")
    val xmlResponse = XML.loadString(r.text)
    val ulkeKodlari = (xmlResponse \\ "@currency").map(_.text)
    val euroCarpanlari = (xmlResponse \\ "@rate").map(_.text.toDouble)
    (ulkeKodlari zip euroCarpanlari).toMap
  }

  override def main(args: Array[String]): Unit = {
    println(dovizurlariDownload())
  }
}

Scala Test
Scala-test, scala kodunu test etmke icin kullanilan en populer kutuphanelerden bir tanesi. JUnit, testNG ve maven gibi populer testing toollari ile integrasyon saglamaktadir.  Bircok testing style destekliyor ancak biz FlatSpec kullanacagiz. Sadece indirilen doviz kuru sayisini kontrol eden basi bir test yazalim ve api/test/scala/DovizKurSpec.scala seklinde kaydedelim:

import org.scalatest.{FlatSpec, Matchers}

class DovizKurSpec extends FlatSpec with Matchers {
  "DovizKuru api" should "32 farkli para birimini indirir" in {
    val kurlar = DovizKur.dovizurlariDownload()
    kurlar.size should be (32)
  }
}

simdi sbt shell'de iken test komutu ile testleri calistirabiliriz.

sbt:hello_sbt> test
[info] DovizKurSpec:
[info] DovizKuru api
[info] - should 32 farkli para birimini indirir
[info] Run completed in 964 milliseconds.
[info] Total number of tests run: 1
[info] Suites: completed 1, aborted 0
[info] Tests: succeeded 1, failed 0, canceled 0, ignored 0, pen
ding 0
[info] All tests passed.

Harika. Son olarak SansOyunlari projesindeki onceki amator testi FlatSpec kullanacak sekilde guncelliyorum ve AtYarisi icin de bir test ekliyorum. 

sansOyunlari/test/scala/AtYarisiSpec.scala:

import org.scalatest.{FlatSpec, Matchers}

class AtYarisiTahminSpec extends FlatSpec with Matchers {
  "AtYarisiTahmin" should "verilen atlardan birisini secmeli" in {
    val atlar = Array("at1", "at2")
    val at = AtYarisiTahmin.tahminEt(atlar)

    atlar.contains(at) should be (true)
  }
}

sansOyunlari/test/scala/SayisalTahminSpec.scala:

import org.scalatest.{FlatSpec, Matchers}

class SayisalTahminSpec extends FlatSpec with Matchers {
  "SayisalTahmin" should "6 farkli sayi tahmin etmeli" in {
    SayisalTahmin.tahminEt().size should be (6)
  }
}

tekrar sbt shell'de test komutunu calistirirsak, (root projede iken) tum projelerin testleri calisacak. Neden? cunku default root proje bir aggregator ve verilen tasklari tum alt projelere broadcast ediyor. Bunu da hatirlayalim. Hatta sbt'de tum testlerin paralel olarak calistirildigini da unutmayalim. Biz burada 4 test calistirdik ve bunlar paralel olarak calisti.

Ozellikle TDD yaparken, her bir test eklendikten sonra gidip test komutunu calistirmak biraz zor olabilir. Bu durumda tilda on eki ile sbt'nin her yeni test eklendiginde testleri calistirmasini saglayabiliyoruz. 

sbt:hello_sbt> ~test

seklinde. Buna sbt camiasinda triggered execution adi veriliyor ve mevcut olan butun tasklar icin bu sekil kullanim olasi, sadece test komutu degil. 

Dependency Organizasyonu
Simdi build.sbt dosyasinin son haline bakarsak hem sansOyunlari hem de api projesinin ayni scala-test dependency'sini kullandigini ve bizim bunun icin iki farkli hardcoded tanimlama yaptigimizi gorururz. Dependency'leri build.sbt doasyasi icerisinde tutmak bu anlamda bazi sikintilar doguruyoruz. Ama nerede tutacagiz o zaman? sbt, build.sbt icerisinde hicbir object ya da class tanimlanmasina izin vermez. Bu asamada project klasoru devreye giriyor. Daha once bu klasorde build ile alakali yardimci scala dosyarin barindigini soylemistik. project klasoru altina Dependencies.scala dosyasi olsuturuyoruz:

import sbt._

object Dependencies {

  val scalaTest = "org.scalatest" %% "scalatest" % "3.0.5"
  val requests = "com.lihaoyi" %% "requests" % "0.6.5"
  val scalaXml = "org.scala-lang.modules" %% "scala-xml" % "1.2.0"

  val commonDependencies: Seq[ModuleID] = Seq(scalaTest % Test)
  val apiDependencies: Seq[ModuleID] = Seq(requests, scalaXml
    ) ++ commonDependencies

  val sansOyunlariDependecies: Seq[ModuleID] = commonDependencies
}

Ve build.sbt'de bu dosyayi direk kullanabiliyoruz:

name := "hello_sbt"
version := "0.1"
scalaVersion := "2.13.4"

val sansOyunlari = project.settings(
  libraryDependencies ++= Dependencies.sansOyunlariDependecies
)

val api = project.settings(
  libraryDependencies ++= Dependencies.apiDependencies
)

Gayet seksi. build.sbt dosyasini sisirmeden, redundant tanimlamalar yapmadan bu sekilde build tanimlamalarini yapabiliriz. Hatta build.sbt daha da fazla sistikce, belirli kisimlari farkli dosyalara extract edip katmanli bir yapi ortaya cikarabiliriz.  

Proje Bagimliliklari
sansOyunlari projesinin api projesini kullanabilmesini saglamak gerekiyor. Bunun icin de build.sbt'de, proje tanimalasinda dependsOn metodunu kullaniyoruz:

lazy val sansOyunlari = project
  .dependsOn(api)
  .settings(
  libraryDependencies ++= Dependencies.sansOyunlariDependecies)

Ozet
    - Harici kutuphane ekleme
    - build.sbt'yi harici scala dosyalari ile genisletme
    - Proje bagimliliklari tanimlama
     



Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Python'da Multithreading ve Multiprocessing

Resim
Bu multithreading isini cok karistirdilar.  Thread ve Process Thread ve Process, birbirinden bagimsiz olarak calisabilen (teorik olarak) kod parcaciklaridir.  Aradaki fark, ayni program tarafindan olusturulan threadler ayni hafiza alanina erisebilir. Buna karsilik process kendi basina bagimsiz bir program olarak dusunulebilir, Kendine ait hafiza alani vardir.  Bu da demek oluyor ki, thread'ler kendi aralarinda haberlesebilmek icin ekstra bir efora ihtiyac duymazken, process'leri birbiri ile konusturabilmek icin ekstra birseler (gRPC?) yapmak gerekir. Yukarida ayni program tarafindan olusturulan threadler derken bile, aslinda buradaki program, bir process 'tir. Her process primary thread olarak adlandirilan en azindan 1 adet thread'e sahiptir. (Single threaded tabirini hatirlayalim).  Peki neden birden fazla thread'e ihtiyac duyalim?  Kullanici acisindan, birden fazla process'in ayni anda calistirilbilmesi demek, ayni anda birden fazla uygulamayi calistirabilme
Devamı

Threat Modeling 1

Resim
- Tum modeller yanlistir, bazilari kullanisli. (Ronaldinho, 2024, survivor, Dominican Republic) Nedir? - Modelleme bize bir sistemi gorsellestirme imkani taniyarak, sistemi daha iyi anlamamizi saglar. - Iyi bir model bizim; ne uzerinde calistigimizi,  nelerin yanlis gidebilecegini  ve bizim bu yanlis gidebilecek hususlar hakkinda ne yapabilecegimizi daha iyi anlamamizi saglar. Ne zaman yapilir? - Ne kadar erken baslarsak o kadar iyidir - Penetrasyon testi yapacak olan kisiler de genellikle bizim olusturdugumuz bu treat modelini referans alirlar. - Sprintin bir parcasi olarak yapilabilir. Feature'lar implemente edilirken paralel olarak de treat modelleri olusturulabilir. Nasil yapilir? Bir yazilim muh olarak tasarladigimiz sistemlerin confidentiality , integrity ve availability ozelliklerini maksimumda tutmak bizim gorevimizdir. Threat modeling icin birden fazla yol vardir. Nasil ki programlama dilleri farkli trade-off'lara sahipse ve yerine gore bazilari daha kullanisli ise,
Devamı

Encoding / Decoding

Resim
Atalarin encoding'i Programlar genelde veriyi 2 sekilde kullanir: 1. In-memory : bilgisayar hafizasinda list, dictionary, ya da custom class olarak tutulut. Bu veri yapilari direk olarak CPU tarafindan erisilmek ve manipule edilbilmek uzere optimize edilmis olurlar.  2. Byte array : Datayi diske yazmak istedigimizde ya da network uzerinden transfer etmek istedigimizde, bir sekilde byte dizesi haline getirmemiz gerekir.  Iste hafizada duran verilen byte dizisi haline getirilmesi islemine encoding (marshalling ya da seializasyon da denilir) adi veilir. Byte arayindan tekrar hafiza tiplerine donustumek de decoding olarak adlandirilir. (benze sekilde Unmarshalling veya deseializasyon da denilebili). Peki hafizada tutulan verilei ne sekilde serialize edebiliriz? 1. Dil destekli encoding Mesela python icin pickle, Java icin java.io.Serializable, Ruby icin marshall formatlarinda dil tarafindan desteklenen encoding olanaklari vardir. Bir python class'ini ya da arrayini kolayca pickle&#
Devamı