Konuklar: Uğur Koçak, Faruk Cankaya
98. bölümümüzde konuğumuz ML Enablement ekibi oldu. Ekip yapısını, projelerini, teknoloji stack seçimlerini ve çok daha fazlasını konuştuk! Trendyol Talks'da Trendyol'daki kültürümüzü, kültürümüzden beslenen iş yapış biçimlerimizi ve ritüellerimizi konuşuyoruz. Trendyol Talks podcast kanalımızı takip etmeyi unutmayın!
Transkript
Selam ekip ben Salır Ordu'nun eksperiniz ekibinden Fatiha. Teknoloji ekiplerini tanıdığımız süreçler, teknoloji gibi konuları konuştuğumuz Selam Ekip podcast serisinin 98. bölümünde ML Enablement ekibiyle birlikteyiz.
Bugün Kübra ve Cengiz bizimle değil onlara sevgilerimi iletiyorum. Tek başıma bu ekibi tanımaya, ekip yapısını, kullanılan teknolojileri, pratikler gibi şeyleri konuşmaya çalışacağız.
Bizle beraber bugün Uğur ve Faruk varlar. Uğur, Faruk hoş geldiniz. Biraz sizi tanıyalım mı?
Merhaba Fatiha. İsmim Uğur. 3 yıldır Trendyol'dayım. Onun dışında toplamda da 15-16 yıl kadar farklı sektörlerde tecrübelerim olmuştu.
Trendyol'da da ML Enablement ekibiyle beraber çalışıyoruz. Faruk'la beraber.
Selamlar Fatiha.
Ben de Faruk. 2015 mezunuyum. 11 yıldır sektördeyim. 3 yıldır ML Enablement takımında çalışıyorum. Uğur'la beraber.
Tekrardan hoş geldiniz. İkiniz de bayağıdır sektördeymişsiniz. Şimdi ben biraz ekibinize değineyim. Bayağıdır Trendyol'dayım.
Ben de 7 yıl geçti Trendyol'dayım ama mesela sizin ekibinin tam olarak ne iş yaptığını ben de bilmiyorum.
Bize biraz ML Enablement ekibinin şirketteki temel misyonu nedir, neler yapıyorsunuz? Biraz da ondan bahseder misiniz?
Tabii. ML Enablement ekibi aslında Trendyol'dur.
Trendyol'da da bu arada çok yeni sayılacak bir ekip. Yaklaşık bir yılı doldurmadık. 9 aydır varız.
Onun öncesinde de yine bu ML konularıyla ilgileniyorduk. Ama Enablement çatısı altında biraz daha misyonumuzu, vizyonumuzu da farklılaştırdık.
Bizim görevimiz kısaca aslında hem şirket içinde data science ekiplerimiz var, işte domain ekiplerimiz var, bir yandan ML platform ekibimiz var.
Bütün bu ekiplerin arasında bir nevi zaman zaman köprü oluyoruz.
Biz de önünden gidip yönlendirmelerini yapıyoruz. Domain ekipleriyle çok yakın çalışıyoruz.
Onların AI ihtiyaçlarında, model ihtiyaçlarında veya bazen de way of working'lerinin yardım etmesi olabiliyor.
Bazen way of working'in yanlış olduğunu fark ettiğimiz yerlerde destek atmaya çalışıyoruz.
Aslında kısaca tüm şirket içinde AI adaptasyonunu hızlandıracak hem platforma hem DS ekipten hem domain ekipleriyle çalışan.
Bol stakeholder'lı olan ekipleriz diyeyim.
Baya orta bir yerdesiniz. Zaten hepimiz sürekli bir şekilde yolumuz düşüyor.
Özellikle AI'ın son zamanlarda daha da popülerleşmesiyle ve hayatımızda yer edilmesiyle birlikte.
Peki biraz da ekip dağılımınızdan bahseder misiniz? Diğer ekiplerden farklısınız.
Belki bilmiyorum yine sizden dinlemek isteriz. Klasik back-end'dir, front-end'dir, QA'dir olmayabilir size.
Siz de biraz bundan bahseder misiniz?
Tabii.
Aslında özünde yine front-end enjinirlerimiz var.
QA, Developer in Test arkadaşlar var.
Back-end arkadaşlar da var ama back-end arkadaşlar için daha çok ML Engineer tabirini kullanıyoruz.
ML Engineer'larda üç farklı ekibimiz var örneğin.
Katalog ekiplerine hizmet veren bir ekibimiz var. Katalog ekiplerinin ihtiyaçlarına cevap veren görseller olabilir, content olabilir.
Moderational veya generational servisler sunuyoruz.
Scaling'in vesaire çok önemli olduğu yerler.
Onun dışında Discovery Applied ML ekibimiz var.
Bu iki Applied ML ekibimizin o daha zaten hani daha çok domain ekiplerinin günlük ihtiyaçlarına cevap vermek, onların adaptasyonunu hızlandırmak.
Üçüncü ekibimiz biraz farklı bir yerde duruyor. O da AI Runtime Systems.
AI Runtime Systems işte son günlerde de çok hot topic bu model router'lar, geniiler vesaireler.
Hani onların geliştirildiği entegrasyonlarının yapıldığı ekip.
Aynı zamanda Applied ML ekiplerinin de ihtiyaçlarını çözüyor.
Bir yandan da geliştirdiği araçlarla AI tool'larına erişimin hem daha sağlıklı olmasını hem de cost effective olmasını sağlayan çeşitli araçlar geliştiren bir ekip.
Sizin ekibinizin kapsamı bayağı geniş bu arada.
Bayağı da eğlenceli de duruyor açıkçası.
Peki genel olarak ekibiniz yani genel çatı ekibinizin alt ekipler olur hiç fark etmez.
En büyük challenge nedir?
Şu an özellikle sürekli değişen bir AI dünyasında her geçen gün yeni bir şeyler çıkıyor.
Size en çok neler zorluyor?
Buna ben cevap vereyim.
Aslında sorunun içinde cevabı da biraz gizli oldu.
Herkesin etkilediğini düşündüğüm bir challenge aslında.
AI'deki değişim hızı.
AI dünyasında her şey çok hızlı değişiyor.
Yeni modeller, teknolojiler, yeni kütüphaneler, optimize etmek için ortaya çıkan yeni tool'lar.
Bunlara adapte olmak ve yetişmek gerçekten en büyük challenge'ımız.
Bir taraftan bunları takip ederken,
bir taraftan da Uğur'un dediği gibi bold stakeholder'lı bir ekibiz.
Birçok ekibe hizmet veriyoruz.
Trendyol'da LLM kullanan bütün takımlar aslında
AI runtime system'ın sunduğu bu Gen.AI'yi kullanıyor.
Bu birçok challenge'ı da beraberinde getiriyor.
Birçok ekip aynı anda istek atıyor.
Orada bir load management problemini çözmek gerekiyor.
Bunun dışında herkesin kullanımını takip etmek için bir cost management yapmak gerekiyor.
Bununla beraber kullanım sayısı arttıkça sistemin üzerindeki yük de artıyor.
Özellikle bazı dönemlerde concurrency gibi problemler olabiliyor.
Yüksek trafiği karşılamak için ekstra önlemler almak zorunda kalıyoruz.
Buna bağlı olarak tabii bir de fiziksel kısıtlığımız da olabiliyor.
Bazı ekiplerin çok fazla kaynağa ihtiyaç olabiliyor bazen.
Onun için LLM modellerini scale etmek gerekiyor.
Bazı dönemlerde GPU bulmak zor oluyor.
Bu gibi challenge'larda bahsedebilirim aslında.
Aslında platformun arkası derya deniz.
Yani şu an tren yolunda.
Yani şu an tren yolunda çalışan herhangi bir developer herhangi bir t-anında en az bir kere sizin platformu kullanmıştır.
Ama arkasını böyle çok düşünmeden hani bu kadar aslında çok fazla detay olduğunu düşünmeden kullanıyoruz.
Siz o kadar kolaylaştırdınız ki bu platform kullanımını.
Bu tarz büyük arka taktiği hani şey buzdağını görmüyoruz.
Hangi teknolojileri kullanıyorsunuz bunu sağlayabilmek için?
Sizin teknoloji isteğinizde neler var?
Bunu da ben cevaplayayım.
JNL'yi baz alarak cevaplayayım ilk olarak.
JNL tarafında birçok ekibe hizmet veriyoruz.
Burada aslında hizmetin karşılığı birçok el eleme.
İşte el eleme sunan birçok provider var.
Antropik var, Google var.
İşte OpenAI'in modelleri var.
Ve open source olarak yayınlanmış olan modeller var.
Bunları normalde işte tren yoldaki ekipler implement ediyor olsalar her birinin farklı bir hapisi var.
Onu implement etmeleri gerekiyor.
Biz JNI'de bunu unified bir API şeklinde sunuyoruz.
Ve bu tarafta işte bu JNI Gateway'i sunmak için alt tarafta LightRLM diye bir tane API var.
Yani Gateway framework'ünü kullanıyoruz.
Bunu yaparken işte Python kaçınılmaz oluyor.
İşte orada Python kullanıyoruz.
Biraz hızlanmak için gelecek dönemde Rust eklenecek gibi duruyor.
Yan servisleri geliştirmek için işte GoLang kullanıyoruz.
Buna ek olarak şeyden de bahsedebiliriz.
Uğur başlangıçta katalog ekipleri var demişti.
O ekibin aslında temel amacı biraz böyle katalog ekiplerine model serving altyapısı da sunmak.
Orada machine learning modellerini sunmak için işte Triton, LLM için VLLM, LLM deploy gibi framework'lar var.
Böyle platformlar kullanarak böyle serving yapılıyor.
Oradaki tekstekten bahsedecek olursak her dil var diyebiliriz.
Yine GoLang, Kotlin, işte Python machine learning olduğu için yine kaçınılmaz oluyor.
Bunun dışında işte UI işleri için Node.js ve işte frontend dillerini de kullanıyoruz aslında.
Yok yok diyebiliriz aslında bu soruya genel olarak.
Gerçekten yok yokmuş yani.
Böyle kullanmadıklarınızı sorsaydım daha hızlı bir şey verirmiş gibi geldi.
Peki hangi konuların daha çok kullanılması gerektiğini düşünüyorsunuz?
Evet.
Hangi problemleri ortaklaştırıp platform seviyesinde çözüyorsunuz?
Bir sürü konu var.
Derya, deniz cidden çok fazla dalı var.
Neleri siz platform seviyesinde çözmeyi tercih ediyorsunuz?
Birincil olarak Unified API sunabilmek aslında.
Dediğim gibi takımlar farklı el elemleri kullanmak için farklı interfeslerle uğraşmak zorunda kalacaklar.
Eğer JNI olmasaydı.
Biz burada sadece JNI'nin sunduğu API üzerinden takımların kendi agentlerinde, agenti kodlarında SDK kullanarak veya Cloudy Code, Open Code gibi böyle
geliştirme araçlarında, client tarafında bu API'yi kullanarak el elemlere erişebiliyorlar.
Bunun dışında Intelligent Model Routing hizmeti sunuyoruz aslında.
Burada bazen hangi modeli seçmene karar vermek zor olabiliyor.
Biz burada bir tane ön tarafa model koyarak, gönderilen promptun karmaşıklığına göre uygun modeli seçilmesini sağlıyoruz.
Bu takımlara ne sağlıyor?
Hem hız anlamında hem de cost effective anlamında aslında süreci optimize edebiliyoruz.
Bunun dışında yine cost'u azaltmak için caching hizmeti sunuyoruz.
Bu da aslında genelde böyle büyük sistem promptlar sürekli geliyor oluyor.
Sistem promptları cache diyerek token maliyetini oldukça düşürebiliyoruz.
Böyle yüzde seksene kullanıma yerine göre yüzde seksene kadar bir cost avantajı sağlıyor.
Bununla beraber aslında şirketin getirdiği bir sorumluluk tarafını çözüyoruz.
Governance ve Security kısmı.
Trend yoldan çıkan bütün istekler aslında bizim API'nin.
Bizim API'den geçtiği için, CNA'dan.
Orada bir guardrail uygulaması yapıyoruz.
Herhangi bir sensitive data'nın dışarı çıkmasını, data leak olmasını önleyebiliyoruz bu anlamda.
Bu özellikle son kullanıcıya erişen CNA kullanımlarında önemli oluyor.
Örneğin chatbot tarafında kullanıcı ile alakalı bir bilgilerinin dışarı çıkmaması için önemli oluyor.
Bununla beraber bütün takımların birçok servise erişmesini sağlıyoruz.
Sanırım sunduğumuz bütün hizmetler bunlar.
Teşekkürler Faruk.
Şimdi, emel aslında hep vardı sektörümüzde.
Uzun yıllardır vardı.
Ama CNA ve LLM'lerin gelişmesiyle, yükselişiyle birlikte daha da böyle ön plana çıktı.
Ve tahminimce sizin de ekibinizin rolünü de değiştirdi.
Tam olarak bu yükseliş, bu AI'nin yeni çağı sizin rollerinizi nasıl değiştirdi?
Buna da ben cevap vereyim.
Şimdi öncesinde aslında biz 5-6 yıldır.
Hani emel, AI işleri yapan bir ekibiz.
Hani farklı farklı AI modellerinin katalog, scanning de işte çeşitli kullanım senaryolarımızda onları kullanıyorduk.
Modelleri deploy ediyorduk, ekran kartlarını vesaire.
Hani biraz modeli deploy eden, onu servisleştiren, işte event driven architecture'a uygun hale getiren bir ekip gibiydik.
Fakat son zamanlarda az önce de bahsettiğimiz sorumlulukları da alınca ve hani bu işe bir nevi önden girmiş ekiplerden biri olduğumuz için.
Oradaki tecrübeleri genele yayma gibi bir değişimin içine girdik.
Aynı zamanda tekrarlayan işlerin ya da utilize edilecek yerlerin de farkında olduğumuz için.
Oralarda da çeşitli araçlar geliştirmeye başladık.
Bir yandan CNA'yı devraldık.
Orada çeşitli geliştirmeler yapıyoruz.
Az önce bahsettiğimiz işte cost gibi, governance gibi kullanım senaryolarını da iyileştirdik.
Dolayısıyla aslında şu anda biraz da amacımız bu tecrübeleri Trendyol içindeki bütün ekiplere,
yaymak hani yeri geldiği zaman bir Slack'ten bildirim atmak oluyor.
Yeri geldiği zaman bazen ekiplerle direkt birebir görüşmeler yapıyoruz.
Özellikle kullanımları da takip edebildiğimiz için hangi amaç için nerelerde kullanılıyor AI servislerimiz.
Oralardan daha direkt to the point aksiyonlar alabileceğimiz ekiplerle iletişime geçip hani onların AI adaptasyonunu daha da hızlandırmak, daha verimli hale getirmek için çalışmalar yapıyoruz.
Aslında biraz da bu yöne evrildi ML Enablement ekibinin sorumluluğu.
Bizim tribe'mizde de bir sunum yapmıştınız.
Burada şey dinleyicilerimiz ya da Trendyol'daki diğer ekipler için de söylemekte fayda var.
Ben böyle ML platforma her girdiğimde yeni bir feature'lar görüyorum.
O kadar çok çalışıyor ki bu ekip yani.
Çok hızlı ayak uyduruyorsunuz.
Böyle her defasında yeni bir platforma girmiş gibi hissediyorum.
Elinize sağlık diyorum buradan.
Gelelim bir sonraki sorumuza.
Şimdi AI dünyası çok hızlı değişiyor.
Bunu zaten üstteki konuşuyoruz.
Her podcast'te, her videoda.
Hani sektörde zaten en hot topic bu olduğu için kaçınılmaz bir şey.
Ama sizin direkt zaten işiniz de bu.
Yeni çıkan modeller, teknolojileri nasıl takip edip değerlendiriyorsunuz?
Yani her şeye deniyor musunuz?
Yoksa bir adaptiyon kriteriniz var mı?
Burada hani biz böyle back-end sayfa olarak baya bir FOMO'ya kapılabiliyoruz.
Ama sizin böyle bir lüksünüz de yok.
Sizin tarafta bu nasıl ilerliyor?
Buna da ben cevap vereyim.
Bunu aslında işte yeni çıkan modeller ve teknoloji diye ikiye bölebiliriz.
Modeller tarafında özellikle Frontier modelleri,
çok sorgulamadan böyle aynı gün eklemeye çalışıyoruz.
Onların zaten işte providerları,
gelenekli benchmarkları da yayınlıyor.
Onlara bakıyor oluyoruz tabii ki.
Ekipleri doğru yönlendirmek amacıyla.
Bu arada hani provider ve Frontier herkesin bildiği bir şey olmayabilir.
O yüzden açıklayayım.
Providerlar OpenAI, işte Google gibi,
Anthropic gibi el elem modellerini yayınlayan firmalar aslında.
Frontier modeller de büyük el elem modelleri diye düşünebiliriz.
İşte Opus, GPT, Luna, Sol gibi.
Dediğim gibi Frontier modelleri olabildiğince hızlı eklemeye çalışıyoruz.
Çünkü use case'den use case'e göre değişiyor ve hepsine yetişmek,
işte benchmark yapmak bizim ekip açısından çok mümkün olmuyor açıkçası.
Bu yüzden olabildiğince o modelleri ekleyip takımların feedbacklerini almak istiyoruz.
Bununla beraber şey de olabiliyor.
Takımların kendi use case'ine özel denedikleri modeller olabiliyor.
Open source modeller olabiliyor.
Ve takımlar bize gelebiliyor aslında.
İşte biz GEMA 4 modelini denedik, güzel çalışıyor.
İşte bunu Genel AI'ne de sunabiliyoruz.
Bu şekilde.
Ve bu tür istekleri de hızlıca değerlendirip eklemeye çalışıyoruz.
Teknoloji tarafında ise olabildiğince yakından takip etmeye çalışıyoruz.
Hem bu Genel AI Gateway altyapısını iyileştirmek amacıyla
hem de aslında kullanıcıların bu sistemi daha iyi kullanması için
yan araçları da değerlendirmeye çalışıyoruz.
Ama yine burası da çok hızlı gelişen bir dünya.
Bu tarafta da böyle takımlardan aldığımız feedbackler ve geliştirme talepleri oluyor.
Örneğin OpenCode için işte plug-ins,
plug-in yazan bir tane arkadaş var mesela.
Bizden çok uzak bir ekipte çalışıyor ama
diğerlerinin kullanması için bir şey geliştirdi ve oldukça da talep görüyor şu an.
Veya işte yine Harness üzerinde P-Agent diye bir tane tool var.
Onun için plug-in geliştiren arkadaşlar var.
Aslında bu konuda gelişmeye ve feedbacklere çok açığız.
Ve takımlara hani şey diyebiliriz.
Gördüğünüz, iyi çalıştığını düşündüğünüz,
diğer ekiplerin de işine yarayacağı şeyler, araçlar var diyorsanız
kapımız her zaman açık.
Çok güzel bir şey bu da.
Peki zaten bayağı bir stakeholder'ınızın olduğundan da bahsetmiştik en başta.
Çok fazla ekiple zaten çalışıyorsunuz birlikte.
Bir ML100KZ'nin fikir aşamasından production'a çıkmasına kadar
sizin ekip hangi noktalarda devreye giriyor?
Bu soruyu da ben cevaplayayım.
Soruyu biraz baştan alacağım.
Aslında Uğur'un başta bahsettiği işte Catalog,
AppLight tarafında çalışan arkadaşlar var.
Orası DataSense ekiplerine biraz daha yakın çalışıyor.
Trendyol'un Catalog tarafındaki problemleri,
çözmek üzere olan modellerin geliştirmesiyle ilgileniyorlar.
Bu modeller aslında genelde moderation ve son zamanlarda
generation modellerinin eklenmesiyle sürekli artıyor.
Bunların içerisinde ne var?
Somut örnek olarak şey diye düşünebilirsiniz.
Trendyol'da satıcıların yüklediği fotoğraflardaki
müstehcen bir işaretin tespiti veya istenmeyen bir objenin tespiti gibi
Object Detection modelleri gibi düşünebilirsiniz.
Son zamanlarda o tarafa çok fazla böyle VLM ve LLM based model
modeller de eklendi.
Product fikri aslında işte Product ekiplerinden,
PM'lerden veya o Business Case'inden ortaya çıkıyor.
DS ekiplerimiz o problemi çözmek amacıyla çalışıyor.
Var olan bir model varsa onu kullanmaya çalışıyoruz.
Bir fine tune gerekiyorsa, Trendyol'a özel bir modelin
geliştirmesi gerekiyorsa var olan modeli işte Trendyol'un
datasıyla fine tune ederek geliştiriyor DS ekipleri.
Sonrasında Catalog, AppLight ekibi aslında geliştirilen model için
bir comparison chart'ı çıkartıyor.
Ekir üstsüzlüğünü ölçüyor.
Oradan yeşil ışık alırsak Production Grade deployment'a geçiyoruz
ve scale ediyoruz.
O tarafta Trendyol'un on-prem GPU'larını veya cloud provider'ları
kullanabiliyoruz.
Amazon'a veya Google'a deploy edebiliyoruz modelleri ve sonrasında
dediğim gibi buraya LLM ve VLM modelleri de eklenmişti.
Geliştirilen modeller Trendyol'daki bütün takımların kullanılmasına
uygunsa, Gen-A'ya entegre ediyoruz ve o tarafta bütün takımlar aynı
arayüzlerinden kullanabiliyor.
Aynı zamanda bu modelleri real-time istek atarak cevap alma ihtiyacı
bulunmayan takımlar Kafka üzerinden de entegrasyon kurabiliyorlar ve
kendi AI'yla çözebilecek problemleri bu iki arayüz üzerinden çözebiliyorlar.
Son olarak da şeyden bahsedebiliriz.
Bu modelleri deploy etmekle bitmiyor.
Sonrasında monitör ediyoruz.
Herhangi bir problem var mı?
Yük karşısında nasıl scale olmalı vs.
Doğru bir şekilde hayatına dayanması için çalışıyoruz bu tarafta.
Bayağı kapsamlı bir süreç bu.
Bayağı bir aşaması varmış.
Normal bir feature çıkmaya benzemiyormuş.
Peki bir backend developer, normal web development yapan herhangi bir backend developer
bir ML, AI dünyasına yaklaşmak istiyorsa sizce ilk öğrenmesi gereken şey nedir?
Bu zor bir soru aslında.
Bence birçok cevabı var.
Ama böyle bir genel cevap vermeye çalışayım.
Backend developer, AI, ML ile ne yapabileceğini anlamak amacıyla böyle bir pratik yapmalı.
Bunun için günümüz dünyasında bu LLM'ler, VLM'ler birçok yerde kullanmaya başladı.
Ve parametre sayıları da düştüğü için bir LLM modelini kendi bilgisayarına alıp çalıştırabiliyorsun aslında.
O yüzden ben ilk olarak LLM fundimantası öğrenmek önemli olur.
Onunla beraber LLM ile kullanılabilecek yan araçları da denemek iyi olur.
Bu aslında Retrieval Augmented Generation dediğimiz rug'ı kapsıyor.
Temelde şey böyle.
LLM normalde verebileceğin bilgi kısıtlı ona.
Ama Reg'le beraber onun hafızasını arttırabilecek bilgileri verip sana doğru cevaplar verebilmesini sağlayabiliyorsun.
O yüzden hani bir LLM Fundimantası, iki onunla kullanabileceğin yan araçlar.
İşte Reg gibi veya LLM'i daha iyi kullanmak için diğer araçlar.
Ve agentic flow'lar, entegrasyonlar vs.
Ama işte EML dünyasında işte ben derinleşeceğim, bu nasıl çalışıyor anlayacağım vs. şeklinde.
Şeklinde bir niyet varsa orada machine learning temellerini de öğrenmek iyi olur.
Bunun için şey önerebilirim aslında.
Deep Learning AID bir tanesi de var.
Orada birçok hem LLM tabanlı hem de machine learning ile alakalı kaynaklara ulaşabilirsiniz.
Güzel o da öneride geldi.
Bu şeyde de ben çok görüyorum.
Sosyal medyada da çok görüyorum.
Özellikle böyle daha yeni mezun, sektör yeni atılan insanların da çok fazla böyle soru işareti kalıyor kafasında.
Güzel bir yönlendirme oldu Faruk.
Peki biraz da sizin ekibinizde de bir soru var.
Peki.
Evet, ben de bir soruya değinirim.
Sizin ekibin yeni birisi katıldığında onboarding süreciniz nasıl oluyor?
Ekibinizin bayağı bir katmanı var.
Biraz da bundan bahsedebilir misiniz?
Buna da ben cevap vereyim.
Şimdi belki soruya biz kimleri ekibimize dahil ediyoruz ufak bir bilgi geçeyim.
Hani bu konular hem hot topic hem de yeni konular olduğu için direkt hani EML engineer ya da bu konularda tecrübeli birini bulmak zaman zaman zor olabiliyor.
O yüzden bizim için hani temelleri sağlam bir backend engineer.
Yeterli olabiliyor.
Onboarding aşamasında da zaten az önce Faron'da bahsettiği temel konularla alakalı hem dokümentasyon eğitim konularında destek alıyoruz.
Hem de yakın bir şekilde payr oluyoruz ve hızlı bir şekilde de task'ı sahiplenip ilerletmesini bekliyoruz.
Sağlam bir giriş yapıyor diyebilirim dahil olan arkadaşlar.
Burada sağlam giriş yapıyorken de desteği de gerçekten yanında olarak veriyoruz.
Burada çünkü çok fazla yeni ekibimiz var.
Çünkü çok fazla yeni konu var ve bazen bir model deployment örnek verecek olursam hani çok benzer bir model gelmesine rağmen aynı şekilde deploy edemiyor biliyoruz.
Hata alabiliyoruz işte.
Oralarda farklı yöntemler, farklı tecrübeler gerekebiliyor.
Oralarda da yanında oluyoruz.
Biraz ama hani elini nasıl diyeyim hani o bulaştırması gerekiyor çamura.
Onu yaşamasını istiyoruz diyeyim.
Onun dışında zaten dokümentasyon kısmını vesaireyi önemsiyoruz.
Hani oralarda bir çok fazla da ekiple çalıştığımız için.
Yani çok fazla da ekiple çalıştığımız için.
Yani çok fazla da ekiple çalıştığımız için.
Ekiplerle olan iletişimin bir kontrak üzerinden ilerlemesini işte RFC üzerinden ilerlemesini vesairesini istiyoruz sürekli.
Hani onlarda yeni dahil olan arkadaşların hem geçmişe yönelik okuma yapmasını ya da neler yapılmış diye bakmasını sağlayabiliyor.
Hem de bu way of working ile biraz daha o sistemin içine dahil olması kolay oluyor diyeyim.
Sanırım böyle.
Başka ekleyeceğim yok.
Ben bir çok geri saracağım şimdi aklıma bir şey takıldı.
Az evvelki böyle şeyden yani bir emeryüz kesinlikle.
Tabii tabii.
Yani bir emeryüz kesinden model çıkıyorsunuz, monitör ediyorsunuz, release ediyorsunuz.
Burada bir sürü model çıkıyor.
Hani atıyorum kullanım oranı düşük olan modellere bir saatten sonra maintenance'ını bırakıp kapatıyor musunuz?
Burada nasıl ilerliyorsunuz?
Güzel soru.
Bu biraz modelin kullanıldığı yerin önemi, kritikliği veya o modelin yerine bir model önerip öneremediğimizle alakalı.
Genelde şöyle ilerliyoruz.
Diyelim bir A modeli var.
Bundan çok memnunum kullanan ekip.
Ama A modeli kullanımı düşüyor çok fazla.
Ve sadece bir ekip kullanıyor.
Ve yeterince de kaynağı nasıl diyeyim utilize kullanamıyor diyelim.
Orada önceki sorularda şey vardı.
Hani nasıl seçiyorsunuz yeni modelleri diyorduk ya.
Oradakine benzer şekilde ilerliyoruz aslında.
Ekiplerin varsa ellerindeki accuracy ölçebileceği verilerle tekrar o yeni önerdiğimiz modeli test etmelerini rica ediyoruz.
Yoksa da o accuracy verisinin oluşturulup anlamlı bir karşılaştırma yapacakları veri setini oluşturuyoruz.
Daha sonradan eski modelle gireceğiz.
Ve yeni modeli karşılaştırıyoruz.
Hani hem ekibe way of working anlamında destek olmuş oluyoruz böylelikle.
Hem de aslında daha ucuza daha iyi sonuç veren bir model veriyoruz.
Genelde de böyle oluyor bu arada.
Çünkü modeller sürekli değişiyor ve yeni modeller gerçekten yetenekleri arta arta geliyor.
Zaman zaman fine tune ettiğimiz çok daha küçük bir modeli canlıya aldığımız oluyor mesela.
Onlarda da en son hatta bir çok fazla ekibin kullandığı bir modelimiz vardı.
Yine content moderation ile alakalı.
Onda da benzer şeyi yaşadık.
27 milyar parametreden 1 milyar parametreye düşen bir kullanım yani utilization farkı vardı.
Orada işte tek tek ekipleri dürttük, konuştuk, onlara sonuçları paylaştık gibi gidiyor.
Hani biraz başarımın, oradaki çıktığının kaybolmamasını istiyoruz.
Hatta artmasını istiyoruz.
Aynı zamanda da ekiplerin o model değişikliğine de adapte olmasını sağlamaya çalışıyoruz.
Bu da zaman zaman yorucu da olabiliyor çünkü.
Hani FOMO etkisi var demiştin sen de bir önceki sorularda.
O etki bazen ya yeni model çıkmış, o çıkmış, bu çıkmış.
Hepsini denemek çünkü mümkün olmayabiliyor.
Biraz böyle sık kullanılan modeller konusunda en azından oralarda rehberlik ediyoruz diyeyim.
Süpermiş. Ben de tam olarak bundan merak etmiştim.
Çok güzel bir cevap oldu.
Son soruya geçmeden önce bir soru daha sıkıştıracağım oraya.
Yine merak ettiğim bir şey.
Sizin tarafta incident oluyor mu?
Yani sizin için incident nasıl bir şey?
Ben şu an kafamda çok fazla canlandıran bir şey.
Bu da güzel bir soru.
Bizim tarafımızdaki incident genelde ekran kartlarıyla ilgili.
Ekran kartının bulunurluğuyla alakalı olabiliyor.
Biz yükleri önden tahmin edip ona göre zaten hem canlı scaled edebiliyoruz ama bir backend servisi gibi hızlı scaled olmuyor.
Bir ekran kartına hareket etmemiz gerekiyor.
On-prem'de de çalışıyoruz.
Cloud'da da ekran kartlarıyla çalışıyoruz.
On-prem için zaten kaynağımız belli.
Nelere koşacağımız belli.
Oranın planlaması daha net.
Ama cloud'da da çalışıyoruz.
Hatta işte zaman zaman büyük batch'ler geliyor vesaire.
Oralarda mesela ekran kartıyla alakalı bir dert olma ihtimali oluyor.
Bunu bir sene önce çok daha fazla yaşıyorduk.
Ama şimdi cloud provider sayısını da arttırdığımız için
hani orada yeri geldiğinde A provider'ına, yeri geldiğinde B provider'ından kart alıp o şekilde scaled olup gidiyoruz diyeyim.
Ama hani bizdeki en sık yaşadığımız incident nedir sorusunun kısa cevabı ekran kartının bulunması.
Ya da o an ekran kartıyla alakalı yaşanan bir dert olabiliyor.
Çünkü spot on demand dengesini de yakalamaya çalışıyoruz cost efficiency için de.
Umarım cevap olmuştur.
Cevap oldu.
Gerçekten kafamda hiçbir şey canlanmıyordu.
Çok iyi bir cevap oldu.
Teşekkürler.
Peki gelelim son sorumuza.
Bu kadar çok şey yapıyorsunuz.
Bu kadar çok insanla da çalışıyorsunuz.
Ekip için de iletişiminizi geliştirmek için neler yapıyorsunuz?
Biz ekip yapısı olarak biraz daha nırsız.
İşte Antalya'dan da Almanya'dan da arkadaş Faruk'la çalışıyoruz.
Bir arkadaş da işte Almanya'da yaşayan bir arkadaş.
Hani dağınık bir ekip olduğumuz için mümkün olan her anda fiziksel olarak bir araya gelmeye çalışıyoruz bu arada.
Yani yılda en az 4 defa geliyoruz.
Ama anın dışında 2 haftada bir oyun sesyonlarımız var.
Çeşitli işte konuşmaları yaptığımız, kafi sesyonlar tadında sesyonlarımız oluyor yani.
Kabaca bu şekilde yapıyoruz daimini.
Biraz fiziksel bir araya gelebileceğimiz bütün fırsatları değerlendiriyoruz ama öyle söyleyeyim.
Yüz yüze görüşme de önemli görüyoruz.
Bir araya gelmek güzel oluyor.
Ekip uyumu yüksek çünkü.
Ekip de bu konuda istekli zaten.
Çok güzelmiş.
Bölümümüzün sonuna doğru geldik.
Bugün 98. bölümümüzde Emel Ayn Eğbe onların ekibini tanıdık.
Uğur ve Faruk bizimleydi.
Ben şahsen çok fazla şey öğrendim.
Baya bir şey kafamda canlandı.
Umarım dinleyicilerimiz de keyif almıştır.
Bir sonraki bölümde görüşmek üzere.
Görüşürüz.
Görüşmek üzere.
İzlediğiniz için teşekkürler.
Bu transkript otomatik olarak çıkarıldı; kayıtla küçük farklar olabilir.