Selam Ekip - E68 - LLM

Selam ekip, ben Storefrontere PDP ekibinden Cengiz.

Teknoloji ekitlerini tanıdığımız ve süreçler, teknolojiler gibi konuları konuştuğumuz Selam Ekip Podcast serisinin 68.

bölümündeyiz. Ve bu bölümde el elemen Core NLP ekibiyle birlikteyiz.

Yine çok böyle cool bir ekiple beraberiz.

Bu ekibi tanıyıp, ekip yapısı, kullanılan teknolojiler, pratikler gibi konuları konuşacağız.

Arkadaşlar hepiniz hoş geldiniz.

Hoş bulduk, selamlar.

Hoş bulduk, selamlar.

Selamlar. Süper, tekrar hoş geldiniz.

Valla bugün gerçekten heyecanlı bir bölüm olacak çünkü LLM ve NLP tarafında olan bir ekiple konuşmak çok heyecan verici.

Bugün bu podcast'ta LLM tarafını ele alacağız çünkü çok büyük bir domain ve işte bu iki domain tek ekipte olduğu için bugün LLM tarafını ele alacağız.

Sonraki bölümlerimizde de NLP tarafını ele alacağız.

O yüzden... NLP bölümümüz için de podcastlerimizi dinlemeye devam edebilirsiniz.

Öncelikle arkadaşlar kısaca kendinizi tanıtabilir misiniz?

Selam Tolga ben. Yaklaşık iki yıldan biraz daha fazla oldu Trendyol'da.

Geldimden beridir de NLP ekibindeyim.

Data Scientist olarak çalışıyorum.

Şu anda da biraz daha böyle son dönemlerde el elemler hayatımıza çok girdi.

Ben de böyle el elem çalışmalarında aktif olarak çalışıyorum diyebilirim.

O şekilde. Selamlar.

İsmim Arif. Ben de yaklaşık yedi aydır Trendyol'da çalışıyorum.

2-2,5 yılda bir sektör deneyimim var.

Direkt bu ekipten başladım çalışmaya tren yolda.

Hem LLM sisteminin gelişmesi tren yolda hem de genel olarak diğer NLP çözümleriyle ilgili çalışıyorum.

Ben de Data Scientist olarak görev yapıyorum.

Selamlar. Ben de kendimi tanıtayım.

Ben de Murat. Yaklaşık olarak...

3 yıl olacak Trendyol'da çalışmaya başlayalı.

İlk başladığımda sadece Search'e yapay zeki çözümleri üreten Search Intelligence takımında başlamıştım.

Daha sonra da bizim takımlar NLP takımı altında birleşti.

Şu an NLP takımında Develop olarak çalışıyorum.

Uçtan uca çözümler üretme konusunda KİB'e destek veriyorum.

Harika. Şimdi ufaktan isterseniz başlayalım.

Her şeyden önce el elem nedir?

Yani elelem derken de böyle şey gibi oluyor ama işte large language model sanırım şeyi uzun hali.

Elelem tam olarak nedir?

Ben cevaplayayım istersen.

Elelem dediğimiz şey senin de dediğin gibi large language model'ın kısaltması.

Türkçesiyle büyük dil modeli diyebiliriz.

Bu modeller çok miktarda yazılı veri kullanılarak eğitiliyorlar.

Bu veriler sayesinde de insan dilini anlamayı, yorumlamayı, üretmeyi çok iyi öğreniyorlar.

Hatta sadece insan dillerini değil, programlama dillerini öğrenmekte de çok iyiler.

Bunu da günlük hayatımızda görüyoruz.

Bazı kodları chat chip diye verip yardım alıyoruz.

Bu eğitim süresinden sonra modeller farklı yetenekler kazanıyorlar.

Örneğin bir metni özetleyebiliyorlar, sorduğum bir soruyu yanıtlayabiliyorlar veya tamamen hiç olmayan metinler yaratabiliyorlar, hikayeler yazabiliyorlar.

Özellikle dilin kurallarını ve...

bağlamını anlamada çok iyiler.

Bunu söyleyebilirim. Bunu yaparken de aslında çalışma mantığı çok karışık değil.

Özetle bir metin verdik.

Elenem dediğimiz model bunu küçük parçalara, tokenlere bölüyor.

Ve sonra bir istatistiksel tahminleme yapıyor sadece.

Örneğin bugün hava çok güzel dediğinde model bunu küçük parçalar halinde ele alıyor.

Sonrasında başka bir zaman sen bugün hava yazdığında sonraki kelime güzel mi olmalı, soğuk mu olmalı?

Sadece bunu tahmin ediyor aslında.

Böyle bir yapısı var.

Tamamen dili öğrenip istatistiksel tahminler yapan bir yapı.

Tamamen bir tahmin oyunu.

Ama yani çıkan sonuçlar o kadar etkileyici ki çoğu zaman karşınızda sanki bir insan varmış gibi hissediyorsunuz.

Bu başarının arkasında da çok fazla data ve bu modellerin çok büyük olmasında yatıyor.

Süper. Valla yani bir nevi aslında bir bizim işte daha önceki bölümlerde Sajaş'ın ekipleriyle de...

Onların tarafında da bu tarz şeyler var.

Bir nevi aslında bir kendi kendine öğrenen ve geliştiren ve daha sonrasında da işte size bir şeyler söyleyen, bir şeyler öneren bir model haline dönüşüyor diyebiliriz sanırım.

Bir de tabii şöyle bir nokta var.

Eskiden aslında yeni bir teknoloji de değil bildiğim kadarıyla.

Bayağı zamandır hem teorik hem pratik olarak da aslında ilerleyen bir teknoloji.

Fakat son yıllarda elelem tarafında inanılmaz şeyler gerçekleşti ve eskiden yapamadığımız birçok şeyi şu an yapabilir haldeyiz.

Bu elelem devrimi son birkaç yılda yaşadığı özellikle son 2-3 yılda yaşadığı şeyler nelerdir yani ne yaşandı da böyle bu seviyeye geldi elelem tarafında?

Aslında hani senin de söylediğin gibi elelem çok yeni bir teknoloji değil.

Tamamen deep learning tabanlı.

Ve hani 2010'lara kadar da geriye götürebileceğimiz bir teknoloji.

Ama son senelerde ciddi bir ilerleme oldu.

Aslında bu OpenAI ve GPT tarafıyla başladı.

Hani GPT-1 ve GPT-2 modelleri belli bir etki uyandırmıştı ama hiçbir zaman böyle bir çağ değiştirici bir modeller değildi.

Ama önce GPT-3 belli bir oranda etki yaptı.

Ardından da GPT-3.5'ün çıkması ve bunun bir arayüzle daha çok kullanıcıya sunulması çok farklı bir etki yaptı.

OpenAI'da hemen akabindeki senede GPT-4'ü çıkardı ve bunu...

ücretli olarak sunmaya başladı.

Tabi bunu gördüğümüzde onlarla rakip rekabet içerisinde olan diğer bütün firmalarda tabi boş durmadı.

Google tarafı kendine göre bir şeyler yapmaya çalıştı.

Yine Amerika'da antropik cloud sistemleri altında çok fazla model yayınladı.

Ama bir de asıl bu çalışmaları hızlandıran açık kaynak çözümler oldu.

Başta burada Facebook'un yeni ismiyle Meta'nın çalışmalarını söylememiz lazım.

Yine Alibaba'nın son dönemde yaptığı küven modeli var.

Fransa'da Misrail ekibinin yaptıkları var ve biz gitgide şunu gördük.

Açık kaynak çalışmalar gitgide yaklaşmaya başladılar.

GPT ve benzeri kapalı modellere göre.

Başta biz hiçbir farkın kapanmayacağını düşünüyorduk ve aslında bu konuda çok umutsuzduk ama en son mesela Lama'nın 70 milyarlık yeni modeli çok fazla alanda gelişim vaat ediyor.

VHTQV'nin 32 milyarlık modeli yine programlama, coding alanında çok fazla gelişim vaat ediyor.

Bütün bu açık kaynak çözümlerinin...

bir anda ortaya çıkmasıyla beraber bütün şirketlerde daha çok kullanmaya başladı eylemleri ve aslında bu kadar net şekilde hayatımıza girdi diyebilirim.

Çok etkileyici gerçekten ya.

Yani bugün aslında GPT tarafıyla ya da işte diğer dil modelleri tarafıyla yaptığımız şeyler çok yakın aslında baktığımız zaman ama hepimiz günlük hayatımızda, iş yaşantımızda işte

çok basit şeylerde dahi çok basit şeylerden çok böyle hayat değiştirici şeylere dahi hatta yani bu teknolojiyi kullanarak Şu an para kazanan işte startuplar var, iş modeli tamamen

bu olan durumlar var falan.

Çok ilginç gerçekten. Yani bu noktaya gelmesi gerçekten çok ilginç.

Tabii biz de son teknolojileri kullanmaya fit olmuş.

Tam olarak mindsetimiz bu yönde olan bir ekip olduğumuz için.

LLM'in de tüm nimetlerinden faydalanmak aslında bizim de öncelikli bakış açımız.

Bu tarafta da sizin ekip aslında çok büyük bir rol oynuyor.

Ekip hakkında konuşalım isterseniz.

LLM Core NLP takımı.

Kısaca ne yapıyor? Takım dinamikleri nasıldır bu ekibin?

Burada ekibi de ben anlatabilirim biraz.

LLM Core NLP ekibi olarak Trendyol'un en temel ihtiyaçlarını biz karşılıyoruz.

Diğer ekiplerin iç projelerinde ihtiyacı olan NLP yetkinliğini sağlıyoruz.

Şu anda en temel uğraştığımız konu da bu Türkçe dil modelleri.

Bu sene içinde de Trendyol LLM isimli büyük dil modelimizi duyurmuştuk.

Hatta open source olarak da yayınladık.

ChatGPT'ye çok benzer bir model fakat tamamen Trendyol'un kendi ihtiyaçlarına göre özelleştirilmiş bir...

Model diyebiliriz. Bunun dışında Trendyol'un işte arama motoru, kullanıcı yorumları, chatbot, soru cevap sayfası, ürün detay sayfası, satıcıların yeni ürünlerinin sisteme

girdiği satıcı panelleri gibi içinde metin olan bütün ürünlerde uzaktan yakından bir projemiz var diyebilirim.

İlgi alanlarımız biraz daha bu yönde.

Aynı zamanda da uçtan uca bir ekibiz.

Başka ekiplerin projelerine katkı sağlıyoruz ama tamamen kendi yönettiğimiz uçtan uca götürdüğümüz projelerimiz de var.

Ekibin içinde data scientist var, backend engineer var, queue engineer var, product owner var.

Sorumluluk olarak da data scientist biraz daha business isteklerini data science tarafından çözmeye çalışıyor.

Bunların POC'sini yapıyor, modelleme çalışmalarını yapıyor, modelleri customize ediyor gibi düşünebiliriz.

Backend rolündeki arkadaşların odaklandığı alan ise biraz daha gelen business isteklerini production için en iyi şekilde karşılayabilmek.

Burada bizim DS çözümlerimizi de production'a taşımak, bunları maintain etmek, bunları scalable hale getirmek gibi odak noktaları var.

Fakat rollerimiz gereği farklı alanlara odaklansak da projelerin içerisinde herkes her konuya olabildiğince katkı sağlıyor ve Bu sınırları sık sık esnetiyoruz.

Bu açıdan ekipteki herkesin de çok geniş yetkinlikleri var diyebiliriz.

İletişim anlamında da çok kuvvetli bir ekibiz.

Zaten kaliteli çıktığı için sağlam iletişime sahip bir ekip olmak gerekli.

Bunu farklı projelerde gördük.

Bu açıdan da çok şanslı bir ekibiz diyebilirim.

Valla böyle şey gibi, laboratuvar ortamı gibi bir ekip kafamda canlandı.

Yani böyle data scientistler, işte farklı...

Pozisyonlardaki insanlar yani gerçekten çok güzel.

Yani ben Trendle içerisinde özellikle böyle bir product üzerinde çalışan ya da single purpose ekipleri çok seviyorum.

Yani özellikle de böyle geniş kapsamlı olduğu durumda.

Hani her ekibimiz çok değerli işler yapıyor fakat bilmiyorum böyle daha sıcak hissediyorum kendimi açıkçası.

Bugün bayağı da bu ekiple alakalı güzel şeyler öğreneceğimizi düşünüyorum.

Şimdi birçok şeyden bahsettik, birçok şey konuştuk ekiple alakalı.

Bir de şey tarafını sormamız gerekiyor diye düşünüyorum.

Trendyol bir elelem eğitiyor fakat neden?

Yani neden bir elelem eğitiyoruz ve bunu neden açık kaynak bir şekilde paylaşıyoruz?

Aslında gerçekten çok kıymetli bir soru.

Çünkü biz bir e-ticaret şirketiyiz.

Temel kapsamımız bu.

Yani bizim asıl amacımız bir erilem üretmek değil.

Ama e-ticaret öyle bir domen ki hani bazı problemleri kendi içinde diğer ürünlerle, diğer araçlarla pek fazla çözemiyorsunuz.

Hani benim daha önce saymış olduğum çok fazla elelem var.

Bunların çok iyi yaptığı çok fazla konu var ama e-ticaret konusunda mesela bizim isteklerimizi tam olarak karşılayamıyorlar.

İlk problem bu. Bir de şöyle bir problemimiz var.

Aslında büyük dil modelleri çok fazla data ile eğitiliyor ama eğitildikleri datanın çok büyük kısmı da İngilizce.

Hani bu da başka bir problem.

Biz International'da da çalışmalar yapan ama ana odada hala Türkiye olan bir şirketiz.

O yüzden hani Türkçe bir model eğitimi yapmak...

Türkçe en iyi çıktıklarının almasını sağlamak bizim kaygılarımızdan biri.

Biz de bu konuda inisiyatif alıyoruz ve hem e-ticaretteki ihtiyaçlarımızı karşılayacak hem de Türkçe seviyesi üst düzey olan bir model eğitimi yapıyoruz.

Peki hani böyle bir şey yapmışken bunu neden paylaşıyoruz?

Neden diğer gruplarla, diğer şirketlerle açıyoruz?

Aslında hani bu rekabetçi perspektiften baktığınızda biraz garip gözükebilir.

Ama biz hani Türkiye'deki teknoloji ekosistemine de doğrudan bir katkı sağlamayı düşünüyoruz.

Yani sadece kendi içimizdeki problemlerin çözümü değil.

Aynı zamanda bunu başka insanlar da kullanabilir.

Araştırmacılar, öğrenciler, developerlar.

Hani bu konuda da son derece şeffaf bir paylaşımımız var.

Çok güzel. Çok güzel bir amaç.

Biz yani bir yandan da aslında e-ticaret şirketi olduğumuz kadar bir teknoloji şirketi olarak da tanımlıyoruz kendimizi.

Ve yaptığımız yani bugüne kadar bu artık işte 68.

bölümümüzü kaydediyoruz. Bugüne kadar tanıştığımız 68 ekip de hepsi...

Teknoloji tabanlı ve teknolojiyle birlikte ilerlemeyi kendilerine bir hedef almış ayrı ayrı ekipler.

Keza sizin ekibinizde elemen, core, NLP ekibi de öyle.

Ve bu kadar güzel bir teknolojiyi de kendinize amaç olarak almanız, çalışmanız oldukça iyi.

Ben şeyi kaçırmış olabilirim belki arada.

Elelem ekibi ne kadar süredir var Trendyol içerisinde?

NLP ekibi olarak aslında iki yıldır varız.

Elelem... Ve core NLP dönüşümü de aslında bu senenin başları gibi diyebiliriz.

Okey, güzel.

Aslında baktığımız zaman yani NLP tarafında çok da yeni değil ama LLM tarafında yeni bir ekip.

Fakat ayakları yere basan çok da iyi çalışan bir ekiple beraberiz.

Süper, harika.

O zaman birazcık da şeyden bahsedelim.

Şimdi biz bu LLM tarafını işte geliştiriyoruz, yapıyoruz.

Fakat bunun kullanıldığı noktaları da ben merak ediyorum.

Hangi uygulamalarımızda el elem kullanıyoruz Trendo içerisinde?

Bize pratik olan faydaları nelerdir el elem?

Tabii aslında içeride pek çok use case'imiz var el elemlerle.

Örneğin kullanıcı yorumlarını özetleyip kullanıcılara bir ürünle alakalı özet bilgi sunabiliyoruz şu anda.

Satıcılar da kendi ürün panelinde örneğin ürünleriyle alakalı özet bilgi görebiliyor.

İşte bu ürünü alanlar genellikle kalitesini beğenmişler.

Fakat şu özelliğini beğenmemişler gibi özet bilgiler görüyorlar.

Onun haricinde bazı satıcılar ürün yorumları, description'larını doldurmuyorlar veya eksik dolduruyorlar.

Bu noktalarda biz el elem kullanarak bu description'ları dolduruyoruz.

Aynı zamanda satıcı ürününü açarken ürünün bilgilerini giriyor.

Sonra description'ı yazarken biz ona bir şey öneriyoruz.

İsterse bizim önerdiğimiz description'ı kullanabiliyor.

Ürünleri tagliyoruz.

Bu tekleri de farklı amaçlarla kullanıyoruz.

Search performansını iyileştiriyoruz.

Farklı chatbotlar ve sanal asistanlar üzerinde çalışıyoruz.

Örneğin bir kullanıcı bir ürünle alakalı satıcıya sormak yerine direkt asistana sorup önceki cevaplara göre asistan da o kullanıcıya cevap verebiliyor.

Hatta burada komik şeyler de yaşıyoruz.

Örneğin Elenem önceki cevaplara göre bir cevap ürettiği için işte deneme amaçlı ürün salı gelir mi dediğimizde Salı'ya göndeririz inşallah hayırlı günler gibi cevaplar verdiğini

gördük elelemin. Onun haricinde ürünün etribütlerini tespit ediyoruz.

Farklı amaçlarla topic extraction yapıyoruz gibi pek çok use case'imiz var diyebilirim.

İnşallah diyen ilk elelem olarak tarihe geçebilir diyebilir miyiz?

Aynen. Hatta şöyle bir şey vardı.

Bütün internetten datalı filtrediğimiz için Diyanetim falan datasaraya karışmıştı ve böyle...

Fetvalarla ilgili falan Diyanet'te referans veren cevapları vardı böyle test ettiğimizde.

Hakikaten şaşırmıştık bu model bunların nasıl öğrenmiş diye.

İnanılmaz gerçekten. Ama tabii ki kendi kendini geliştiren çok büyük bir sistem.

O yüzden birçok kaynaktan beslendiği için de aralarda böyle bu tarz durumlar yaşanıyordur muhtemelen.

Aslında tam olarak sormak istediğim noktaya geldi bu da.

Böyle durumlar production ortamında ortaya çıktığı zaman çok da...

İyi olmuyor eğer böyle çok da hoş şeyler yaşanmıyor açıkçası.

Ve genellikle testte ya da lokal ortamda yaşamadığımız şeyleri production ortamında yaşama ihtimalimiz olabiliyor.

Her alanda böyle. Client tarafında da böyle, backend'de de böyle, keza sizin tarafta da böyledir muhtemelen.

Elelemlerin production ortamındaki yaşadığı, sizin yaşadığınız en büyük challenge'lar nelerdir burada?

Buna ben cevap vereyim isterseniz.

Aslında... Elelemlerin açık kaynak verilerden eğitildiği için elelemlerin doğruluğunu ölçmek bir challenge aslında.

Biz bu eleleme eğittik.

Bu elelem ne kadar doğru çalışıyor?

Cevaplara ne kadar doğru bir şekilde cevap veriyor?

Domain'i ne kadar biliyor ve domain'e uygun olarak cevaplar üretebiliyor?

Bu bir zorluk. Bir de teknik taraftaki zorluklar var.

Bunlar da elelemler çok büyük modeller olduğu için bunların production ortamında kullanmak ve response time'ı düşünecek olursak gerçek zamanlı uygulamalarda milisaniyeler

seviyesinde önemli oluyor.

Elelemler de büyük modeller olduğu için response time'ı büyük olabiliyor.

Bunu optimize etmek bir zorluk.

Ayrıca bu elelemler Yüksek kaynak gerektiriyor bunları serve edebilmek için.

Bunları ölçeklenir bir şekilde production ortamına uygun bir şekilde sunmak da bir zorluk.

Ayrıca ayrı bir zorluk.

Ölçeklenebilirlik, response time bunlar ve el elemin doğruluğunu ölçmek ve prompt engineering'i ona göre yapmak ayrı bir zorluk.

Bunlardan bahsedebiliriz.

Bunun içinde farklı farklı çözümler var tabii.

El elemi ölçebileceğimiz farklı projelerimiz var.

El elemdeki genel zorluklar latency, ölçeklenebilirlik ve maliyet yönetimi.

Buradaki el elemler yüksek kaynak gereksinimi olan modeller olduğu için bunları verimli bir şekilde production ortamında kullanmak gerekiyor.

Bunlar için de farklı farklı çözümler var tabii.

Anladım. Valla yani her tabii ki her sistemin getirdiği zorluklar, her sistemin getirdiği challenge'lar mevcut.

El eleminde kendine özgü, kendine yönelik zorlukları, challenge'ları bulunuyor söylediğin üzere.

Bunun peki bir şey tarafı var bildiğim kadarıyla.

Modeli geliştirmek ve çıktılarını görmek için olan bir tarafı var.

Buralarda kullanılan gereken işte donanımdır.

ya da ortamdır falan bunlar nasıl sağlanıyor?

Peki neler kullanılıyor burada?

Burada elelemler zaten adı üzerinde büyük modeller olduğu için iyi bir GPU kaynağına ihtiyaç duyuyoruz.

Bunları yani uygulamalarımızda, real-time uygulamalarımızda kullanabilmek için inference aşamasında.

Dolayısıyla burada biz GPU'ları kullanıyoruz.

Bu GPU'ları da kendi...

on-prem makinalarımızda.

Kendi clusterlarımız var.

GPU clusterlarımız. Burada A100, H100 GPU'ların olduğu.

Burada modelleri kendimiz bu clusterlar üzerinde ölçeklenebilir bir şekilde deploy ediyoruz.

Ve bunları kendi servislerimizle client'larımıza sunuyoruz.

Aynı zamanda bizim sağladığımız bu sistemler sayesinde sağladığımız metrikleri dashboardlarda görselleştirerek el elemleri monitör ediyoruz ve buna göre gerekli scale

ihtiyacı olan yerlerde scale'i kendimizde yönetebiliyoruz.

Güzel. Yani baya baya kapsamlı baya geniş ya.

Yani şimdi tabii ki bu alanda çalışmak, bu alanda bir şeyler üretmek farklı bir şey.

Bunları dışarıdan dinlemek de farklı bir şey.

Dolayısıyla aslında ben mesela kendim sizi dinlerken yorumlamaya çalışıyorum.

Benim yaptığım şey oldukça uzak bir iş olduğu için.

Belirli bir noktada yorumlayabiliyorum ama çok sofistike çok güzel bir iş gerçekten sizin yaptığınız taraf.

Ben şeyi merak ediyorum şimdi bu tarafta Trendyol'da LLM tarafında R&D süreci nasıl ilerliyor?

Yani işte siz bir model eğiteceğiniz zaman bir bu modeldeki eğitim süreçleri nasıl Trendyol içerisinde?

Bunu şöyle anlatabilirim aslında çok amaçlı bir süreç var.

Önce neyi araştırabiliriz?

Hangi alanda gelişim sağlayabiliriz?

Bununla alakalı olarak düzenli olarak takip ediyoruz.

Hem yeni çıkan paper'lar hem yeni çıkan modellerin takibini yapıyoruz.

Ve aslında hangisi bizim için ulaşılabilir?

Neyi geliştirebiliriz?

Bunu kendi aramızda konuşuyoruz.

Brainstorming dediğimiz toplantılarımız var.

Önce burada bir strateji belirliyoruz.

Ondan sonra da mesela yeni bir işe girişeceğimiz zaman da genelde bu bir data hazırlığıyla başlıyor.

Çünkü elen veren çok veriden besleniyor.

Biz bu datayı nasıl hazırlayabiliriz?

Bunu nasıl şekillendirebiliriz?

Önce bunu konuşuyoruz. Ondan sonra eğitim için gerekli konfigürasyonları yapıyoruz.

Parametrelerin değişimini yapıyoruz.

E tabii biz bir değişiklik yaptık.

Yeni bir model ettik ama aslında yeni modelimiz eskisine göre daha mı iyi daha mı kötü?

Bunu ölçebilmek de çok önemli.

Bunun içinde evaluation sistemlerimiz var.

Kendi içinde modelin değerlendirme sistemleri bunlar.

Hem manuel bir şekilde gözle bakıyoruz.

Hem otomatik bir şekilde buradan metriklerimiz dönüyor.

Ve aslında... Bu model daha iyi veya bu modeli biraz daha bekletebiliriz gibi kararlar veriyoruz.

Gerçekten de bizim için özellikle belli tasklarda mesela satıcıların hani ürün yorumlarının genel özetlerini görmesi.

Böyle bir taskla yeni bir modelimizin başarısı daha yüksekse karar veriyoruz ve diyoruz ki hani biz bunu bu tasklarda kullanabiliriz.

Bununla alakalı yeni versiyonlara çıkıyoruz ve bütün ilgili ekiplere de bununla alakalı haber veriyoruz.

Böyle aslında başından sonuna kadar böyle production'a kadar dokunan Çok uzun bir süreci oluyordu.

Ben şeyi merak ettim ya.

Yani bir yerden bir arkadaşımdan duymuştum sanıyorum.

Bu tarz modellerde sürekli böyle lineer bir kalite yakalamak çok mümkün değil.

Hani işte ideal senaryoda senin de dediğin gibi Arif.

Hani bir sonraki eğittiğiniz yani eğittiğiniz modelde bir sonraki model önceki modele kıyasla aslında daha da kötü olabilir gibi bir senaryoda söz konusu değil mi burada?

Yani kesinlikle. Bunun testi çok önemli bir süreç.

Anladım, anladım. Aslında buradan da şeye bağlamak istiyorum bir noktada.

Şimdi bunları yaptıktan sonra el elemden alına çıktı da çok önemli oluyor.

Yani baktığımız zaman biz el elemden aldığımız çıktığının güvenli olmasını nasıl sağlıyoruz burada?

Aslında bunu da yine eğitim sürecinde müdahale etmeniz gereken bir süreç.

Çünkü direkt otomatik bir şekilde bırakırsanız, fazla liberal davranırsanız bu sefer başınıza başka dertler çıkabiliyor.

Biz bununla alakalı alignment denilen bir problem var.

Hani yapay zekaların insanlarla uyumu, bizim değer yargılarımızla, bizim temel kaygılarımızla uyumluluğu.

Önce bununla alakalı datalar hazırlıyoruz.

Yani mesela ırkçılık konusunda, işte belli dinlere bakış açısı konusunda, bazı politik argümanlar konusunda istemediğimiz yorumlar yapmaması için uygun bir datasını sağlıyoruz.

Ardından da bunu test ediyoruz.

Hani farklı şekillerde hani biz böyle bir şey sorsak acaba nasıl tepki veriyor diye.

Bunun da eksik gördüğümüz noktalarda hani yineleyerek hani sorunu azaltacak şekilde sürekli modellerimizi güncellemeye çalışıyoruz.

Bu da oldukça zor bir iş ya bence.

Yani sürekli bunu datayı güncel tutmak, sürekli bu datayı işte ideal tutmak.

falan oldukça zor, oldukça meşakkatli bir süreç gibime geliyor.

Burada tabii şey konusundan da biraz konuşmamız lazım bence.

Yani böyle bir data, böyle büyük bir datayı yönetmenin yanında bu büyük datanın verimli olmasını da aslında sağlamak gerekiyor.

Performans burada herhalde çok önemli bir nokta haline geliyor.

Siz el elemlerin performansını nasıl ölçüyorsunuz?

Buna ben cevap vereyim isterseniz.

Aslında el elemlerin performansına İki açıdan bakabiliriz performansına.

Birincisi doğruluk.

LLM doğru çalışıyor mu?

İstediğimiz cevapları üretebiliyor mu?

Bu kısmı bizim LLM Evaluation için geliştirdiğimiz bir proje ile aynı zamanda oluşturduğumuz bir validation dataseti ile test ediyoruz.

Sorduğumuz sorulara doğru cevap üretebiliyor mu?

Ve bu cevaplar ne kadar doğru?

Bu proje ile Her el elem modeli eğitildiğinde bu metrikleri alıyoruz ve karşılaştırıyoruz.

Yeni model ne kadar daha iyi?

Ve data setimize göre ürettiği cevaplar ne kadar doğru?

Bunları ölçmeye çalışıyoruz ve buna göre el elemin doğruluğuna karar veriyoruz.

İkincisi de el elemlerin response time'ı ne kadar iyi ve yük altından ne kadar verimli çalışıyor?

Bunu ölçme kısmı.

Bunun için de hazırladığımız dashboardlarda Bunu monitör ediyoruz.

Aynı zamanda LLM'lerimizi kullanan API'lere load testler koşuyoruz.

LLM'e gidecek şekilde.

Ve bu dashboardlarda ne kadar GPU kullanıyoruz, ne kadar CPU, ne kadar RAM kullanıyoruz ve çıktılarımız ne kadar çıktı öğretebiliyoruz.

Bunları bu dashboardlarda monitör ederek not alıyoruz.

Ve bu şekilde de LLM'lerin production ortamına ne kadar uygun olduğunu ve hazır hale geldiğini Ve o yönde atmamız gereken adımlar varsa, değiştirmemiz

gereken bir mimari bir kurgu varsa onu değiştiriyoruz, onu ayarlıyoruz.

Çok güzel, çok güzel.

Yani biz genellikle...

Servis ekipleriyle falan konuştuğumuz zaman, bölüm yaptığımız zaman monitoringden falan bahsediyorduk.

İşte monitoringle alakalı sorularımız oluyordu.

Aslında bu sorunun cevabı da birazcık ona hit ediyor gibi.

Biraz daha ufak ufak sonlara doğru yaklaşıyoruz bölümümüzün.

Biraz daha şeyden konuşalım istiyorum.

Şimdi bizim burada oluşturduğumuz elelem Türkçe bir elelem.

Ve Türkçe doğal dil işleme ekosistemiyle alakalı ben bir sormak istiyorum.

Yani nasıl ilerliyor? Türkçe doğal dil işleme ekosistemi ve nereye doğru gidiyor?

Aslında İngilizcenin bayağı gerisindeyiz.

Fransızca, Almanca gibi dillerin de gerisindeyiz.

Ama bir gelişim yürümesi olduğunda söylemek mümkün.

Hem açık kaynaklı Türkçe'de çok fazla çalışma gerçekleşiyor.

Trendyol bunlardan biri. Ama mesela Boğaziçi'ndeki arkadaşlar turna modeli geliştirirler.

Yıldız Teknik'te Kozmos çalışması var.

Mesela Türk Sergi bir şirketlerin de el elem çalışmaları var.

Aslında bunların hepsi hani...

Türkçe doğal dil işleme ekosistemine ciddi katkı sunan çalışmalar.

Bunlarla beraber Türkçe modellerinde başarısı biraz daha yukarı çıkıyor.

Ama böyle daha büyük, daha kapsamlı bir şey yapabilmek için çok büyük kaynaklara ihtiyaç var.

Özellikle GPU yani ekran kartı kısmında çok büyük sistemlere ihtiyaç var.

Yine data kısmında filtrelenmiş, temizlenmiş çok büyük veri kaynaklarına ihtiyaç var.

Ve bunlar da aslında çok büyük bir insan kaynağı gerektiriyor.

Yani böyle yalnızca ufak bir ekibin yapabileceği bir şey değil.

Nasıl Amerika'da bir Open AI inisiyatifi var ve bu inisiyatif aslında çok fazla farklı koldan insanın bir araya gelmesiyle oluştu.

Türkçe'de de bu gibi inisiyatiflere ihtiyaç olduğunu düşünüyoruz.

Yani bu sistemlerin tamamen en yüksek başarıya gelebilmesi için.

Ama şu anki durumda da baktığımızda biz trend yolu olarak fena durumda değiliz.

Yani Türkçe'ye bayağı destek veriyoruz.

Mesela 2024 yılında çıkan bir makale var.

Türkçe'deki LLM performanslarına kıyaslayan.

Eren Doğan ve... Yıldız Teknik'teki birçok arkadaşımızın.

Mesela orada Trendyol'un chat modeli birinci sırada gelmiş.

Ve aslında bugünkü modelimiz o modelden değil.

Yani son modellerimizi takip etmelerini de öneriyorum.

Özellikle Hugging Face'den düzenli olarak güncelliyoruz.

Hani gitgide çıtayı daha da yükseğe koymaya çalışıyoruz.

Ama dediğim gibi hani OpenAI kıyasında veya böyle LAMA kıyasında bir şey yapabilmek için Türkçe LLM sistemlerinin çok daha büyük bütçelere ihtiyacı var.

Anladım. Yani aslında bu tarz bir bütçeyi ekiplerine veren, bu tarz imkanları ekiplerine veren şirket ve kurum sayısı Türkiye'de maalesef şu an için biraz az durumda.

Biz de aslında o şanslı olan ekiplerden biriyiz diyebiliriz.

Zaten Trendyol'un birçok alanda öncü olarak ilerlettiği birçok proje var.

LLM'de de ilk ondayız, ilk beşteyiz hatta.

Diyebiliriz diye düşünüyorum.

Çok güzel bir çalışma gerçekten.

Tekrar tebrik ediyorum sizi.

Şimdi bizim klasik ekip sorumumuzdan önce bir de şunu merak ediyorum.

Şundan bahsedelim istiyorum.

Elelem çalışmalarıyla alakalı sizin gelecek planlarınız nelerdir?

Tabii buna da ben cevap vereyim.

Arif de çok güzel bahsetti.

Türkçe ekosisteme şu an çok katkı veriyoruz.

Trendyol elelem çok iyi bir noktada.

Kendi testlerimizde de görüyoruz.

Biz özellikle e-commerce domeninde çalıştığımız için bu modeli de daha kendi use case'lerimize özel hazırladık.

Fakat daha böyle public problemlere baktığımızda veya bizim use case'imize girmeyen problemlere baktığımızda Trendyola'dan biraz daha ortalamada kalabiliyor.

Öncelikle bu modeli daha böyle genel amaçlarla kullanılabilecek seviyeye çekmemiz lazım.

Şu anda da belli bir oranda bu ihtiyacı karşılıyor fakat çok daha iyi olabilir.

Bunu OpenAI çok iyi yapıyor. İngilizce de LAMA çok iyi yapıyor.

Öncelikle bizim de modelimizi bu noktalara çekebilmemiz lazım.

Ardından bu model sadece Türkçe'ye hakim fakat Trendyol pek çok bölgede, pek çok ülkede faaliyet gösteriyor.

Bu modelin farklı diller de bilmesi gerekiyor.

İleride multilingual çalışmalar yapabiliriz.

Aynı zamanda şu an tamamen tekst odaklı gittik ama bunun bir de görsel tarafı var.

Yeni çıkan modeller görsel işleme kapasitesine de sahip.

Hem görsel hem metin verip ona göre bir çıktı isteyebiliyorsunuz.

Bizim de multimodal dediğimiz hem görsel hem metin olan model çalışmaları planlarımız var.

Önümüzdeki senede bunlara odaklanmaya devam edeceğiz.

Süper valla. Tekrar ellerinize sağlık.

Tekrar tebrik ederim arkadaşlar. Şimdi her ekibe klasik sorduğumuz bir sorumuz var.

Size de sormak istiyoruz. Bu ekip eğlenmek için etkinlik amacıyla işte iş harici ya da iş içerisindeki kahve molalarında vesaire neler yapıyor?

Bizim işte örneğin nar gireceği ekiplerimiz var.

İşte araba sevdalısı ekiplerimiz var.

Yemek turizmine çıkan ekiplerimiz var vesaire.

Sizde genel olarak neler yapılıyor?

Abi şöyle biz bol bol yemeği seviyoruz sanırım.

Yani genelde ekip etkinliklerimizi düşündüğümde böyle farklı restoranlara gittiğimiz, hani böyle yemediğimiz şeyleri yemediğimiz böyle daha çok yeme odaklı bir ekibiz.

Hani farklı etkinlikleri de umarım 2025'de yaparız.

Süper. Benzer bir cevap bekliyordum açıkçası.

Çünkü Trendyol'daki genel ekiplerin genel mentaliti bu yönde.

Biz yemeği seven bir ekipler zinciriyiz diyebiliriz aslında.

Harika. Harika valla.

Arkadaşlar çok teşekkür ederim.

Çok keyifli bir bölüm oldu benim için.

Çok fazla şey öğrendim. Sizleri tanıdığım için de çok mutlu oldum.

İyi ki geldiniz. Çok teşekkürler.

Bizim için de çok keyifli oldu.

Teşekkürler. Çok teşekkürler.

Çok teşekkürler. Süper.

Biz teşekkür ederiz.

Bunun yanında Trendyol Talks podcastinde olmasaydı ne olurdu adında yeni bir serimiz var.

Bu podcast serisine Trendyol kültüründen, kültürümüzden beslenen iş yapış biçimlerimizden ve ritüellerimizden konuşuyoruz.

Onu da tüm podcast platformlarında Trendyol Talks yazarak bulabilirsiniz.

Sonraki bölümlerimizde başka ekiplerle görüşmek üzere.

Kendinize iyi bakın.