Zero to Hero - Trendyol Data Talent Bootcamp Kapanış Projesi ile İlgili Merak Edilenler

Herkese selam. Bugün Data Talent Bootcamp'in kapanış projesi hakkında konuşmak için toplanmış.

İsterseniz öncelikle birbirimizi kendimizi tanıtalım.

Ben Ceren, Ege Üniversitesi Bilgisayar Mühendisliği 4.

sınıf öğrencisi değilim artık, mezun oldum.

Trendyol'da Data Warehouse Developer olarak çalışıyorum.

Bootcamp sonucunda geldim Trendyol'a.

Bu şekilde Baristan ve ben de.

bahsedeyim. İsmim Barış.

Ben de gelen gibi bilgisayar mühendisi öğrencisiyim.

Benim daha bir senem daha var mezun olmaya.

Ben de aynı şekilde Data Talent Bootcamp katılımcılarından bir tanesiydim.

Ben de Çağıl'a bırakayım sözü.

Merhaba herkese. Ben de Çağıl Ege Üniversitesi Bilgisayar Mühendisi 3.

sınıf öğrencisiydim. Benim de son senem şu an.

Ben de Data Engineer olarak çalışıyorum Trendyol'da.

Bootcamp sonucu katıldım.

Ben de Tuğçe'ye bırakayım sözü.

Ben de Tuğçe, Eskişehir Osman Gazi Üniversitesi Bilgisayar Mühendisliği'nden mezun oldum.

Şu anda Trendyol'da da Data Engineer ekibinde çalışıyorum.

Ben de damla yatayım sözü.

Merhaba, ben de Kocaeli Üniversitesi Bilgisayar Mühendisliği mezunuyum.

Trendyol'da da Data Warehouse analist olarak çalışıyorum.

Gökay? Mezunum da ben kaldım.

Merhabalar, ben Gökay Varçok.

İstanbul Teknik Üniversitesi İmailat Mühendisliği mezunuyum.

Ben de Bootcamp süreciyle beraber Trendyol'da Data Warehouse analist olarak çalışıyorum.

Tamamdır. Öncelikle şeyden bahsedelim isterseniz.

Eğitim sürecinde de bahsettiğimiz gibi 3 alan üzerinde ayrı ayrı projeler yaptık.

Bize bir sheet gönderildi.

Hangi alanda çalışmak istiyorsun?

Ona göre herkes seçti ve onlara mail üzerinden projeler atıldı.

Data Warehouse tarafın, developer tarafını istersen başla.

Sen Barış, nasıldı?

Nasıl bir süreçten geçtin?

Kendimi tanıtırken de nerede çıktığımı söylemeyi unutmuşum da ben de Data Warehouse Development ekibinde çalışıyorum.

Bu vesileyle onu da söyleyeyim.

Bize şöyle bir proje verilmişti.

8 adımdan oluşuyordu. İlk 4 adımı gerekli olan tasklar, son 4 adımı da opsiyonel tasklar olmak üzere 8 adımlı bir projemiz vardı.

Genel olarak şöyle söyleyebilirim.

Bir ihtiyaç sürecine baştan aşağıya simüle ettiğimiz bir süreç oldu.

İşte uzaktaki bir sunucudan işte Postgres TV'den işte extraction'ı aldık.

Daha sonra bunları işte şu an Trendyol'da data warehouse olarak kullanılan BigQuery'e Google BigQuery'e çıktık.

İşte bunun üzerinde çeşitli aksiyonlar aldık.

İşte SCD gibi işte slowly changing dimension modelleri uyguladık.

Ve en son bütün bu işlemleri Airflow adı verilen bir tool ile Benim ilk dört adımı anlattım.

Ceren'de opsiyonel adımlardan bahsetmiştin isterseniz.

Opsiyonel adımlar dediği gibi zorunlu adımlar değildi.

Ama tabii yapılınca faydası oldu girmemiz için de.

Opsiyonel adımlarda da bir Kafka topiğinden BigQuery'e tablo alındı.

Burada da işte gerekli bir işlemler yapıldı tablo üzerinde.

Bir summary aggregation.

Sonra da yine Airflow üzerinde schedule ettik.

Analiz tarafını dinleyelim isterseniz bir de.

Olur ben bir girizgah yapayım.

Bizim projemizde böyle aslında tam bir business analiz işinin simülasyonu gibiydi.

Projenin ilk aşaması...

Böyle bir iş listesinden backlogumuza nasıl iş alınır biraz onu simüle ettik.

İşleri eforlayıp önceliklendirerek, bunu kendi aramızda tartışarak, hangi işe öncelik vermeliyiz, hangi işi yapmamız bizim için daha mantıklı olur gibi şeyleri beraber tartıştık.

Bu da projenin beraber yaptığımız ilk aşamasıydı.

Sonraki aşamaları da Gökay anlatsın.

İkinci aşamada da bize bu önceliklendirme sonucu seçtiğimiz seçeneğe göre, veriler verildi.

Bazı işte datalar ve tablolar verildi.

Bizden bu tabloları modellememiz ve BI tool'ları ile de görselleştirmemiz optional olarak istendi.

En sonunda sonucunda da projeyi sunarak bitirmiş olduk aslında.

Ben de bundan sonrasında data engineer kısmını da dinleyelim diye.

Tamam ben başlayayım o zaman.

Temel olarak bizde Data Engineer projesinde iki kısımdan oluşuyordu.

Base Processing ve Stream Processing olarak iki ana kısımdan oluşuyordu.

Projemizde batch processing olarak Spark kullandık biz.

Streaming kısmında ise filling kullandık.

Bir Kafka topiğine event bırakıp oradan eventleri okuyup tekrar bir Kafka topiğine yazıyorduk.

Böyle bir proje yapımımız vardı.

Projemizde bir de tabi doküman hazırlamamız, proje kodlarımız, proje yazdığımız kodlara test yazmamız ve DevOps kısmı vardı.

Çağız sen de DevOps kısmından bahseder misin?

DevOps kısmında da aslında yazdığımız kodları biraz daha otomatize etmeye çalıştık.

Yani Spark'ı, Flink'i kendi kendine ayağa kalkabilir halde yapmamız beklendi.

Çok başarılı geçmedi açıkçası bu süreç çoğumuz açısından ama yine de elimizden geleni yaptık.

Onun dışında projede bizde mesela dikkat edilen kısımlarda işte kod kalitesi, yani clean code yazabiliyor oluşumuz, kodlarımızın test edilebilir halde oluşuyor.

Test yazmamız bunlara. Hani Tuğçe'nin de bahsettiği gibi dokumentasyon gibi şeyler de önemliydi bizim proje değerlendirme sürecimizde.

Genel olarak aslında üç ekibin de şeyi böyleydi.

Ana hatta bile projeler böyleydi.

Şimdi aslında size anlatmak istediğim şey biraz daha bu projeleri yaparken bireysel olarak nasıl bir Tecrübe yaşadık.

Nasıl süreçlerden geçtik?

Bunları aktaralım istiyoruz size.

Ceren istersen seninle başlayalım.

Senin için bu kapanış süreci nasıldı?

Tabii. Bu arada 3 alanında ortak noktası proje döneminde her birimize 2 hafta süre verildi.

O sürenin sonunda da hepimiz sunum yaptık.

Ben sunumumu PowerPoint üzerinde gerçekleştirdim.

Kısaca yaptığım şeyleri...

Yapıp sonra Airflow üzerinde çalıştırmamız istendi biz de projeyi.

Onu da çalıştırdıktan sonra yaşadığım deneyimleri anlattım en sonunda, zorlandığım yerleri.

Benim için süreç yani çok zor mu geçti diye düşünüyorum.

Hatırlamıyorum. Zor geçmişti, zor geçmişti.

Biraz zor geçti galiba.

Sunumu zaten ben böyle sabah 9'da falan yetiştirdim.

Hiç uyumadan sunum hazırladım.

Ondan sonra sunmuştum yani uykusuz bir şekilde.

Süreç boyunca sürekli bir grup kurulmuştu zaten.

Onun üzerinden tüm Trendyol tarafında bize yardımcı oldular.

Bilmediğim her şeyi sordum orada.

Siz de çekinmeyin kesinlikle kapanış projesinde.

yardım için sormanız lazım.

Bunlar da bunu bekliyor. Biz her şeye binmekte zorunda değiliz.

Bu şekilde geçti benimki.

Başka paylaşmak isteyen var mı?

Ben de senden soru alabilirim.

Benim için de sunum biraz zorlayıcı olmuştu.

Ben ilk hafta projeyle uğraştım.

İşte ondan sonra ikinci haftayı komple sunum tarafına ayırmıştım.

Projeyi yaparken de zorlandığım kısımlar aslında hemen hemen hepimizin Zorlandığı şeylerle aynı yeni teknolojiler.

Mesela Docker gibi, container sistemleri.

Biz bunları kendi evimizde oturup çalıştığımız zaman bu kadar iyi öğrenemiyoruz.

Yani gerçek bir ortamda öğrenilebilecek teknolojiler.

Özellikle data alanında böyle.

Bizim elimizde işte Big Fear'i vardı.

Orada gerçek bir detayla uğraşıyorduk.

Ben hiçbir zaman bu scale'li bir projede içinde bulunmamıştım daha önce.

Bunlar biraz hem heyecan vericiydi hem de challenge'dı bizim için.

Onunla bir sürü şey öğrendik.

Daha sonra sunum hazırladım.

Sunum için işte ben de aynı şekilde bir slide hazırladım.

İşte yaptığımız uygulamanın görselleri, teknik çizimler vesaire ne anlatacağım, süreyi nasıl iyi kullanabilirim.

İşte 30 dakikalık bir süre var.

Bu sürenin 5 dakikasında şunu anlatayım, son 10 dakikasında şunu anlatayım gibi planlar yaptım.

En son tabii pek tutmadı o planlar.

Sunum sırasında bir elektrik kesintisi yaşadım bence.

Sudo'nun ortasında böyle bir kesilip geri gelmek zorunda kaldım.

Ama yine yani güzel bir deneyimdi diyebilirim.

Çağla ben de sözü vereyim.

Benim de şöyleydi.

Açıkçası biraz zorlayıcı bir dönemdi.

Benim hem final haftama denk geldi.

O iki haftalık sürecin neredeyse son üç gününe kadar hep bir sınavım, ödevim, projem vardı.

O açıdan biraz zordu sürekli vakit ayırmaya çalışmak.

Büyük bir challenge oldu benim için.

Onun dışında ekstra mesela monitörüm falan bozuldu böyle tam projenin ortasında zaten hiçbir şey yolunda gitmez.