ExplAInable

זרימות מנורמלות עם מייק ארליכסון

מייק, אורח קבוע של הפודקאסט ידבר איתנו על

Normalized Flows

מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל

Diffusion model, GANS and VAE

נדבר על ההבדלים בין המודלים, על היתרון ב

density estimations

ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

אנומליות בתמונות עם ערן אילת

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות..

חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים.

בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות

OOD

חריגה סמנטית, אובייקט לא מוכר.

ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)

 

נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות

קרדיט למחקר משותף: מתן טור פז

איך פרילנסר ניגש לפרויקט AI

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.

בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.

נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.

איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל

AI

והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

Co-Pilot - Codex ויצירה של קוד עם מודלי שפה

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של

Program Synthesis

העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.

אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.

ונדבר על קודקס, מודל השפה ש

Open AI

אימנו על גיטהאב, וכיצד הוא עובד.

כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

שישה מאמרים שכל דאטא סיינטינסט חייב להכיר עם שקד זיכלינסקי

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.

שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.

ששת המאמרים הם:

(1) Attention Is All You Need

(2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

(3) A Style-Based Generator Architecture for Generative Adversarial Networks

(4) Learning Transferable Visual Models From Natural Language Supervision

(5) Mastering the Game of Go with Deep Neural Networks and Tree Search

(6) Deep Neural Networks for YouTube Recommendations

שקד גם כתב בהרחבה במדיום פה:

https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd

Novel Class Discovery זיו פרוינד על

בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה.

מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ?

זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה.

נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו

Contrastive

ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.

 

 

 

 

 

לקריאה נוספת

[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.

 

[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.

 

[1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018

 

[1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.

 

[1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.

 

[1]Min, Erxue, et al. "A survey of clustering with deep learning: From the perspective of network architecture." IEEE Access 6 (2018): 39501-39514.

 

Multi-Task Learning עם איתי מרגולין

בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר.

מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו.

נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ?

מה ההבדל מול
Transfer learning ?
ואיך משלבים כמה מטרות לפונקציית לוס אחת

מערכות המלצה בטאבולה עם דנה קנר

כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס.

בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט.

נדבר על המלצות מבוססות תוכן בלבד

content filtering

המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009

collaborative filtering

ונדבר על מימושים כגון וריאציות על

matrix factorization

ו

factorization machines

כדי לשלב גם תכנים וגם התנהגות משתמשים להמלצה אחת.

כמו כן נדבר על איך טאבולה עושים

Transfer learning

כשיש טראפיק מועט, או כשיש תלות גדולה בין אתרים.