ExplAInable

AlgoGen - שילוב של אלגוריתמים ומודלי שפה גנרטיביים, עם אמיר שחר

בפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים.
לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים.
אלגוריתמי חיפוש כמו
A Star
מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze.
למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש.
אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים.

מערכות המלצה כמשק כלכלי - עם ד״ר עומר בן פורת

נהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח.
אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים.כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק.
 
דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים.
בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים.
ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות
 

עושים כבוד לעצים

רשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים.
מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי.
בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit.
נדבר על שתי ההרחבות הנפוצות:
Random Forest & Gradient Boosted Treesוהיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן

אימות פורמלי של רשתות נוירונים עם איתי בוחניק וד״ר גיא אמיר

נדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן.אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות.בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים.בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.

Mamba סיכום מנהלים ותחזיות לעתיד,עם מייק ארליכסון

עולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו.פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך.מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.

Mamba סקירה טכנית עם מייק ארליכסון

יש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא.פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה.נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין.הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.

עולם ללא עוגיות - פרק הפוך עם דין פלבן

פרק משותף עם דין פלבן מThe MLOps Podcast
על הנושא שמעסיק את עולם הפרסום היום.ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות).
לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה.בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.

למידה מולטי מודאלית עם ד״ר חן חג׳ג׳

מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney.
נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה.
נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.
 

ניהול פרויקטי דאטא סיינס עם חן קרני

ניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב.בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה.
איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.

טרנספורמרים בעיבוד תמונה Visual Transformers

 
טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות?
אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה.
בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.
 
קישורים
Attention is All You Need
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
End-to-End Object Detection with Transformers
Vision-Transformer-papers
https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a
https://paperswithcode.com/methods/category/vision-transformer