ExplAInable

איך לא להעסיק ג’וניורים במקצועות הדאטא

פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס.
המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית.
אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום.
באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו
https://t.me/explainablepodcast
לעיון במבחן הבית:
https://argmax.ml/jr
 

רשתות נוירונים על גרפים עם חגי מרון

בפרק זה אירחנו את חי מרון מ
nvidia
לדבר על עיבוד גרפים עם רשתות נוירונים.
נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית.
נדבר על 4 הגישות הרווחות למידול
שיטות ספקטרליות
מודלי העברת הודעות
רשתות אקוויורינטיות
וכמובן, טרנספורמרים
לקריאה נוספת:
https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf
הרצאה של חגי על יצוג גרפים כסימטריות
https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s
 

יצירה אוטומטית של קוד עם פרופ ערן יהב וד”ר אורי אלון

בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי
Github Co-Pilot
בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי
TabNine
ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב.
נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי.
כמו כן נדבר על אתגרים מוצריים ב
TabNine
ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו.

Data Centric AI עם סיגל שקד

נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות.
הטרנד של
data centric ai
שמוביל Andrew Ng
דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים.
סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של
resampling / augmentation
קישורים רלוונטים:
imbalanced-learn
TGAN
CTGAN
TABDDPM
SDV
Commercial: gretel, datomize

על חינוך בתחום הבינה המלאכותית עם שי פרח

בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים.
בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב.
האם הגיע המקום לחשיבה בשיטת
ai4all
על משקל תנועת ה
coding4all
הפופולארי.
דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים.
מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.
 

זרימות מנורמלות עם מייק ארליכסון

מייק, אורח קבוע של הפודקאסט ידבר איתנו על
Normalized Flows
מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל
Diffusion model, GANS and VAE
נדבר על ההבדלים בין המודלים, על היתרון ב
density estimations
ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

אנומליות בתמונות עם ערן אילת

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות..
חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים.
בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות
OOD
חריגה סמנטית, אובייקט לא מוכר.
ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)
 
נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות
קרדיט למחקר משותף: מתן טור פז

איך פרילנסר ניגש לפרויקט AI

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.
בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.
נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.
איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל
AI
והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

Co-Pilot - Codex ויצירה של קוד עם מודלי שפה

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של
Program Synthesis
העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.
אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.
ונדבר על קודקס, מודל השפה ש
Open AI
אימנו על גיטהאב, וכיצד הוא עובד.
כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

שישה מאמרים שכל דאטא סיינטינסט חייב להכיר עם שקד זיכלינסקי

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.
שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.
ששת המאמרים הם:
(1) Attention Is All You Need
(2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
(3) A Style-Based Generator Architecture for Generative Adversarial Networks
(4) Learning Transferable Visual Models From Natural Language Supervision
(5) Mastering the Game of Go with Deep Neural Networks and Tree Search
(6) Deep Neural Networks for YouTube Recommendations
שקד גם כתב בהרחבה במדיום פה:
https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd