Episodes

7 days ago
7 days ago
דיברנו הפעם על פרויקט ai-junk המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון.
דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :)
הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו כאן ונעדכן אתכם.
קישורים
Ai-junk
כתבה למטיבי לכת בעברית על RL
DeepMind is Using AI to Teach Robots to Play Soccer

Sunday Nov 05, 2023
Sunday Nov 05, 2023
נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.
גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?
נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון
Label spreading, transfer learning, kde
או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.

Tuesday Oct 24, 2023
Tuesday Oct 24, 2023
יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.
למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו
Json / Data Class
נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.
ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.ספריות שימושיות:
JSONFormer - https://github.com/1rgs/jsonformer
OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates
O

Monday Oct 02, 2023
Monday Oct 02, 2023
בפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן.המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ?
מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר.
נדבר על נהלים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.

Sunday Sep 17, 2023
Sunday Sep 17, 2023
בפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebay
בסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו.
דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד.
נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח.
Data Operations IL
https://www.linkedin.com/groups/9236026/

Tuesday Aug 29, 2023
Tuesday Aug 29, 2023
זה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב.
ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו.
בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב.
נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם.
נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו לרמה של XGBoost.Links:
https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables.
https://github.com/kkondo1981/aglm
GAM - Generalized additive models
https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515

Monday Aug 14, 2023
Monday Aug 14, 2023
מי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש.
וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש.
אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח.
בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ?
קישורים:1. One Shot Learning

Wednesday Aug 02, 2023
Wednesday Aug 02, 2023
בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון.דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה.
דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא.
איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים.
ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים.
קישורים:
שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html
https://research.ibm.com/publications/strategic-classification
On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf

Friday Jul 07, 2023
Friday Jul 07, 2023
אמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאקHayStack2023
המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה
Language models
דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים
Splade
Hyde
Search augmentation with LLM

Sunday Jun 25, 2023
Sunday Jun 25, 2023
בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.

מי אנחנו
תמיר נווה, מומחה עיבוד תמונה ולמידה חיזוקית עם נסיון רב בתעשיות הבטחוניות ובהדרכה.
תמיר מוביל את ai-blog ואת המיזם ai-junk שמלמד ילדים על אינטלגנציה מלאכותית עם אביזרים שאפשר למצוא בכל בית.
אורי גורן הוא מומחה במערכת המלצה ועיבוד טקסט, עם נסיון עשיר בסטארטפים ובאקדמיה.
אורי מוביל את argmaxml, חברת יעוץ בתחום ומארגן את קהילת pydata Tel-Aviv.
פודקאסט זה הוא מיתוג מחדש (יש שיגידו עונה שניה) של amlek.ai .