Hadas: שלום לכולם, אני ידע שיינפלד ואתם בעל החיים ועל המוצר, פרק 28. והיום נמשיך את הסדרה הנושא של שני הפרקים האחרונים, אם הייתם איתנו, אני מקווה שהייתם איתי, ומקווה שקשבתם וזה נתן לכם מחשבות ועזר לכם לחשוב על הדברים. אז מי שהקשיב יודע ששני הפרקים האחרונים התעסקו באל אלמים, באל אלמים החמודים, כשבפרק הראשון דיברנו על ה... יוזרים, ובפרק השני דיברנו על הממשק. והיום נדבר על מה בא אחרי, או מה עוד אחד מהיסודות של אסטרטגיה המוצרית, ושל עבודה מוצרית בכלל. אם אתם עוקבים אחריי באיזושהי מדיה, אז אתם בטוח, בטוח יודעים, שהדבר הבא שככה יציק לי וידגדג לי בעצבאות, יהיה ענייני המטריקות. איך מודדים הצלחה? איך מודדים הצלחה? שאלת פרודקט קלאסית, ובמיקומות האלה של ה-llm, זה לא פשוט בכלל. זה לא פשוט בכלל ועל זה נדבר היום. בואו נתחיל מהתחלה, איך יודעים שמוצר הוא מצליח? דבר ראשון, יש לו הרבה יוזרים, ודבר שני, הוא עושה הרבה כסף. מבחינה זאת, יאללה, מוצרים מוצליחים, קדימה. אין הרבה מה להוסיף ללא ספק המוצרים, אלא גם מבחינת הגדילה שלהם, מספר המשתמשים, וגם מבחינת כמות הכסף שהם עושים, זה מה שנקרא unprecedented. לא היו כאלה בעולם, לא היו כאלה בכדור הארץ. באמת הם עושים... כמות היוזרים היא מתורפת וגם הכסף שהם עושים. למרות ש... בואו נשים את זה ככה בסקופ הנכון. אנחנו יודעים שהם גם לתת את השירות, זה עדיין מאוד מאוד מאוד יקר, והם ברמה מסוימת מסבסדים את זה. כלומר, העלות של... הרצאה של מה שנקרא אינפרנס, של לתת לכם תשובות שמבוססות על מודלים, זה דבר מאוד מאוד יקר. כולם מדברים על זה שמתאישהו המחיר של זה ירד, אבל כרגע האנווידיה עדיין חוגגת על הצ'יפים שלה שעושים את זה בצורה הכי יעילה, וזה אחד הדברים שמתאישהו יצטרכו להיפטר, כלומר התעשייה לא תוכל להמשיך לממן את הדבר הזה, וזה אחד האתגרים, כמובן, ולכן הסיפור של כן אנחנו עושים עכשיו המון המון כסף, זה עדיין לא מספיק. ובטח שהמטריקות האלה לא מספיקות לנו, מנהלי מנהלות המוצר, כי אנחנו צריכים לדעת מה בדיוק עובד, ומה בדיוק לא עובד, ואנחנו צריכים לבנות את האסטרטגיה שלנו, ולהיות מסוגלים למדוד אותה, ולראות אם מה שאנחנו חוזים בשביל המוצר שלנו, אמא אמא, אכן מצליח לקרות. וגם במטריקות הבסיסיות האלה, כמובן שיש שאלה של איך עושים את הכסף הזה, ודיברנו על זה קצת בשבוע שעבר בהקשרים של עובר לפני שתיים. בהקשרים של יוזרים של B2C לעומת יוזרים של B2B. כולנו יודעים של הארגונים יש יותר כסף בתיאוריה, או יותר יש מנגנונים שיותר קל לתמחר אותם, לעומת B2C וכל עולם הפרסומות וכו'. אז גם כאן בשאלת ה-איך עושים את הכסף, זאת שאלה פרודקטית, לא אכנס אליה היום, אבל אפילו ברמת המדידה, אקטיב יוזר, האם זה עדיין מדד רלוונטי? האם גם בעולמות האל אלמיים אני רוצה ש... יהיו לי פעם אקטיבי? האם פעמים זה מספיק? מה המשמעות של אקטיבי? נכנס פעם אחת שאלה אחת ויצא. טוב כנראה? אנחנו נכנסים לכל העולמות של סשנים כמה זמן וכו' וכו' ועל זה נדבר היום. אז בואו נתחיל לצלול לפרטים וננסה להפיין מדדים יותר גרנולרים של הצלחה של המוצר הזה. כשאני מדברת על הצרכה של מוצרים ודהיימת כשאני מלמדת את זה אני הרבה פעמים משרכת את זה גם לאיפה המוצר נמצא ב-Life Cycle שלו יש כל מיני פריימורגס שמסתכלים על זה לאיפה מה ה-Challenges הגדולים שלנו, להבין וכולי אנחנו לא ניכנס לזה היום אנחנו נעשה דיון קצת יותר ה-level על באמת מטריקות אפשריות ואם תרצו מוזמנים לכתוב לי בכל דרך אפשרית ואפשר להיכנס גם לעניין הזה שלה של הלייפסייקן ושל איך מחליטים בכלל באיזו מטריקה להתרכז באיזה שלב, אבל זה לא היום. אז בואו נדבר על המדדים היותר גרנולריים. כמו שאמרנו, Daily Active Users, מדד אפשרי, אני בטוחה שמסתכלים עליו, אבל אלף, לא כל היוזרים הם אותו הדבר, ובטח שלא כל הסשנים הם אותו הדבר. אז בואו נדבר על סשן של עבודה עם מודל. איך... איך מודדים שהסשן היה מוצלח? איך מודדים שהסשן היה מוצלח? אז גם כאן יש עניין של סגמנטציה, אוקיי? יש סגמנטציה שיהיה למורכבות המטלה, יש סגמנטציה בכלל של טיב המטלה, אם מישהו בא, ובאופן מפתיע, הבנתי מהסטטיסטיקות שזה אחת הניוס קייסים הכי הכי מבוססים, שהכי שכיחים, שאנשים באים לאל אליהם בשביל לפרוק. בשביל לדבר סוג של חבר וירטואלי, תומך, מטפל כזה, זה שסשן שבמהותו הוא מאוד ארוך, אין לו פתרון נכון או לא נכון שצריך להגיע אליו, אין פה עניין של ניסוח של הפרומפטים או משהו כזה, זה סוג אחד של סשנים שהמטריקות שלו צריכות להיות מסוג מסוים. לעומת זאת יש אנשים שנכנסים ואמרים תרגם לי, סכם לי כל הדברים האלה. זה היינו רוצים בפרומט ונגמר, שהכל יהיה מדויק ועובד כמו שצריך, ואז כל הדברים שבדרך, כשאני לא מדברת בכלל על הדברים היותר מורכבים, כשאנחנו בונים אפליקציות, קלוד קוד, ועניינים, בואו נדבר על את GPD לצורך העניין, או על ה-use caseים שהם מבוססי שיחה. אז השלמת המשימה יכול להיות מטריקה. נכנסתי והשלמתי את המשימה, עכשיו צריך להפיין את המשימה, כן? ולהגיד האם זה one shot משימה? או האם זאת משימה שהיא יותר מורכבת? האם יש עוד מטריקה שאומרת כמה פעמים, כמה פינק פונגים היה צריך? עד שאמרתי, המשימה הושלמה. שוב, תלוי בסוג המשימה. אבל זאת נקודה מאוד חשובה של להבין מהי מורכבות המטלה, ולמטלות השונות, למצוא את המטריקה הנכונה. האם זאת מטלה שהייתה צריכה לגמר בוונשוט, אבל היא לקחה לי ארבע פעמים ויצאתי מטוסקל? או שזאת מטלה שבאמת רציתי הרבה סבלנות ולשבת על הדבר הזה וזה שהסשן לקח 20 דקות או שעה והיו בו 30 פינק פונגים זה לחלוטין לגיטימי אז זה הדבר הראשון, צריך לעשות סגמנטציה של מורכבות המטלה, מטרת המטלה ואז לבדוק את האורך של הסשן וכולי יש גם עניין של סגנון של יוזרים, נכון? יש יוזרים שלעולם לא הסתפקו בתשובה הראשונה שהם מקבלים לעומת יוזרים שתמיד יקחו את התשובה הראשונה שהם מקבלים אז גם פה יש איזה משהו הדין כזה ששווה ללמוד אותו ולהיכנס לב לעומק. הדרך הכי טובה למדוד את הדברים האלה באופן תאורטי כמובן סביעות הרצון של היוזרים שיגידו בסוף המשימה, כן, דן, או לא, לא טוב לי. ויש בכמה מהאלה, יש תאמס-אפ ותאמס-דאון, נכון? איזושהי אפשרות לתת. אבל כמו שכולנו יודעים, ברגע שאת נותנת את האפשרות הזאת, לתת איזשהו דירוג, אבל היא לחלוטין וולונטרית, כלומר אני לא מכריחה אף יוזר לתת לי את הציון הזה באהפ שלב, אז אני אקבל משהו מאוד מאוד מוטה. כי מי נוטה לענות על הדברים האלה ומתי אנחנו נוטים לענות על דברים כאלה, אפילו Thumbs Up Thumbs Down, שזה באמת מעורבות מאוד מאוד מינימלית, זה אפילו לא מ-1 עד 5 עד כמה את מרוצה, נוטים לענות עליהם שני סוגים של משתמשים, או הסופר אצבנים. שזה היה מאוד מאוד לא טוב, מה שנתתם לי עכשיו, ואני כועסת. או הסופר מרוצים, שהם לפעמים שוב זה איזשהו מנגנון אישיותי, ולא בהכרח שהם מרוצים מהתשובה שהם קיבלו עכשיו ברגע זה. אבל החלק הזה הוא מביא אותנו לעניין של שקשה למדוד. עכשיו, בהנחה שיש לכם את כל הדעתיו וכולי, אז אפשר לנסות להתחיל להבין כמה פינק פונגים היו. כמה פינק פונגים פר בן אדם. יש לנו גם את הדטא של מה היה קווירי, נכון? מה היה הפרומט? אז בואו נבדוק גם לפי התכנים וכולי. אבל אני הייתי ממש שוקלת להוסיף בסוף השיחה את השאלה. עזרתי לך? האם הגעת למה שציפית? ממש לנסות, הרי אנחנו בממשק שיחתי, אז דווקא פה, הסאמס אפ סאמס דאנ, או אחד עד חמש, או כל הדברים האלה, פחות אפקטיבים בעיניי, או פחות... נכנסים בתוך הפלואו של המשתמש וכן הייתי פשוט שואלת פשוט שואלת אנחנו בשיחה אז תשאל תשאל אותי את מרוצה קיבלת את התשובות שרצית וכולי עכשיו איכות הפתרון היא לא היא גם משהו שא.ו הוא סובייקטיבי ב. יש פה משהו שאני הייתי רוצה ודיברתי על זה כבר בפרק הקודם לשקף ליוזרים שלי את איכות הפתרון כמו שאני מפתח את המודלים תופסת אותה. כי אני חושב שאחת הבעיות הגדולות היום היא שאנחנו מקבלים את הפתרון, והוא סוג של כזה, זהו, תגידו תודה וזה מה יש. אפילו כשהם מפרטים את הסורס'ז של הפתרון, זה מין פירוט כזה שאומר לי, לכי תבדקי מה הסורס'ז שהיו לי. בדיוק היום שמעתי שמישהו מגביל את המנגנון שהוא עובד איתו, את המודל שהוא עובד איתו, ואומר לו, תשתמש רק ב- כי אני מוצאת שהרבה פעמים כשאני שואל את שאלות על טקסט וכולי, והוא מחפש קודם כל, אני מניחה, במקורות פתוחים או שאינם עולים כסף, אז אני מוצאת שהרבה פעמים המקור הוא כל מיני בלוגים של אנשים אלומים שאף אחד לא שמע עליהם בהודו, וחמוד, זה נחמד לקבל דעות, אבל זה לא המידע האמין הרציני שחיפשתי. אז הסיפור של שהמודל ייתן לי הערכה, של כמה המידע שהוא נותן לי הוא אמין, הוא בטוח בו שהוא ישכלל בשבילי את איזה אחוז הוא חושב שהדבר הזה לא יענה עליו איזה אחוז מהבעיות, איזה אחוז מה... אם יש פה משהו רלוונטי כזה, כלומר, שהמודל יציף לי מהצד שלו עד כמה התשובה שהוא נתן לי איכותית שוב, במקומות הנכונים, בסנאריים הנכונים וכו', אני חושבת שזה חלק מהאחריות של מי שמפתח את המודדים, אני מאוד מאוד לא אוהבת את זה שהם מתחמקים מזה עכשיו, שהם מנסים ממש ממש להסתיר ולתת לי את הפתרונות שאני אקבל אותם איז איז ולא אשאל ולא תחקר ולא אנסה לבדוק אותם והם גם לא בודקים את עצמם באופן אינהרנטי וברור לי שמכניס את הדבר הזה. אז כל הסיפור של רמת הביטחון, רמת המהימנות, של התשובה הוא גם אחד המדדים שהייתי רוצה שהם יכניסו לעצמם, שהם יהיו שקופים על זה איתי היוזר, ואני חושבת שהוא מאוד מאוד חשוב. עכשיו, בשביל מי שבונה את המוצר, מי שמפתח אותו, יש עוד מטריקות שאני הייתי רוצה לעקוב אחריהם, למדוד אותם ברמה שהיא עוד יותר גרנולרית והעמוקה. הסיפור של איך בכלל בונים אסטרטגיה המוצרית בעולמות האלה, הוא משהו שמאוד מתריד אותי בתקופה האחרונה, ואני חושבת על הפרמטרים החדשים לתיעדוף של אלמנטים בתוך הרודמאפ שלנו, בתוך האסטרטגיה שלנו. ואחד הדברים שאני חושבת עליהם הוא, א', מה שדיברנו לפני רגע, עד כמה התשובות מהימנות, בטוחות, משקפות את העולם, בנויות על דאטה, אמין וכולי. ואני חושבת של הדבר הזה שעוד ציון מעבר לזה שאני רוצה לתת תשובות טובות, זה גם בונה את הברנד. זה בונה את הברנד שלי, ה-LLM, ובונה את הביטחון. הביטחון, הטרסט, הופך להיות אחד האלמנטים החשובים בבניית אסטרטגיה מוצרית בהנחה שכל המודלים יהיו באיזשהו מקום דומים בשירות שהם יתנו לך, העובדה שאני יכולה לבטוח... במודל שלי לדעת שהוא עשה את הכי טוב שהוא יכול ושהתשובות שלו מאמנות אני חושבת שזה חשוב גם בשביל הבנייה של הטרסט והריליישנט שיפים על הכוח ולכן זה עוד צד של אני רוצה איכשהו למדוד את הטרסט עד כמה המשתמשים שלי סומכים על התשובות שנתתי להם אז זה מדד אחד מדד שני עד כמה הפתרון מגיע ברמת המרוכבות הנכונה כלומר כשיש שאלות מורכבות אני גם מוציגה את הפתרון בדרך הזאת, עד כמה אני מצליחה שהיוזרים שלי יבנו את השאלות בצורה שאני אוכל לענות אליהם? האם היוזר חוזר לשאול את אותן שאלות או שאלות דומות? האם הוא משפר את היכולת שלא לקבל את הדת הממנה? אני יודעת שאני מסתובכת, אני יודעת שאני כבר במקומות מסובכים, אבל אני חושבת שיש כמה סיבובים של פרומפט צריך בשביל להגיע לתשובה הנכונה, ואם יש שיפור? תוך כדי, כלומר אני רוצה להשתפר, אני רוצה שהיוזר שלי ירגיש שאני מכירה אותו יותר טוב, שנותנת לו דאטה יותר טוב, שהוא מצליח להוציא דאטה בצורה יותר טובה, זה לא בהכרח אותו דבר. האם הצלחתי להעביר את עצמי? אני ממש מקווה, אלה היה המדדים היותר עמוקים שאני כמנהלת המוצר רוצה לבנות אמון של היוזרים שלי במוצר שלי. זהו, בואו נחזור מההתחלה ככה בקפיצה מהירה התחלנו ב- אוקיי, כמה יוזרים יש לי וכמה כסף אני עושה והגענו עד לעניין של הטרסט ואיך אני בונה טרסט אצל היוזרים שלי כשבדרך אני רוצה להבין מהי מהות של ששן איזה סוגים של ששנים יש לי איזה סוגים של פרומטים או בעיות היוזרים מנסים לפתור איזה פתרון מתאים לכל בעיה ואם אני נותנת את הפתרון הנכון איך עושים התרגלות איך עושים התקשרות אינגייג'מנט רטנשן של היוזרים כך שהם ירגישו שהמנוע הזה הוא המנוע הנכון בשבילהם כל הדברים האלה, אלה המדדים שהייתי מסתכלת עליהם אני יודעת שזה לא היה מאוד מסודר, אני מקווה שזה מסתדר לכם הכל בראש שאלות, הסכמות, אי הסכמות בבקשה, בבקשה תכתבו לי, אשמח מאוד מאוד לדון על הדברים שיהיה שבוע טוב, חברים ויהיה לנו עוד פרק אחד על ה-LLMים, אולי שניים אם יש לכם בבקשות דברו איתי