האבולוציה של Kinect והחשיבות האמיתית של Microsoft Research
תוכן עניינים:
זה ש-Kinect חשוב למיקרוסופט הוא כמעט אמת. מכשיר הלכידה של רדמונד חורג הרבה מעבר לשיטה פשוטה של שליטה בקונסולת משחקי הווידאו שלהם והפך למרכיב חשוב באסטרטגיה שלהם והתייחסות לרבים מהמוצרים שלהם. אבל זה גם דוגמה מוחשית של מה שיכול להיווצר מהשילוב של מחלקת חברה עם מעבדת הרעיונות של Microsoft Research.
הקינקט הראשון כבר היה דוגמה לכך. שלוש שנים מאוחר יותר, אותו איגוד הוא שאפשר למכשיר להתפתח למגבלות בלתי צפויות כדי ללוות את יציאת ה-Xbox One.בכל חלקיו Kinect 2.0 מייצג שיפור משמעותי לעומת קודמו ובמהלך השבוע מיקרוסופט ניצלה את ההזדמנות כדי להסביר כיצד היא הייתה חלק מתהליך פיתוח הגאדג'טים שבדרך להפוך לחלק מהותי באינטראקציה בין בני אדם למכונות.
Kinect 1.0
כאשר מיקרוסופט הציגה את Project Natal ב-E3 ביוני 2009, רבים ראו בו תגובה פשוטה מרדמונד להצלחה הבלתי ניתנת לספק שקוצרה נינטנדו עם ה-Wii ומערכת הבקרה שלה. אבל מתחת לפרויקט הזה עם שם של עיר ברזילאית הסתתר ה-Kinect, מכשיר שהתברר כ-רב מכר שאין עוררין עליו ועם הזמן בסופו של דבר היה הרבה יותר מהצפוי.
למרות שהטכנולוגיה מאחורי ה-Kinect הראשון נולדה מפיתוחי התוכנה של סטודיו Rare וטכנולוגיית לכידת התמונה של חברת PrimeSense הישראלית, זה יהיה השילוב של צוות ה-Xbox עם החקירות של Microsoft Research המאפשר להגיע לשוק
המכשיר בצורת מוט השתמש במקרן אינפרא אדום ובמצלמה שסרקו את הסצנה ושלחו את המידע לשבב מיקרו שהוכן במיוחד כדי ללכוד תנועה של עצמים ואנשים בתלת מימד. אליהם הצטרפו שורת מיקרופונים המסוגלים לזהות את קולו של המשתמש. כל האלמנטים הללו יחד אפשרו לכידת תנועה תלת מימדית יחד עם זיהוי פנים, מחוות וקול.
למשימה כזו מפרטי ה-Kinect לא היו משהו מיוחד. למצלמה הייתה רזולוציית VGA והיא פעלה ב-640x480 כברירת מחדל, אם כי היא הייתה מסוגלת לעבוד ברזולוציית 1280x1024 פיקסלים במחיר של קצב רענון נמוך יותר. השבב הכלול ביצע רק חלק מעבודת עיבוד המידע, והותיר חלק ניכר מהמשימה לקונסולה עצמה.
אחד המפתחות למערכת כולה נמצא בתוכנה שיצרה מיקרוסופט כדי לפרש את כל המידע שנאסף על ידי חיישני ה-Kinect.זה המקום שבו Microsoft Research מילאה וממשיכה למלא תפקיד חשוב, חוקרת את השימושים המגוונים ביותר של Kinect ושיתפה פעולה ב-SDK שמיקרוסופט הפכה לזמין באינטרנט מאז 2011 כך שכל מפתח ישלב את זה במוצרים או בשירותים שלו.
Kinect 2.0
ההבדל הגדול בין הקינקט החדש לקודמו טמון במצלמה הראשית החדשה. הדור השני של מכשיר לכידת התנועה משלב מצלמת זמן טיסה (TOF) ברזולוציה גבוהה המאפשרת ל-Xbox One Kinect הקרוב ללכוד פרטים נוספים עם דיוק גבוה ורזולוציה גבוהה יותר. מצב העומק החדש שמספקת מצלמת TOF זו מאפשר לך לשחזר סצנה בנאמנות פי שלושה מהקינקט הראשון.
זה לא היתרון היחיד בשימוש במצלמה מסוג זה.באמצעותו מושג גם שדה ראייה גדול ב-60% המאפשר רישום חלל גדול יותר ומאפשר רישום של יותר אנשים בו זמנית ובמרחק קצר יותר מהמכשיר. עם הקונסולה החדשה, עד 6 אנשים יכולים להופיע על הבמה, לזהות ולהבחין בכל התנועות שלהם. זוהי התקדמות משמעותית לעומת קודמו שהיה מסוגל להקליט רק את התנועה של 2.
השינוי הגדול השני בדור החדש של Kinect מגיע מידו של חיישן האינפרא אדום החדש שמצליח לזהות עצמים ואנשים בתנאי תאורה נמוכים מאוד. החיישן כעת כל כך חזק שהוא יכול לזהות פריטים בחדר חשוך לחלוטין. הדיוק הוא כזה שהוא יכול לזהות אנשים ולרשום גופים גם בלי שום אור הנראה לעין האנושית. בתאורה נמוכה, הוא מזהה את תנוחת היד במרחק של עד ארבעה מטרים, ומבדיל כל אחת מהאצבעות בדיוק.
Kinect 2.0 מבדיל את השלד השלם של המשתמש, את כיוון הגפיים שלו, את שרירי הגוף ואפילו את פעימות הלב שלו.
שילוב האלמנטים החדשים מאפשר לתעד לא רק את הצללית של המשתמש, אלא גם להבחין בשלד השלם שלו, כיוון הגפיים שלו, שרירי הגוף עם חלוקת הכוח והמשקל מופעל עליהם, ואפילו פעימות הלב. גם זיהוי הפנים השתפר מאוד, מזהה אפילו את הפרט והמחווה הקטנים ביותר ומאפשר זיהוי מדויק יותר. כדי לקבל מושג על המשמעות של כל זה, פשוט תסתכל בסרטון הבא.
לכל הטכנולוגיה החדשה הזו יש גם שיפור במעבד ה-Kinect שמאפשר לו להתמודד עם כמות המידע העצומה שמקבלים כל החיישנים החדשים. עד 2 גיגה-ביט של נתונים לשנייה נאספים על ידי המכשיר כדי לקרוא את הסביבהיש לעבד ולפרש את כל המידע הזה במהירות ולשם כך היה צורך בשיפור ברור במפרטי המכונה.
אבל שינוי הרכיבים לא הספיק. הסורק החזק שהפך לקינקט דורש תוכנה המסוגלת לפרש את כל מה שהוא רואה, ולשם כך היה צורך לבצע אבולוציה חשובה בקוד שמריץ אותו. זה המקום שבו הניסיון והידע של Microsoft Research הפכו חשובים מתמיד, עוזרים לצוות Xbox שבו התעוררו בעיות ומספקים את הפתרונות הנכונים בזמן. מהיר ויעיל. קינקט 2.0 הפך בכך לתוצר של שיתוף פעולה שההיסטוריה שלו מדגימה את הפוטנציאל שמיקרוסופט מסתירה במעבדת הרעיונות שלה.
תהליך האבולוציה
The Evolution of Kinect הוא הסיפור של איך צוות מהנדסים ניסה להביא מצלמת TOF ל-Xbox One.מצלמות מסוג זה פולטות אותות אור שמקפיצים מעצמים ונאספים בחזרה על ידי מדידת הזמן שלוקח לעבור את המרחק. על מנת שיעבדו כראוי, להבדיל השתקפויות מחפצים בחדר ומסביבתם, יש צורך בדיוק של עד 1/10 מיליארד שניות. רמת דיוק כזו היא הדרך היחידה לספק מספיק מידע כדי לאפשר חישוב הולם של צורות וקווי המתאר של עצמים.
נשמע מסובך, והבעיה היא שלהגיע לרמות האלה עם מוצר צריכה זה קשה כמו שזה נראה. במהלך תהליך הפיתוח של ה-Kinect החדש, היה צריך לטפל בכל מיני בעיות שהיו צריכים להיפתר בזמן מוגבל. Kinect 2.0 אמור להיות מוכן לליווי מהדורת Xbox One, המתוכנן לסוף 2013.
בנסיבות אלה יש למיקרוסופט אס בשרוול: Microsoft Research, צוות החשיבה שלךהצוות מאחורי ה-Kinect השתמש בידע הרב ובניסיון הטכני של חברי Microsoft Research כדי לפתור את הבעיות השונות שהופיעו עם הטכנולוגיה החדשה המשולבת במכשיר. כאן החלו שנות ההשקעה במחקר ופיתוח לשאת פרי בזכות שיתוף הפעולה בין המחלקות השונות בחברה.
האתגר לא היה קל. הבחנה בין אובייקטים בחזית לרקע ולמזעור טשטוש המצלמה היא משימה מרתיעה. ראשית, עצמים קטנים היו צריכים להימדד במדויק בכל מיני תרחישים ועם כל מיני תנאי אור. היה צורך לעבוד עד שניתן היה להבדיל בין אצבעות הידיים, ולמנוע מהן להתבלבל עם הסביבה. כתוצאה מעבודה זו הקינקט החדש מסוגל לזהות עצמים קטנים עד 2.5 סנטימטרים, בהשוואה ל-7.5 סנטימטרים של קודמו. בעיית הטשטוש דרשה עוד קצת עבודה ואופטימיזציה של תוכנה, אבל עם הזמן, מהנדסי מיקרוסופט הצליחו להפחית את טשטוש התנועה מ-65 מילישניות ב-Kinect המקורי ל-14 מילישניות על יורשו.
כל המשימות הללו דורשות עיבוד כמות עצומה של מידע. הנתונים שנלכדו על ידי מצלמות Kinect הם על בסיס לפי פיקסל, כלומר כל אחד מ-220,000 הפיקסלים הנתמכים על ידי חיישן Kinect אוסף נתונים באופן עצמאילכך עלינו להוסיף הרבה יותר מידע שנאסף על ידי שאר החיישנים. הנושא המסובך הוא להצליח לזהות ולפרש את כל המידע הזה, להפריד בין האלמנטים לבין העומק שבו הם נמצאים וביטול הרעש מהתמונה.
עם Kinect, Xbox One צריך לעבד 6.5 מיליון פיקסלים בשנייה
"Xbox One צריך לעבד 6.5 מיליון פיקסלים בשנייה ורק חלק קטן מכוח המחשוב של הקונסולה יכול להיות מוקדש למשימה של פירוש המידע שכן יש לשמור את מירב הכוח למשחקים, שלד מעקב, או זיהוי פנים או שמע. נדרש מעט מאוד חישוב לכל פיקסל, מה שדורש ניקוי"
החשיבות האפקטיבית של מחקר מיקרוסופט
העבודה המשולבת של צוות Kinect עם האנשים ב-Microsoft Research לא הייתה מערכת יחסים מייעצת גרידא. חוקרים של מיקרוסופט לקחו על עצמם הרבה מהעבודה ובנו תשתית ותוכנה שלמה כדי לפתור את הבעיות הכרוכות בהתמודדות עם האבולוציה של המכשיר. הידע של שני הצוותים בתחומים שלהם איפשר להתקדם מהר יותר מאשר בנפרד.
המפתח היה המהירות שבה הם השתלבו והיכולת לספק פתרונות בפרק זמן קצר. אבל כל העבודה הזו אינה מוגבלת להוצאת מוצר למכירה. הבונוס הנוסף הוא שההתקדמות שבוצעו על ידי מהנדסי רדמונד זמינים למפתחים, ומאפשרים יותר מצבי צפייה לעבוד איתם ונתונים הרבה יותר נקיים.
Kinect חושפת את כל הפוטנציאל שמיקרוסופט מסתירה כחברה ומתגלה כאשר המחלקות שלה עובדות בצורה משולבת.מספר חוקרי מחקר של Microsoft היו פעילים בפיתוח של Kinect 2.0, ועבדו על פרויקט שתהיה לו השפעה מיידית על השוק. לאלו מאיתנו שדרשו השתתפות גדולה יותר של Microsoft Research במוצרי רדמונד, אלו חדשות טובות.
Kinect היא גם ההדגמה המוחשית שמחקר של מיקרוסופט הוא הרבה יותר ממעבדה של רעיונות, הוא הון בסיסי לעתיד של מיקרוסופט .
Via | הבלוג הרשמי של מיקרוסופט | TechCrunch
