OmniTouch

אחת המהפכות הגדולות בתחום המחשוב הייתה מסכי מגע. הם הביאו דרך חדשה של אינטראקציה עם המחשב, או עם מצביע מיוחד או עם האצבע. בשנת 2011, מיקרוסופט המשיכה רחוק יותר עם הצגת OmniTouch, פרויקט שהפך כל משטח לנגיע. הרעיון הבסיסי הוא להרכיב על הכתף מכשיר מצלמה ומקרן המקרין את המסך וקורא את הקשות המקשים של המשתמש. האפשרויות אינסופיות, ומאפשרות לנו להפוך את היד, הקיר, הסדין או כל משטח אחר למסך מגע .

איך עובד OmniTouch: זיהוי הקשות

החלק החשוב ביותר בפרויקט OmniTouch הוא מעקב אחר המיקום והעומק של האצבעות, כדי לדעת היכן המשתמש נוגע. לשם כך נעשה שימוש במצלמת PrimeSense רגישה לעומק באב הטיפוס. בניגוד למצלמה רגילה המודדת צבעים, PrimeSense מודד את המרחק של כל נקודה בתמונה מעדשת המצלמה. הדיוק של 1 מ"מ וטווח המינימום של 20 ס"מ הם היתרונות העיקריים על פני מצלמת הקינקט, ששימשה במקור בפרויקט.

"

כדי לאתר אצבעות, OmniTouch לוכד תחילה את מפת העומק (A). לאחר מכן, מפת הנטייה מחושבת >"

ב(B) אתה יכול לראות את המפה מתורגמת לצבעים: אדום אומר שיש פחות עומק בכיוון החיובי של ציר X או Y (למעלה או ימינה) וכחול אומר שיש הוא פחות עומק בכיוון השלילי של ציר X או Y (למטה או שמאלה).סגול אומר שאין כמעט שינוי בעומק.

באמצעות המפה הזו, התוכנה מחפשת קטעים גליליים אנכיים, משטח שמתקרב למצלמה, ואז נשאר ולבסוף מתרחק. מה הייתה אצבע אם תעביר אותה מצד אחד לצד השני, וואו. במפת הצבעים, חפש קטע אדום, אחר כך קטע סגול, ואז קטע כחול, הכל על אותו ציר אנכי.

המועמדים האפשריים עוברים סינון לגובה, כדי לסנן כל דבר שאינו יכול להיות אצבע (לדוגמה, לא ניתן לזהות צילינדר בגובה 2 מילימטר כאצבע, ולכן הוא נמחק). באיור (C) ניתן לראות את כל חלקי האצבעות שזוהו.

לאחר שהדבר נעשה, כל הקטעים האנכיים מוכנסים יחד ליצירת האצבע (איור D). אצבעות שעשויות להיות קצרות מדי נזרקות, וההנחה היא שמכיוון שהמשתמש ימני, החלק השמאלי ביותר של האצבע הוא קצה.והואו, עכשיו אנחנו יודעים לאן המשתמש מצביע .

עכשיו, איך נדע אם האצבע נוגעת במשטח? קוראים לזה מילוי הצפה, אבל זה יהיה יותר מוכר אם אני אגיד לך שזה כמו למלא בדלי הצבע של Paint.

הטכניקה פשוטה: אתר את נקודת האמצע של האצבע, והתחל למלא פיקסלים למעלה, שמאלה וימינה, בסובלנות של 13 מילימטרים. כלומר, הם ממלאים פיקסל רק אם ההפרש בין העומק שלו לזה של נקודת האמצע של האצבע קטן מ-13 מילימטרים.

בדרך זו, אם האצבע שלך לא נוגעת בכלום, רק הפיקסלים המתאימים לאצבע שלך יתמלאו. אם אתה נוגע ביד, הרבה יותר יתמלאו. בתמונה ניתן לראות מה קורה אם האצבע נמצאת באוויר (משמאל) או נוגעת ביד (ימין). כאשר שוליים מסוימים של פיקסלים מלאים עוברים, התוכנה תשלח הקשה או לחיצה במקום המתאים.

איך עובד OmniTouch: הקרנת התמונה

למרות שזיהוי אצבעות הוא החלק המרכזי, איננו יכולים לשכוח שגם OmniTouch צריך להקרין תמונה על כל משטח. תא העומק משמש גם לכך. כל המשטחים בתמונה מזוהים באמצעות אלגוריתם רכיבים מחוברים, המזהה ביעילות רבה נקודות מחוברות בתמונה.

לאחר שהמשטחים הקטנים יותר מחוג הושלכו, אנו ממשיכים לתקן מרכז או נקודת התייחסות כדי להקרין את התמונה. נקודה זו עוזרת לזהות את כיוון המשטח ולכן מאפשרת ליצור תמונה שאינה נראית מעוותת.

הנקודה הקשה הבאה מגיעה בכל הנוגע לזיהוי גודל המשטח.מכיוון שלא ניתן לזהות את הקצוות של משטחים מספיק טוב, OmniTouch משתמש בממוצע ובסטיית התקן של נקודות הרכיב כדי לסווג אותם לחמש נקודות: יד, זרוע, מחברת, קיר ושולחן. לכל אחד מהם יש גודל מסוים ומרכז לתמונה.

התוכנה מייצרת את התמונה שתוקרן עם כל הנתונים, ומעוותת אותה כך שהיא תופיע בצורה נכונה על פני השטח. לאחר מכן הוא מעביר את התמונה למקרן, שיציג את התמונה על כל משטח שהוא.

טכנולוגיה מדויקת עם הרבה אפשרויות

בדיקות המשמשות למדידת הדיוק של OmniTouch.

בבדיקה, OmniTouch הוכיחה את עצמה כטכנולוגיה מאוד מדויקת. 96.5% דיוק בכל הנוגע לזיהוי קליק, נתון טוב מאוד ועוד יותר בהתחשב בכך שמדובר באב טיפוס.לגבי גודל הממשק, עם כפתורים בקוטר של 2 סנטימטר, 95% מהקשות יזוהו.

גודל מקסימלי זה הכרחי עבור ממשק שמוקרן ביד. על משטחים אחרים רחוקים יותר, כמו שולחן או קיר, ניתן להקטין אותו ל-15 מילימטרים, פחות או יותר באותו גודל המומלץ עבור כפתור במסך מגע רגיל .

"

באשר לאפשרויות, הן אינסופיות. עם אב הטיפוס נוצר דוכן לציור: על הקיר שציירת וביד שמאל בחרת את הצבעים. משמש גם כהיילייטר>"

אבל הדבר המעניין ביותר הוא מה שהם מזכירים בסוף המסמך: האפשרויות ש-OmniTouch פותח כאשר אנו מפסיקים לשקול משטחים דו-מימדיים, תוך ניצול צורות הגוף כדי לשנות כיצד אנו מקיימים אינטראקציה עם המחשב.

"

OmniTouch הוא פרויקט מרגש באמת, הן בטכניקה והן באפשרויות שלו. נדבר עליו שוב בקרוב בספיישל העתיד על פי Microsoft>"

ב-Xataka Windows | העתיד לפי מיקרוסופט מידע נוסף | OmniTouch