این پروژه تحقیقاتی گامی مهمی در جهت اینکه ربات ها بتوانند محیط اطراف خود را به همان دقت انسان و حیوانات احساس کنند، میباشد. حسگر نوک انگشت مانند نمونه طبیعی خود بسیار حساس، قوی و با وضوح بالا است.
حسگر شست شکل از یک پوسته نرم ساخته شده است که در اطراف یک اسکلت سفت سبک وزن ساخته شده است. این اسکلت استراکچر را حمایت میکند مانند استخوان ها که بافت نرم انگشت را ثابت نگه میدارد.این پوسته از یک الاستومر(یک پلیمر طبیعی یا مصنوعی که خواص کشسانی دارد) مخلوط شده با تکه های آلومینیومی تیره و بازتابنده ساخته شده است که رنگ خاکستری مات را تشکیل می دهد که از ورود نور خارجی به داخل جلوگیری می کند. درون این کلاهک کوچک یک دوربین کوچک 160 درجه پنهان شده است که تصاویر رنگارنگ را ضبط می کند که توسط حلقه ای از LED روشن می شود.
هنگامی که جسمی پوسته سنسور را لمس می کند، ظاهر الگوی رنگی درون سنسور تغییر می کند. دوربین چندین بار در ثانیه تصاویر را ضبط می کند و با این داده ها یک شبکه عصبی عمیق را تغذیه می کند. این الگوریتم حتی کوچکترین تغییر نور را در هر پیکسل تشخیص می دهد. در کسری از ثانیه، شبکه آموزش دیده میتواند مکان دقیق تماس انگشت با یک جسم را مشخص کند، تعیین کند نیروها چقدر قوی هستند و جهت نیرو را نشان دهد. این مدل چیزی را استنباط میکند که دانشمندان نقشه نیرو مینامند: بردار نیرو برای هر نقطه در نوک انگشت سهبعدی ارائه میکند.