您现在的位置浏阳新闻首页 >>科技新闻>>正文

机械臂Fusion虽然不能用面部表情控制

【特斯拉发布电皮卡】

由此,Fusion不僅擴展了佩戴者四肢活動的靈活性和可能性,還能夠連接遠程操作者和佩戴者。它既可以獨立於協作場景單獨使用,也可以鏈接到操作者用於遠程協助。

福岡君所在的杉本實驗室為了超級機械臂,可謂是下足了工夫。

研究人員進行了一項數據收集研究(N=10),以瞭解虛擬現實環境(Virtual reality Environment,VE)中哪些表情分配超級機械臂對應的命令。

由此,機械臂是變成了完全由遠程操作者控制的機器人,這與MIT的HERMES項目就存在諸多相似,但其中存在一個很大的不同——Fusion需要安裝在佩戴者背部,這使得Fusion具有一定的“侵入性”(invasiveness),這包括以下三個方面:

或許不少人會選擇章魚博士,作為蜘蛛俠的死對頭,擁有四隻機械臂的章魚博士從各種意義上說都十分“難纏”,當然,作為反派,他也足夠讓觀眾留下深刻的印象。

遠程操作者使用HMD(Oculus CV1)能夠訪問代理實體。佩戴者背後安裝了一個背包,背包由具有立體視覺和雙耳音頻的三軸機器人頭部和具有可移動手的兩個擬人機器人手臂組成。

隨後,超級機器臂可以通過預測操作員的面部表情,也就是操作員的意圖來執行命令了。

當和朋友一起協同做某事時,好一點的情況是,整個感覺就像是朋友站在身後親身提供指導,壞一點的情況是,朋友會站在身後扇你耳光。

但是,機械臂在現實中能實現嗎?東京大學和慶應大學的答案是:可以!雖然做到意念控制還有難度,但利用“FaceDrive”,只需要面部表情,就可以控制機械臂運動了。

支持遠程操作的機械臂Fusion

超級機械臂可以說是東大和慶大聯合研究的絕對代表作了。但其實,這遠不是兩所學校的第一次合作,早在超級機械臂之前,他們就已經合作進行了不少研究了,其中包括一個名叫“Fusion”的機械臂。

他們用了以下方法研究來映射關係:

機器臂能夠根據伸縮指令和操作員的頭部方向,使得左臂或右臂靠近頭部方向的臂得以聯接。操作員可以使用多種表情進行控制,比如,張嘴表示伸出手臂,閉嘴表示收縮手臂,閉上一隻眼睛表示抓取,皺眉表示表示鬆手等。

Fusion的一大優勢在於,遠程操作者與實驗者的視角幾乎是相同的,這樣就能更為準確及時地提供反饋。

如何用表情控制超級機械臂這隻通過面部表情控制機器人手臂還有一個炫酷的名字——超級機械臂(Supernumerary Robotic Limbs,SRLs)。超級機器臂可以讓身體運動變得更加輕鬆便捷,但這也需要操作員的配合。

機械臂Fusion雖然不能用面部表情控制,但是它卻支持遠距離操作,聽上去不分伯仲嘛!換句話說,遠程操作者可以控制機械臂的運動,使得Fusion除了簡單的協同工作之外,還能提供運動指導和支持。

結果表明,最佳組合是:眼睛+嘴用於表示抓取/釋放;嘴用於表示延伸/收縮超級機械臂

誘發(Induced): 遠程操作者可以通過控制機械臂來強行控制實驗者的行動。

這項研究的一作是慶應大學理工學部情報工學科杉本研究室的正在念博二的福岡君,相關論文最近剛在ICAT-EGVE2019上發表,也在Siggraph Asia 2019上進行了演示。

目前研究人員正在驗證使用經濟高效、安全且能夠進行高速原型製作的VR環境進一步地控制機械臂運動。對於後續研究,他們表示希望能創建一個通過無意識的面部表情就能進行操作的系統。

在杉本實驗室的YouTube主頁上除了超級機械臂的視頻,都是一些交互式研究項目,包括表情捕捉、頭戴顯示設備的光電傳感器對嘴型的識別等等。

定向(Directed):機械臂能幫助或者代理實驗者進行相關操作。

機械臂Fusion的主要開發者yamen saraiji,現在他已經是慶大媒體設計研究生院的高級助教了。說起來,他就是研究機械尾巴的那個人,這麼來說好像Fusion和機械尾巴在冥冥之中存在著某些關聯。

為此,研究人員研究了面部表情和超級機器臂命令(例如,抓取和釋放)之間的映射,為了更好地捕捉並測量面部表情,在操作前,操作員需要佩戴VR HMD(頭戴式顯示器)。

不僅如此,機器臂還能換成腕帶,將Fusion連接到實驗者的手臂上,這允許遠程操作員直接指導佩戴者進行相關的行為。

蜘蛛俠系列中,如果要選一個最讓人印象深刻的反派角色你會選誰?

雖然是一個可愛又迷人的反派角色,不得不說,章魚博士的這四隻機械臂還是很拉風的,畢竟機械臂不僅動作流暢,意念控制看上去也酷勁十足。

使用“任意”面部表情完成“到達-抓住-釋放”的指定任務;分析傳感器數據和自我報告的表情調查表,查找用於給定命令的最常見的表情;將面部表情分組,然後通過記錄任務完成時間來找到面部表情命令和超級機械臂執行的最佳組合。

為了使得超級機械臂和操作員之間的合作更加順暢,超級機器臂甚至會預測操作員的意圖,而預測操作者意圖的一種方法是識別操作員的面部表情。

可別小瞧了這個頭戴式顯示器,這個顯示器內置有16個反射式光電傳感器,用以精確識別面部表情,這樣就可以通過機器學習,用表情對系統下達相關指令,使得機械臂做出包括伸展,收縮,抓握和釋放相對應的動作。

相信不管是哪種情況,都是一次絕妙的體驗。

強制執行(Enforced):機械臂被替換成為腕帶之後,遠程操作者能夠直接對實驗者進行行動的控制。

林丹无缘总决赛张艺谋评价周冬雨陈奕迅取消演唱会人大毕业女系自杀李佳琦直播再翻车李佳琦直播再翻车40%学生数学焦虑金鸡奖完整获奖名单易烊千玺借书超时张艺谋评价周冬雨火烈鸟可能迷路了金鸡奖颁奖典礼一架飞机刚果坠毁张云雷侮辱张火丁2019广州车展31省最低工资调整意142名女性遭杀魏大勋偷瞄杨幂王思聪资产被查封盖茨答白岩松提问马刺七连败张艺谋评价周冬雨意142名女性遭杀刘芮麟与粉丝聊天具荷拉家中身亡张艺谋评价周冬雨4AM积分第二郭敬明零票小朋友排队扇耳光蔚来李斌回应