7月1日,，項目負(fù)責(zé)人褚明（中）指導(dǎo)團(tuán)隊核心成員開展相關(guān)實驗,。河北日報記者周聰聰攝

閱讀提示

在人機(jī)協(xié)同作業(yè)日益普及的今天,，工人在生產(chǎn)線上與機(jī)器人“并肩作戰(zhàn)”時,，真的足夠安全嗎,？如果答案并不似我們想象中樂觀,，如何在人機(jī)共存的環(huán)境中確保人的安全,？

不久前，第二屆雄安未來之城場景匯雄安國際機(jī)器人大賽上,，參賽項目“數(shù)字孿生驅(qū)動的人機(jī)協(xié)作安全距離快速感知系統(tǒng)”為這個難題給出了創(chuàng)新解決方案,。

48毫秒的超快響應(yīng)速度、無需外掛設(shè)備就能實現(xiàn)360度無死角安全防護(hù),、低至2萬元的部署成本……憑借這些突破性優(yōu)勢,，該項目成功斬獲大賽一等獎，重新定義著工業(yè)場景下人機(jī)協(xié)作的安全標(biāo)準(zhǔn),。

6月12日,，第二屆雄安未來之城場景匯雄安國際機(jī)器人大賽上，參賽項目“數(shù)字孿生驅(qū)動的人機(jī)協(xié)作安全距離快速感知系統(tǒng)”現(xiàn)場演示,。褚明供圖

超快反應(yīng),，讓人與機(jī)器人安全協(xié)作

六軸桌面式協(xié)同機(jī)械臂輕盈舞動關(guān)節(jié)，但當(dāng)人靠近,，一旁的電腦屏幕上立刻浮現(xiàn)數(shù)道醒目的紅色線條,，勾勒出人體的骨骼結(jié)構(gòu)。同時,，一道在人與機(jī)械臂之間動態(tài)生成的明黃色線條實時測量二者距離,，并據(jù)此給機(jī)器人下達(dá)“停機(jī)”“減速”等指令，將有可能對人造成的安全傷害扼殺在萌芽中……

6月20日,，北京郵電大學(xué)科研樓924室,，“數(shù)字孿生驅(qū)動的人機(jī)協(xié)作安全距離快速感知系統(tǒng)”展示著毫秒級的危險預(yù)警能力。

在第二屆雄安未來之城場景匯雄安國際機(jī)器人大賽上,，該項目憑借出色的實時感知性能和人機(jī)交互安全性,，從眾多參賽項目中脫穎而出，榮膺大賽一等獎,。

人機(jī)協(xié)作的安全距離,，是這項研究的核心問題。

或許有人會疑惑,，機(jī)器人不都是按照預(yù)設(shè)程序精準(zhǔn)作業(yè)的嗎,？為何還需要專門研究人和機(jī)器人的安全距離？

“人們把機(jī)器人稱為‘人’,，這種說法其實高估了它的智能水平。”項目負(fù)責(zé)人、北京郵電大學(xué)智能工程與自動化學(xué)院教授褚明解釋,，機(jī)器人確實能高效完成重復(fù)性,、高強(qiáng)度的任務(wù)，但它的智能遠(yuǎn)未達(dá)到與人類真正協(xié)同共處的程度,。在早期工業(yè)應(yīng)用中,，機(jī)器人作業(yè)時甚至需要被鐵絲網(wǎng)隔離，以確保人員安全,。

如今,，隨著技術(shù)的突破性發(fā)展，機(jī)器人總動員正成為智能制造新常態(tài),。

“然而,，在人機(jī)共存的生產(chǎn)環(huán)境中，安全防護(hù)體系仍面臨嚴(yán)峻挑戰(zhàn),，工業(yè)機(jī)器人事故時有發(fā)生,。”褚明介紹，其中機(jī)器人制造和焊接是事故高發(fā)領(lǐng)域,。

“當(dāng)前工業(yè)領(lǐng)域的人機(jī)安全監(jiān)測主要依賴激光雷達(dá),、紅外和聲波測距等技術(shù)，但都存在明顯缺陷,。”褚明分析,，這類設(shè)備幾乎全要外掛在機(jī)器人上，以激光雷達(dá)為例,，它形似礦泉水瓶,，直徑約10厘米。機(jī)械臂掛上這樣一個瓶子,，不僅影響工作的靈活性,，甚至還會帶來新的安全隱患。

除了體積問題,，各類技術(shù)還有各種局限：聲波測距只能測量到正面相對的區(qū)域,，存在監(jiān)測盲區(qū)；激光雷達(dá)雖能全向覆蓋,，但響應(yīng)速度慢且成本高昂,，單臺價格超6萬元。

鑒于硬件方案存在的成本高,、干擾作業(yè)等現(xiàn)實問題,，多數(shù)企業(yè)選擇依賴管理規(guī)范等軟性防護(hù)。但在實際生產(chǎn)中,，工人錯誤的操作習(xí)慣和企業(yè)投入不足的雙重因素,，又導(dǎo)致事故頻發(fā),。

能否讓機(jī)器人輕裝上陣，在不依賴外掛設(shè)備的情況下,，就能實現(xiàn)360度全場景的安全監(jiān)測,？

2021年，褚明研究團(tuán)隊的這一構(gòu)想,，引起了西門子的興趣,。

基于和北京郵電大學(xué)既有的校企聯(lián)合技術(shù)攻關(guān)基礎(chǔ)，西門子決定投入專項研發(fā)資金啟動聯(lián)合攻關(guān),。

面對傳統(tǒng)硬件方案“笨重昂貴”與“防護(hù)滯后”的雙重困境,，褚明帶領(lǐng)團(tuán)隊另辟蹊徑，將數(shù)字孿生技術(shù)與計算機(jī)視覺深度融合,。不僅能使輕裝上陣的機(jī)器人擁有安全直覺,，還賦予其比人類更快的反應(yīng)能力。

“人類在保持清醒的前提下,，發(fā)現(xiàn)危險并作出反應(yīng)的平均時間是120毫秒,。”褚明一臉自豪地表示，但這套系統(tǒng)僅需48毫秒就能完成安全距離感知,，響應(yīng)速度是人類的2.5倍,。

褚明說，這套系統(tǒng)不僅反應(yīng)快,，還能“一心六用”,，同時追蹤6個作業(yè)人員的人機(jī)距離，確保每個人都能獲得同樣迅捷的防護(hù)響應(yīng),。

7月1日拍攝的參賽項目所用深度相機(jī),，它能讓機(jī)器人在“零穿戴”的情況下?lián)碛?60度全場景視角。河北日報記者周聰聰攝

給機(jī)器人裝上“天眼”,，360度無死角安全防護(hù)

“讓機(jī)器人擁有安全直覺,，傳統(tǒng)方案是給它‘穿盔戴甲’，我們的辦法則是‘開天眼’,。”拿起一個紙抽大小的白色深度相機(jī),，褚明輕輕晃了晃說，這是整套系統(tǒng)中唯一的硬件設(shè)備,，卻能讓機(jī)器人在“零穿戴”的情況下?lián)碛?60度全場景視角,。

這臺深度相機(jī)性能強(qiáng)大，每秒能拍攝60幀畫面,，相當(dāng)于每16.67毫秒就能完成一次對人的動態(tài)捕捉,。

研究團(tuán)隊巧妙利用這一特性，構(gòu)建了一個實時運(yùn)轉(zhuǎn)的數(shù)字孿生世界：相機(jī)采集的人體骨骼數(shù)據(jù)和機(jī)械臂運(yùn)動軌跡,，在虛擬空間中同步生成動態(tài)模型,，通過算法實時計算碰撞風(fēng)險,，實現(xiàn)從感知到防護(hù)的無縫銜接。

數(shù)據(jù)采集,、孿生建模,、風(fēng)險計算……這一系列復(fù)雜運(yùn)算，如何在遠(yuǎn)低于人類反應(yīng)速度的48毫秒內(nèi)完成,？

指著電腦屏幕上那些與人體動作神同步的紅色線條，褚明道破秘訣所在,。

“現(xiàn)實中我們看到的是人和機(jī)器人的互動,，但在數(shù)據(jù)世界里，我們構(gòu)建的卻是極簡主義的骷髏級交互模型,。”褚明解釋,，深度相機(jī)通過識別人體32個骨骼關(guān)鍵點，實時構(gòu)建動態(tài)骨骼框架,，實現(xiàn)精準(zhǔn)動作捕捉,。在此基礎(chǔ)上，團(tuán)隊進(jìn)一步篩選出其中25個關(guān)鍵點,，包括手指尖,、腳尖等人體最遠(yuǎn)端，以及肩,、肘,、髖等主要活動關(guān)節(jié)。

“篩減時,，我們舍棄了面部等非必要區(qū)域的關(guān)鍵點,，保留下來的都是能影響人體可能觸及最大空間范圍的關(guān)鍵點。”褚明說,。

有了人體的動態(tài)模型,，團(tuán)隊利用工業(yè)機(jī)器人內(nèi)置的光電碼盤傳感器，實時獲取各個軸關(guān)節(jié)角度數(shù)據(jù),，僅用9個關(guān)鍵點即可完整重構(gòu)機(jī)器人運(yùn)動姿態(tài),。

就這樣，僅僅靠34個關(guān)鍵點,，團(tuán)隊便完成了人和機(jī)器人的建模,。這種高度簡化的建模方式，大大降低了系統(tǒng)數(shù)據(jù)計算量,，有效提升了數(shù)字孿生場景的構(gòu)建效率,，為毫秒級實時響應(yīng)提供了關(guān)鍵技術(shù)保障。

不過,，要實現(xiàn)真正可靠的人機(jī)安全協(xié)同,，挑戰(zhàn)遠(yuǎn)未結(jié)束,。

采訪中，記者曾變換各種動作和距離,，屢屢試圖“碰瓷”機(jī)器人,。但遺憾的是，一次都沒成功,。電腦屏幕上,，一條黃線始終如影隨形地橫亙在記者和機(jī)器人之間，并不斷變換著距離數(shù)據(jù),。隨著距離數(shù)據(jù)的變化,，機(jī)械臂或轉(zhuǎn)速下降，或瞬間停止,，始終與記者保持著安全距離,。

“這根黃線，標(biāo)注的是人和機(jī)器人間的最短距離,。”褚明說,，系統(tǒng)正是根據(jù)這個距離數(shù)據(jù)，設(shè)置了低危,、中危,、高危三級安全閾值，向機(jī)器人做出聲光預(yù)警,、減速運(yùn)行,、緊急停機(jī)等指令。

為找到這條黃線,，去年畢業(yè)的博士生,、團(tuán)隊核心成員陳宇足足花了一年多時間。

“兩個‘骨架’關(guān)鍵點間連成的線成千上萬條,，這其中,，哪條才是最短的？”陳宇解釋,，不同于靜態(tài)物體,，人和機(jī)械臂始終處于運(yùn)動狀態(tài)。特別是人體動作具有天然的隨機(jī)性和不可預(yù)測性,，兩者的運(yùn)動軌跡在三維空間中不斷交織,，形成高度復(fù)雜的動態(tài)空間關(guān)系。

為了更真實地計算人體與機(jī)器人的安全距離,，研究團(tuán)隊還考慮到人的胖瘦對二者距離的影響,，根據(jù)成年人的體型中位數(shù)，在骨骼模型基礎(chǔ)上做了一層“膠囊體”,，為數(shù)字模型穿上了一層“肌肉外衣”,。

“多次試驗驗證,，系統(tǒng)的距離測量誤差已經(jīng)被嚴(yán)格控制在3.5%以內(nèi)，相當(dāng)于當(dāng)實際距離為1米時,，系統(tǒng)測量值在96.5至103.5厘米之間波動,。”褚明說，這個精度窗口是經(jīng)過反復(fù)推敲后確定的最佳平衡點,，既能夠規(guī)避過度追求精度帶來的算力浪費,，又確保了工業(yè)場景下的絕對安全。

當(dāng)人靠近六軸桌面式協(xié)同機(jī)械臂,，電腦屏幕上立刻浮現(xiàn)數(shù)道紅色線條勾勒出人體的骨骼結(jié)構(gòu),。同時，在人與機(jī)械臂之間動態(tài)生成一條明黃色線條實時測量二者距離,。圖為實驗過程中拍攝的電腦屏幕顯示畫面。褚明供圖

成本低,、部署快,，產(chǎn)業(yè)化優(yōu)勢突出

“安裝復(fù)雜嗎？成本會不會很高,？”在第二屆雄安未來之城場景匯雄安國際機(jī)器人大賽上,，“數(shù)字孿生驅(qū)動的人機(jī)協(xié)作安全距離快速感知系統(tǒng)”使用的便捷性和經(jīng)濟(jì)性，成為許多參觀者駐足咨詢的熱點,。

對此,，褚明的回答令他們眼前一亮。

“這套系統(tǒng)的部署極其簡單,，就像在工廠安裝普通監(jiān)控攝像頭一樣便捷,。”褚明說，系統(tǒng)的運(yùn)行,，僅依賴深度相機(jī)和軟件模組,，每個定焦深度相機(jī)可精準(zhǔn)覆蓋6米遠(yuǎn)范圍，單個6米遠(yuǎn)監(jiān)控區(qū)域的部署成本僅2萬元,。

更令人驚喜的是,，如果監(jiān)測范圍需要擴(kuò)大，只需線性增加攝像頭數(shù)量,，無需額外復(fù)雜配置,，大幅降低了整體投入。

兼容性強(qiáng),、成本低,、部署快，該系統(tǒng)的種種優(yōu)勢,，讓不少制造企業(yè)當(dāng)場就表達(dá)了合作意向,。

一家焊接機(jī)器人企業(yè)負(fù)責(zé)人向褚明坦言,，他們正面臨嚴(yán)峻的人機(jī)協(xié)作安全挑戰(zhàn)：在自動化焊接產(chǎn)線上，雖然核心焊接工序由機(jī)械臂完成,，但上下料環(huán)節(jié)仍需人工介入,。工人頻繁進(jìn)出作業(yè)區(qū)域時，既要防范機(jī)械臂的意外碰撞,，又要躲避飛濺的高溫焊渣,，安全風(fēng)險居高不下。

“對我們這樣的焊接企業(yè)來說,，這套系統(tǒng)絕對是剛需,。”這位企業(yè)負(fù)責(zé)人還對該系統(tǒng)產(chǎn)業(yè)化提出建議，除獨立銷售外,，還可以與機(jī)械臂捆綁銷售作為機(jī)械臂的增值服務(wù),，提升產(chǎn)品競爭力。

企業(yè)之外,，滄州市招商部門也向褚明詳細(xì)介紹了各種產(chǎn)業(yè)化扶持政策,，表達(dá)了助力這項技術(shù)快速落地的強(qiáng)烈意愿。

“這是我們第一次參加雄安場景匯,，目的就是讓這項技術(shù)接受市場的真實檢驗,，看它是否能切實解決企業(yè)的安全生產(chǎn)痛點。”褚明說,，他們希望通過這種方式,，持續(xù)優(yōu)化技術(shù)方案，推動實驗室成果走出象牙塔,，真正服務(wù)實體經(jīng)濟(jì),。

在推動項目落地產(chǎn)業(yè)化的同時，團(tuán)隊在人機(jī)共存領(lǐng)域的研究仍在持續(xù)深化,。

“目前,，我們正在研究從仿真到實體的相關(guān)課題，推動人機(jī)協(xié)作向更高層級發(fā)展,。”褚明介紹,，他們的研究大方向是讓機(jī)器人不僅能感知人的存在，更能理解人的意圖,，推動人機(jī)共存走向人機(jī)共融,。

“工業(yè)4.0實現(xiàn)了生產(chǎn)數(shù)字化，但其本質(zhì)仍是機(jī)器主導(dǎo)的生產(chǎn)模式,，人只是被動地嵌入其中,。而正在興起的工業(yè)5.0則強(qiáng)調(diào)人機(jī)融合，在共同的工作環(huán)境中開展更精密、更智能的協(xié)作,。”褚明解釋,。

未來的人機(jī)協(xié)作會是怎樣一幅新圖景？

“以電路板精密裝配為例,，目前這類精密裝配仍需工人完成30多道工序,，頻繁切換十余種工具來取放微小元器件，不僅勞動強(qiáng)度大,，效率也不高,。”褚明說，理想的人機(jī)協(xié)作應(yīng)該是,，當(dāng)工人伸手準(zhǔn)備焊接時,，機(jī)械臂能智能識別這一意圖，主動遞送焊槍,；當(dāng)需要安裝微型電容時,，又能精準(zhǔn)奉上對應(yīng)元件。這樣的場景下,，機(jī)器人就像個得力的智能助手,，始終默契配合，和人達(dá)到心有靈犀的協(xié)作水平,。

“而這，正是我們努力研究的方向,。”褚明相信,，這一天的到來不會太遠(yuǎn)。（河北日報記者 周聰聰）

7月1日,，團(tuán)隊核心成員展示參賽項目所用的深度相機(jī),，它能讓機(jī)器人在“零穿戴”的情況下?lián)碛?60度全場景視角。河北日報記者周聰聰攝

記者感言

極簡背后的極繁探索

一個深度相機(jī),，一個軟件模塊,，靠著這樣的簡單組合，“數(shù)字孿生驅(qū)動的人機(jī)協(xié)作安全距離快速感知系統(tǒng)”實現(xiàn)了48毫秒的極速感知,，將人機(jī)協(xié)作中的潛在安全風(fēng)險扼殺在萌芽狀態(tài),。

極簡實體、極速感知,、極度安全,，項目負(fù)責(zé)人褚明用三個“極”來概括這項成果的特點。

但成果有多“簡”,，過程就有多“繁”,。

采訪中，褚明一開始并沒有急于展示成果，而是先回顧了一段失敗的經(jīng)歷,。這個坦誠的開場,，讓記者了解了科研工作的真實軌跡。

最初,，團(tuán)隊選擇的技術(shù)路徑頗具吸引力,，模擬人類雙眼的立體視覺測距原理，計算深度相機(jī)發(fā)射的調(diào)制光線的往返時間差,，來構(gòu)建人體三維輪廓,。

這種仿生學(xué)思路看似完美，卻在實踐中遭遇瓶頸,。為了找到最近距離點,，系統(tǒng)需要把遍布人體表面的所有關(guān)鍵點計算一遍，龐大的計算量導(dǎo)致建模延遲,，遠(yuǎn)達(dá)不到工業(yè)安全防護(hù)響應(yīng)的時效要求,。

就這樣，研究一度陷入困境,。

在失敗中尋找希望,，團(tuán)隊再次調(diào)整思路，利用深度相機(jī)自帶的關(guān)鍵點捕捉功能,，通過精心篩選25個人體關(guān)鍵點和9個機(jī)械臂節(jié)點,，將原本復(fù)雜的建模過程簡化。思路的轉(zhuǎn)變,，讓數(shù)字孿生建模效率得到質(zhì)的飛躍,。

讓機(jī)器人實現(xiàn)智能，每一步都不容易,。

為了找到合適的深度相機(jī),，團(tuán)隊核心成員張萌花了三個多月，對比了三十多款產(chǎn)品的詳細(xì)數(shù)據(jù),。為了獲取更多詳細(xì)數(shù)據(jù),，她不得不一家家聯(lián)系廠商，有時甚至要跨時區(qū)與國外廠家反復(fù)溝通,。

“有多少人工,，才有多少智能。”采訪中,，褚明反復(fù)提及的這句話,，道破了人工智能研究的真諦。

而創(chuàng)新的魅力,，恰恰藏在這份“極簡”與“極繁”的辯證之中,。

在采訪尾聲,，褚明特別提到德國工業(yè)5.0倡導(dǎo)的人機(jī)共融愿景。那時候,，機(jī)器人不再是冰冷的執(zhí)行者,，而是能理解意圖、預(yù)判需求的智能伙伴,。

這種充滿溫度的技術(shù)想象,，讓我們有理由相信，當(dāng)極簡的智能與極繁的探索持續(xù)碰撞,，科技創(chuàng)新的未來必將綻放更多可能,。

文/河北日報記者 周聰聰