既有利爪，當(dāng)安銳目，就像天機(jī)翱翔的雄鷹，銳利的眼睛配上靈活又強(qiáng)有力的利爪，無(wú)往而不利。馬來(lái)西亞蛋糕分揀線的成功，讓我們備受鼓舞。我們?cè)缬幸庾R(shí)，靈活的機(jī)械手，應(yīng)該配備精確的視覺(jué)識(shí)別系統(tǒng)。深度視覺(jué)識(shí)別系統(tǒng)可以幫助機(jī)械手更加精確地鎖定和捕捉目標(biāo)物體，提高其操作效率和準(zhǔn)確度，從而滿足不同應(yīng)用場(chǎng)景的需求。

 要為利爪安上眼睛

2020年，一位意大利客戶找到方圓機(jī)械，希望我們提供一條分揀條包的生產(chǎn)線。客戶主要的產(chǎn)品是條包裝的保健品，先通過(guò)自動(dòng)包裝機(jī)裝進(jìn)條包里，再通過(guò)人工計(jì)數(shù)、入盒完成外包裝。由于外包裝需要使用大量的人工作業(yè)，恰逢疫情爆發(fā)，工人嚴(yán)重短缺，所以客戶想通過(guò)提高外包裝過(guò)程的自動(dòng)化程度來(lái)減少人工的需求。

功者難成而易敗，時(shí)者難得而易失。十年磨一劍，是時(shí)候試試霜刃了。

且慢！先來(lái)羅列一下需求……

1、 整理！松散混亂的條包需分離獨(dú)立；

2、 識(shí)別！條包的方向必須一致；

3、 數(shù)數(shù)！要把條包按照設(shè)定的數(shù)量（比如20條）一份一份整理好，以便入盒；

4、 泛化！條包產(chǎn)品種類(lèi)繁多，大小、形狀、數(shù)量要求都可能不同；

5、 速度！生產(chǎn)效率根據(jù)條包尺寸的不同在300~500包/min。

需要把一堆亂糟糟的條包按方向、固定數(shù)量排列整齊

這些要求前所未有！傳統(tǒng)設(shè)備對(duì)于單種的條包的自動(dòng)計(jì)數(shù)、入盒已經(jīng)非常成熟，但也有很大的局限性。理料設(shè)備只能把混亂的條包整理成單列不重疊的，但沒(méi)辦法統(tǒng)一條包上印刷圖案的方向；計(jì)數(shù)機(jī)不能兼容任意數(shù)量的計(jì)數(shù)，兼容的計(jì)數(shù)值間須是成倍的關(guān)系，如6、12、18等，6、7是兼容不了的，開(kāi)盒入盒設(shè)備也只能兼容一定尺寸內(nèi)的1、2種盒子的自動(dòng)入盒，而客戶需要兼容各種尺寸條包，各種計(jì)數(shù)數(shù)量，某些條包還需要按統(tǒng)一的印刷圖案方向放置入盒。

理想是真的理想，條包卻有點(diǎn)瘦削。

以上問(wèn)題，非深度視覺(jué)不能解決。相比之下，一份精美的整體方案設(shè)計(jì)算是小意思了。

方案階段的成果先讓意大利客戶驚艷了一把

接下來(lái)的幾個(gè)月時(shí)間，就是不斷的研究、試驗(yàn)。數(shù)據(jù)采集和標(biāo)注，硬件搭配，作業(yè)環(huán)境的模擬和優(yōu)化，運(yùn)動(dòng)狀態(tài)下的圖像處理……需要突破的難題太多，太大，太復(fù)雜了。

方圓機(jī)械的視覺(jué)工程師面對(duì)著成千上萬(wàn)塊不同類(lèi)型、形狀和大小的條包，進(jìn)行反復(fù)的訓(xùn)練和測(cè)試，以確保算法的準(zhǔn)確率和穩(wěn)定性。向目標(biāo)靠近的每一次進(jìn)步，幅度都是越來(lái)越小的，識(shí)別的準(zhǔn)確率終于達(dá)到99.99%以上。

在模型訓(xùn)練完成后，研發(fā)團(tuán)隊(duì)開(kāi)始進(jìn)行系統(tǒng)集成，需要將視覺(jué)識(shí)別系統(tǒng)和機(jī)械手臂控制系統(tǒng)無(wú)縫銜接，確保兩個(gè)系統(tǒng)之間的穩(wěn)定和協(xié)調(diào)。測(cè)試結(jié)果顯示，系統(tǒng)能夠準(zhǔn)確地識(shí)別和分類(lèi)不同的條包，并引導(dǎo)機(jī)械手臂進(jìn)行精準(zhǔn)的抓取和放置操作，同時(shí)還能夠在高速運(yùn)轉(zhuǎn)的生產(chǎn)線上保持穩(wěn)定和可靠的性能。2.5秒，2秒1.5秒，1.2秒，1秒！識(shí)別結(jié)果指令發(fā)送，機(jī)械手抓取和精準(zhǔn)放置的速度也達(dá)到了設(shè)定要求。

漫長(zhǎng)的測(cè)試調(diào)試對(duì)意志力是一大挑戰(zhàn)     

由于種種原因，所以我們暫時(shí)放棄了條包入盒的自動(dòng)化實(shí)現(xiàn)，還是保留人工的操作方式。

這足以讓我們的意大利客戶解決了最枯燥最繁重的人工挑揀過(guò)程。

作為全球設(shè)計(jì)中心的意大利，有著對(duì)設(shè)計(jì)的天然挑剔。我們沒(méi)有沉浸在攻克技術(shù)的喜悅中忘乎所以。人性化的理念，藝術(shù)性的設(shè)計(jì)，厚重而不失浪漫的產(chǎn)品質(zhì)感。奔放而又嚴(yán)謹(jǐn)、散漫卻又文藝的意大利客戶的認(rèn)同，也是我們甚為看重的。

有一天視頻連線，我們的意大利客戶哼著小曲，現(xiàn)場(chǎng)給我們展示他們的設(shè)備運(yùn)轉(zhuǎn)的時(shí)候，一切，都是那么值得，令人欣慰。