SBDQ-205A機(jī)器人視覺數(shù)智化電氣實(shí)訓(xùn)平臺(tái)
一、實(shí)驗(yàn)指導(dǎo)
(一)電氣實(shí)訓(xùn)操作
機(jī)器人視覺數(shù)智化電氣實(shí)訓(xùn)平臺(tái)學(xué)生了解電氣工程中常見的控制回路及插件,并進(jìn)行邏輯觸發(fā)后完成整體電氣回路的搭建,過程中記錄,并對(duì)過程進(jìn)行評(píng)估和識(shí)別。
1.平臺(tái)啟動(dòng)后進(jìn)入登錄界面,輸入實(shí)訓(xùn)者身份信息后,開始在主控界面進(jìn)行線路的接通,并在執(zhí)行過程中了解操作部件的結(jié)構(gòu)、原理以及使用方式;
2.指令發(fā)出后實(shí)訓(xùn)臺(tái)開始呼喚機(jī)械臂操作部分就位,并開始執(zhí)行按壓、插拔、旋轉(zhuǎn)等動(dòng)作:
3.所有操作完畢后,將對(duì)操作內(nèi)容進(jìn)行識(shí)別評(píng)估、同時(shí)啟動(dòng)實(shí)訓(xùn)對(duì)象,并開始監(jiān)控其狀態(tài),實(shí)訓(xùn)對(duì)象運(yùn)行過程中以物理的方式進(jìn)行運(yùn)行原理及內(nèi)部結(jié)構(gòu)的展示;

(二)自主行進(jìn)機(jī)器人實(shí)訓(xùn)
1.機(jī)器人底盤技術(shù)介紹:
學(xué)生了自行走機(jī)器人基本原理和應(yīng)用場景。
介紹自行走機(jī)器人運(yùn)行的基本條件及邏輯。
2.行走部分遙控操作:
學(xué)生使用遙控終端與機(jī)器底盤連接,操控機(jī)器人底盤,同時(shí)了解和學(xué)習(xí)差速控制條件下的底盤前進(jìn)、轉(zhuǎn)彎、掉頭變速等運(yùn)動(dòng)學(xué)分析。
3.可視化終端展示及學(xué)習(xí):
學(xué)生使用遠(yuǎn)程終端學(xué)習(xí)和了解傳感器數(shù)據(jù)的原理、發(fā)布、完成基于gazebo界面工具搭建2D地圖,以及多算法模型規(guī)劃下的全局地圖和局部地圖。
4.編程控制實(shí)驗(yàn):
學(xué)習(xí)如何ROS命令切換地圖及路徑規(guī)劃算法,實(shí)現(xiàn)自行走機(jī)器人不同的路線規(guī)劃。
(三)機(jī)器視覺模塊實(shí)訓(xùn)
學(xué)習(xí)和了解機(jī)器視覺模塊的基本原理和功能,以及其在機(jī)器人應(yīng)用中的作用。
1、介紹機(jī)器視覺模塊的圖像采集、處理和識(shí)別技術(shù),如顏色識(shí)別、形狀識(shí)別、文字等。
2.目標(biāo)物體識(shí)別任務(wù)設(shè)計(jì)
設(shè)計(jì)目標(biāo)物體識(shí)別任務(wù),并植入相應(yīng)的模型,根據(jù)視覺反饋?zhàn)R別特定顏色、形狀等特征的物體,并執(zhí)行相應(yīng)的動(dòng)作,過程中要求學(xué)生考慮識(shí)別算法、目標(biāo)檢測(cè)和定位精度等因素,設(shè)計(jì)合理的識(shí)別任務(wù)。
3.實(shí)驗(yàn)操作
學(xué)生進(jìn)行實(shí)驗(yàn)操作,控制機(jī)器人根據(jù)視覺反饋執(zhí)行不同的動(dòng)作,如拾取特定顏色的物體。
學(xué)生根據(jù)實(shí)驗(yàn)結(jié)果對(duì)視覺反饋控制程序進(jìn)行調(diào)整和優(yōu)化,提高識(shí)別和執(zhí)行的準(zhǔn)確性和效率。
(四)機(jī)械臂模塊實(shí)訓(xùn)
學(xué)習(xí)和了解多軸機(jī)械臂的基本原理和功能,以及其在工業(yè)應(yīng)用中的作用。
1、示教界面下的機(jī)械臂移動(dòng)及終端的動(dòng)作配合;
2、rvia可視化界面下機(jī)械臂運(yùn)動(dòng)軌跡規(guī)劃及避障操作。
3.實(shí)驗(yàn)操作
學(xué)生根據(jù)目標(biāo)坐標(biāo),通過路徑規(guī)劃器對(duì)機(jī)械臂進(jìn)行單點(diǎn)移動(dòng)、多點(diǎn)軌跡移動(dòng),并控制機(jī)器人終端拾取物品。
二、主要技術(shù)參數(shù)
產(chǎn)品型號(hào) | YY-SC02409012 |
系統(tǒng)電源 | AC380/AC220 |
設(shè)備重量 | <300kg |
額定功率 | <4KW |
環(huán)境濕度 | ≤85% |
設(shè)備尺寸 | 1000*800*1400mm |
安全保護(hù) | 急停按鈕,漏電保護(hù),過流保護(hù),接地保護(hù) |
雷達(dá) | 單線激光雷達(dá) |
行走驅(qū)動(dòng) | 伺服電機(jī) |
相機(jī) | 雙目深度相機(jī) |
觸摸屏 | 32寸電容觸摸屏 |
自行走功能 | 建圖、避障、路徑規(guī)劃 |
機(jī)械臂 | 6自由度旋轉(zhuǎn)、插拔、按壓 |
交互 | 過程感知、動(dòng)態(tài)狀態(tài)顯示 |
三、設(shè)計(jì)軟件工具
內(nèi)容 | 運(yùn)行環(huán)境 | 語言 |
機(jī)器人底盤 | ubuntu20.4 | Ros1、Python3.8 |
機(jī)械臂運(yùn)動(dòng)控制 | ubuntu20.4 | Ros1、Python3.8 |
視覺識(shí)別 | ubuntu20.4 | Python3.8+yoloV5 |
操作主邏輯 | Win10 | Python3.8+Qt |
操作展示端邏輯 | Win10 | Python3.8+Qt |
過程感知 | Win10 | Python3.8+Qt |
四、設(shè)備結(jié)構(gòu)與組成
電氣工程數(shù)智化實(shí)訓(xùn)平臺(tái)平臺(tái)采用模塊化設(shè)計(jì),分別為自行走機(jī)器人模塊、機(jī)械臂模塊、電氣控制模塊、機(jī)器視覺模塊、顯示操作模塊、等多功能快換模塊組成,實(shí)訓(xùn)臺(tái)采用鋁型材結(jié)構(gòu),臺(tái)面上用于放置實(shí)訓(xùn)對(duì)象。

(一)自行走機(jī)器人模塊
機(jī)器人底盤采用雙??刂品绞剑ㄟb控+自主避障導(dǎo)航),根據(jù)實(shí)訓(xùn)臺(tái)操作指令進(jìn)行位置的移動(dòng),導(dǎo)航及行進(jìn)。

工作流程:
可視化Ros工作平臺(tái),包含對(duì)相機(jī)、雷達(dá)、底盤驅(qū)動(dòng)、短波雷達(dá)、IMU姿態(tài)傳感器等組成部件的調(diào)用,提供SDK,在完成實(shí)訓(xùn)任務(wù)的同時(shí),具備多種機(jī)器人行進(jìn)算法和控制的輸出:
a)對(duì)機(jī)器人自主行進(jìn)、建圖、避障話題及數(shù)據(jù)發(fā)布直觀的認(rèn)知。
b)Rviz可視窗口下的導(dǎo)航狀態(tài)監(jiān)控及目標(biāo)設(shè)定。
c)遙控狀態(tài)下的差速模式行進(jìn)轉(zhuǎn)彎、掉頭、修正交互感官。
d)NFS掛載與配置。
(二)機(jī)械臂動(dòng)作模塊
由六自由度機(jī)械臂、機(jī)械爪、深度相機(jī)組成。機(jī)器人本體模仿人的手臂,共有6 個(gè)旋轉(zhuǎn)關(guān)節(jié),每個(gè)關(guān)節(jié)表示一個(gè)自由度,深度相機(jī)負(fù)責(zé)視覺識(shí)別及測(cè)距、機(jī)械爪負(fù)責(zé)識(shí)別后動(dòng)作執(zhí)行。

工作流程:

Rviz可視化界面,通過多自由度的運(yùn)行配合,完成目標(biāo)的捕捉,在完成實(shí)訓(xùn)任務(wù)的同時(shí),具備機(jī)器視覺及相關(guān)的訓(xùn)練和過程演示:
a)手眼標(biāo)定。
b)機(jī)械臂運(yùn)動(dòng)學(xué)正逆解。
c)AR標(biāo)簽識(shí)別。
d)Moveit軌跡規(guī)劃及避障。
(三)顯示操作模塊
顯示操作模塊分別由主邏輯控制、過程感知部分組成,其中主邏輯計(jì)算機(jī)負(fù)責(zé)對(duì)整體任務(wù)指令的發(fā)出進(jìn)行輸出,包括自行走底盤的運(yùn)動(dòng)、機(jī)械臂操作指令、主交互界面的操作指令識(shí)別等,監(jiān)控計(jì)算機(jī)分別對(duì)實(shí)訓(xùn)對(duì)象的轉(zhuǎn)速、溫度、噪聲、操作動(dòng)作等動(dòng)態(tài)參數(shù)進(jìn)行感知和展示。

顯示部分采用聯(lián)動(dòng)模式進(jìn)行工作,及操作對(duì)象跟換后展示進(jìn)行聯(lián)動(dòng),包括原理、組成結(jié)構(gòu)等進(jìn)行三維動(dòng)畫展示;機(jī)械臂動(dòng)作執(zhí)行狀態(tài)進(jìn)行實(shí)時(shí)顯示。
同時(shí)采用模塊化設(shè)計(jì),在具備課件標(biāo)定后替換功能,實(shí)訓(xùn)過程在不單進(jìn)行操作的交互還具備以下功能:
a)傳感技術(shù)的應(yīng)用及常態(tài)感知技術(shù)展示。
b)基于多模塊交互狀態(tài)下的通訊及響應(yīng)。
c)NFS服務(wù)端、客戶端工作模式。
(四)機(jī)器視覺模塊
機(jī)器視覺模塊由深度相機(jī)、yoloV5、opencv、Svw模型算法等組成,機(jī)械臂掃描過程中識(shí)別目標(biāo)特征并獲取空間坐標(biāo),為機(jī)械臂軌跡規(guī)劃提供終點(diǎn)坐標(biāo)。

Opencv可視化界面,通過深度相機(jī)的調(diào)用,在完成實(shí)訓(xùn)任務(wù)的同時(shí),具備機(jī)器視覺識(shí)別的相關(guān)算法模型調(diào)用:
a)Yolo識(shí)別過程及模型訓(xùn)練。
b)基于Svw模型的文字提取。
c)圖像的讀取及抽幀處理。
d)TOF測(cè)距空間坐標(biāo)提取。
(五)電氣控制模塊
電氣控制模塊分為:斷路接通部分、按鈕開關(guān)、接通展示部分組成,在實(shí)訓(xùn)過程中通過機(jī)械臂使斷路及控制部件接通,并進(jìn)行展示,同時(shí)實(shí)訓(xùn)對(duì)象進(jìn)行感知。


采用模塊插拔化設(shè)計(jì)可以快速完成部件的部署及線路更換,完成相應(yīng)的更換后可以快速實(shí)現(xiàn):
a)不同課件的替換。
b)實(shí)訓(xùn)動(dòng)部件的更換。

五、主設(shè)備配置清單
序號(hào) | 名稱 | 主要部件、器件及規(guī)格 | 數(shù)量 |
1 | 自行走機(jī)器人模塊 | 1、減速箱形式:L型蝸桿減速器; 2、減速比:60:1; 3、電機(jī)最大轉(zhuǎn)速:3000轉(zhuǎn)/分鐘; 4、電機(jī)形式:直流私服電機(jī); 5、電機(jī)數(shù)量:2; 6、電機(jī)扭矩:2.4NM; 7、搭載傳感器:激光雷達(dá)、短波雷達(dá)、姿態(tài)傳感器; 8、操作系統(tǒng):ubuntu20.4-Ros1; 9、遠(yuǎn)程可視化界面; 10、傳感器:激光雷達(dá)、短波雷達(dá)、IMU; 11、預(yù)裝開源:cartographer建圖、DWA路徑規(guī)劃、動(dòng)態(tài)避障、自主導(dǎo)航; | 1套 |
2 | 機(jī)械臂動(dòng)作模塊 | 1.工作范圍:≥800 mm; 2.有效負(fù)荷:≥5 kg; 3.自由度:≥6個(gè); 4.重復(fù)定位精度:±0.02 mm; 5.防護(hù)等級(jí):IP40; 6.軸運(yùn)動(dòng) 工作范圍 最大速度 軸1≥+170°~-170°(360°/S) 軸2≥+40°~-195°(360°/S) 軸3≥+150°~-115°(488°/S) 軸4≥+185°~-185°(600°/S) 軸5≥+120°~-120°(529°/S) 軸6≥+350°~-350°(800°/S) 7.機(jī)器人控制器 采用標(biāo)準(zhǔn)的工業(yè)控制計(jì)算機(jī)多核處理器;基于ubuntu操作系統(tǒng)平臺(tái);能直接外接顯示器、鼠標(biāo)、鍵盤和USB,方便程序的讀寫;內(nèi)置大容量電池,斷電保護(hù)功能; 9.示教器 采用遠(yuǎn)程終端共享界面直接進(jìn)行控制;具備多項(xiàng)操作方向按鈕及姿態(tài)輸入界面,方便操作與安全。 | 1套 |
3 | 機(jī)器視覺模塊 | 1.主要由智能相機(jī)、相機(jī)支架、通訊電纜等組成,可對(duì)顏色、形狀、文字進(jìn)行檢測(cè)識(shí)別,可獨(dú)立使用也可以與其他模塊配合使用; 2.雙目深度相機(jī)采用嵌入式硬件平臺(tái),可進(jìn)行高速的圖像處理,植入高精度定位與測(cè)量算法; 3.具備紅外測(cè)距功能; 4.分辨率:1920x1080像素分辨率; 5.傳感器:1/2.5”彩色傳感器,幀緩存:32M; 6.通訊接口:RJ45千兆以太網(wǎng); | 1套 |
4 | 顯示操作模塊 | 1、32寸電容觸摸交互屏; 2、主動(dòng)式響應(yīng)感知界面; 3、聯(lián)動(dòng)響應(yīng)狀態(tài)下的主輔響應(yīng)機(jī)制; 4、模塊化組態(tài)軟件,便于更換課件; | 1套 |
5 | 電氣控制模塊 | 主操作界面,包括按鈕指示燈、通斷開關(guān)、接線開關(guān),輔助面板包含開關(guān)電源、工業(yè)交換機(jī)、485集線器、AI采集卡、線控繼電器等組成。系統(tǒng)配有兩套AI采集模塊用于實(shí)訓(xùn)對(duì)象的啟動(dòng)、停止、運(yùn)行及接線狀態(tài)的識(shí)別,配置可編程控制器及擴(kuò)展模塊,協(xié)調(diào)各工作端之間的運(yùn)行。 | 1套 |