2.2 群體動(dòng)物感知定位機(jī)理

 

　　自然界中，鳥群編隊(duì)飛行的現(xiàn)象比較常見(jiàn)，其群聚行為包含自然社會(huì)、回避、探測(cè)以及防御掠奪等。鳥群經(jīng)常以“V”、“J”或梯形的線性編隊(duì)飛行，其中“J”形和 梯形編隊(duì)是“V”形編隊(duì)的變形，線性編隊(duì)行為可以通過(guò)鳥群成員間的視覺(jué)信息交互提高導(dǎo)航能力。

 

　　無(wú)人機(jī)編隊(duì)飛行形式與生物群體社會(huì)性行為存在相似性，通過(guò)研究生物群體行為規(guī)律，為無(wú)人機(jī)編隊(duì)飛行提供關(guān)鍵有效理論及技術(shù)思考，其中將生物集群編隊(duì)理論與無(wú)人機(jī)集群相對(duì)協(xié)同導(dǎo)航的研究在不斷推進(jìn)。以鴿群為例，在導(dǎo)航方式方面，鴿子在旅程不同階段會(huì)使用不同導(dǎo)航工具，前期依賴地磁場(chǎng)判斷大致的方向，后期通過(guò)地標(biāo)對(duì)實(shí)際方向進(jìn)行修正，太陽(yáng)高度也會(huì)影響鴿子導(dǎo)航。研究表明，鴿群編隊(duì)系統(tǒng)與狼群等 陸地群體的模式區(qū)別甚大，在鴿群中，所有的鴿子包括頭鴿及跟隨鴿都存在層次等級(jí)，區(qū)別是頭鴿的地位不容撼動(dòng)，為群體的絕對(duì)領(lǐng)導(dǎo)者，跟隨鴿只能服從上層，跟隨鴿所受影響來(lái)自于頭鴿及其上層鴿，而來(lái)自于上層鴿的影響實(shí)時(shí)性更高、效果更強(qiáng)。

 

　　無(wú)人機(jī)編隊(duì)集群類腦導(dǎo)航的研究者從鴿群層級(jí)行為得到了很多啟發(fā)，表現(xiàn)為:

 

　　1)鴿群編隊(duì)系統(tǒng)區(qū)別于陸地群體的單一首領(lǐng)制度。原因是視野及通訊最高距離的限制，鴿子只能與臨近上層的鴿子實(shí)時(shí)通訊并相對(duì)跟隨。無(wú)人機(jī)編隊(duì)類腦協(xié)同導(dǎo)航系統(tǒng)的研究受此啟發(fā)，由于長(zhǎng)機(jī)不能時(shí)刻在僚機(jī)的通訊及視野范圍內(nèi)，采用長(zhǎng)機(jī)與僚機(jī)通訊、僚機(jī)與僚機(jī)通訊的方式實(shí)現(xiàn)編隊(duì)飛行;

 

　　2)鴿群個(gè)體間不是任意兩鴿均可通訊聯(lián)系，而是具有森嚴(yán)制度。無(wú)人機(jī)編隊(duì)類腦協(xié)同導(dǎo)航系統(tǒng)的研究受此啟發(fā)，采用類似等級(jí)制度，可以增強(qiáng)集群通訊的可靠性，即使出現(xiàn)干擾甚至故障，仍可迅速實(shí)現(xiàn)集群系統(tǒng)重構(gòu)，使系統(tǒng)不受影響; 而且各無(wú)人機(jī)個(gè)體的通訊空間可大幅度減少。

 

　　2.3 類腦導(dǎo)航智能自適應(yīng)建模的發(fā)展現(xiàn)狀

 

　　未來(lái)類腦導(dǎo)航的主要發(fā)展趨勢(shì)之一是類腦認(rèn)知，認(rèn)知智能導(dǎo)航可以使智能導(dǎo)航系統(tǒng)進(jìn)行理解與思考，在復(fù)雜環(huán)境下快速識(shí)別附近環(huán)境，自我判斷最優(yōu)路徑。典型例子有谷歌 DeepMind 的最新研究，其中文獻(xiàn)[8]說(shuō)明了強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在導(dǎo)航方面，仍不能與人腦的空間行為的熟練度相媲美的原因是缺乏內(nèi)嗅皮層網(wǎng)格細(xì)胞的支撐，網(wǎng)格細(xì)胞可以提供一個(gè)多維度周期表示基礎(chǔ)，其作用類似于編碼空間，并且對(duì)于路徑集成( 集成自運(yùn)動(dòng)) 及計(jì)劃直接軌跡到目標(biāo)( 基于矢量的導(dǎo)航) 有重要作用。實(shí)驗(yàn)證明，網(wǎng)格單元自發(fā)地出現(xiàn)在神經(jīng)網(wǎng)絡(luò)中，使智能體獲得空間自導(dǎo)航能力，這與在哺乳動(dòng)物中觀察到的神經(jīng)活動(dòng)模式驚人的一致，也與網(wǎng)格細(xì)胞為空間提供高效代碼的觀點(diǎn)一致。

 

　　研究者首先利用網(wǎng)格細(xì)胞的計(jì)算功能設(shè)計(jì)一種類腦深度強(qiáng)化學(xué)習(xí)單元，訓(xùn)練一個(gè)具有長(zhǎng)短期記憶 ( LSTM) 架構(gòu)的循環(huán)網(wǎng)絡(luò)，使之出現(xiàn)類似于網(wǎng)格細(xì)胞的特征，以及其他內(nèi)嗅皮層細(xì)胞特征。速度作為輸入提供給該循環(huán)網(wǎng)絡(luò)，該網(wǎng)絡(luò)隨時(shí)間的反向傳播進(jìn)行訓(xùn)練，允許網(wǎng)絡(luò)動(dòng)態(tài)地將當(dāng)前輸入信號(hào)與反映過(guò)去事件的活動(dòng)模式組合。正如預(yù)期的那樣，網(wǎng)絡(luò)能在涉及覓食行為的環(huán)境中準(zhǔn)確進(jìn)行路徑整合，其中25.2%的線性層單元類似于網(wǎng)格單元，在保守的場(chǎng)改組程序產(chǎn)生的零分布中表現(xiàn)出來(lái)顯著的六邊形活動(dòng)模式，與嚙齒動(dòng)物網(wǎng)格細(xì)胞的經(jīng)驗(yàn)結(jié)果一致。線性層還表現(xiàn)出類似于頭部方向單元( 10.2%) ，邊界單元( 8.7% ) 和少量位置單元以及這些表示的連接單元。為了確定這些表示的穩(wěn)健性,文獻(xiàn)[5-6]表明對(duì)網(wǎng)絡(luò)進(jìn)行了100次重新訓(xùn)練，每次都找到類似比例的網(wǎng)格狀單元( 平均23%， s.d.2.8% ，具有顯著網(wǎng)格特征的單元) 和其他空間調(diào)制單元。

 

　　為了開(kāi)發(fā)具有矢量導(dǎo)航潛力的智能體，文獻(xiàn)[8]將上述“網(wǎng)格網(wǎng)絡(luò)”整合到一個(gè)用深度強(qiáng)化學(xué)習(xí)訓(xùn)練的更大的架構(gòu)中。和以前一樣，網(wǎng)格網(wǎng)絡(luò)是使用監(jiān)督學(xué)習(xí)訓(xùn)練的，如圖6所示，但為了更好地近似可用于導(dǎo)航哺乳動(dòng)物的信息，它現(xiàn)在接收受隨機(jī)噪聲和視覺(jué)輸入擾動(dòng)的速度信號(hào)。發(fā)現(xiàn)智能體能在有挑戰(zhàn)性的、不熟悉的、變化的環(huán)境中定位目標(biāo)，具有類似于網(wǎng)格特征的智能體的性能超過(guò)了人類專家和其他對(duì)比個(gè)體，其基于矢量的導(dǎo)航所需的度量尺度來(lái)自于網(wǎng)絡(luò)中的網(wǎng)格狀單元。而且，網(wǎng)格細(xì)胞的特征使得智能體能夠執(zhí)行與哺乳動(dòng)物類似的走捷徑的行為。研究結(jié)果表明，網(wǎng)格狀單元為個(gè)體提供了歐幾里德空間度量和相關(guān)的向量運(yùn)算，為精確導(dǎo)航提供了基礎(chǔ)。因此，結(jié)果支持將網(wǎng)格單元視為基于矢量導(dǎo)航的關(guān)鍵的神經(jīng)科學(xué)理論，證明后者可以與基于路徑的策略相結(jié)合，以支持在具有挑戰(zhàn)性的環(huán)境中進(jìn)行導(dǎo)航。

 

 

　　網(wǎng)格單元的循環(huán)層是具有128個(gè)隱層單元的LSTM，該循環(huán)層的輸入為向量[v，sin(φ) ，cos(φ) ]，初始時(shí)刻的地面真實(shí)位置，活動(dòng)c0和頭朝向活動(dòng) h0 分別經(jīng)過(guò)線性變換后得到 LSTM的初始單元狀態(tài)和隱藏狀態(tài)的初始化值 l0和m0.LSTM的輸出是一個(gè)經(jīng)過(guò)正則化的線性層，該線性層的輸出gt是由線性變化得到的，并通過(guò)兩個(gè)softmax函數(shù)計(jì)算出預(yù)測(cè)的頭朝向單元活動(dòng)zt和位置單元活動(dòng)yt。研究表明線性層激活gt中含有網(wǎng)格狀單元及頭朝向狀單元。

 

　　傳統(tǒng)的同步定位與建圖(SLAM) 技術(shù)通常需要構(gòu)建準(zhǔn)確且完整的地圖，從外部定義目標(biāo)的性質(zhì)和位置。相比之下，文獻(xiàn)[8]中描述的深度強(qiáng)化學(xué)習(xí)方法能夠從稀疏獎(jiǎng)勵(lì)中端到端地學(xué)習(xí)復(fù)雜的控制策略，以超過(guò)以往深度強(qiáng)化學(xué)習(xí)方法的自主能力直接引導(dǎo)個(gè)體到達(dá)目標(biāo)甚至采用走捷徑的方式，而這些若在SLAM系統(tǒng)中則需要手動(dòng)編碼。文獻(xiàn)[9]中提出了一種解決城市級(jí)現(xiàn)實(shí)環(huán)境中任務(wù)的深度強(qiáng)化學(xué)習(xí)導(dǎo)航方法，并分析了一項(xiàng)新的信使任務(wù)，提出了一個(gè)多城市網(wǎng)絡(luò)智能體架構(gòu)，演示了該如何將神經(jīng)網(wǎng)絡(luò)遷移到新的環(huán)境。

 

　　目前有4點(diǎn)需要進(jìn)一步研究:

 

　　1)如果神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中不包括正則項(xiàng)，那么神經(jīng)網(wǎng)絡(luò)無(wú)法表現(xiàn)出網(wǎng)格細(xì)胞功能，這一發(fā)現(xiàn)給了我們一個(gè)全新的角度去思考正則項(xiàng)的作用;

 

　　2)深度神經(jīng)網(wǎng)絡(luò)的黑盒特性阻礙了進(jìn)一步分析網(wǎng)格細(xì)胞活動(dòng)特性對(duì)路徑整合的作用，由于無(wú)法在模型內(nèi)進(jìn)行原理分析、定性定量分析算法和編碼策略，使得研究網(wǎng)格細(xì)胞成為有效的導(dǎo)航方案異常困難，這一點(diǎn)再次強(qiáng)調(diào)了研究神經(jīng)網(wǎng)絡(luò)的必要性以及神經(jīng)科學(xué)家的重要性;

 

　　3)還需要進(jìn)一步分析深度學(xué)習(xí)系統(tǒng)的內(nèi)部工作機(jī)理，研究輔助類腦之空間導(dǎo)航的通用計(jì)算原理;

 

　　4)目前只涉及了單個(gè)智能體的類腦導(dǎo)航，編隊(duì)類腦方面，只涉及到了與人工智能相關(guān)的導(dǎo)航，但離真正的類腦還是有一定距離。

 

　　3 類腦集群導(dǎo)航系統(tǒng)中面臨的重難點(diǎn)