基于深度學習的密集人群安全監(jiān)測系統(tǒng)

　　摘 要：近年來高密度人群聚集活動經(jīng)常因為缺乏及時有效的管理而導致安全事故頻頻發(fā)生，人群活動的應急管理、風險評估、隱患識別越來越受到重視。鑒于系留無人機的自由靈活性，其可長時間、全方位監(jiān)測密集人群，將監(jiān)測數(shù)據(jù)傳入深度學習的卷積模型中，計算人群密度等指標，并驗證實驗結果的可行性，將預警信息、風險點數(shù)據(jù)推送至相關管理單位，形成監(jiān)測信息、預警信息、對應措施信息化安全管理系統(tǒng)，為安全管理部門提供幫助。

　　關鍵詞：城市安全;高密度人群;系留無人機;深度學習;場景分析;卷積模型

　　《智能系統(tǒng)學報》已于2006年3月正式出刊,雙月刊。是由中國人工智能學會和哈爾濱工程大學聯(lián)合主辦，是中國人工智能學會會刊之一。

　　0 引 言

　　當今國民經(jīng)濟快速發(fā)展，人們的物質生活和精神生活大幅提升，節(jié)假日旅游、明星演唱會、城市各大廣場商場、地鐵站、火車站等大型人群活動越來越多，急劇發(fā)展的同時也帶來了城市的安全問題。群眾的聚集性活動具有秩序混亂、容易恐慌、擁擠度高、管理困難等特點，比較容易發(fā)生意外，比如踩踏性事件、重大傷亡事件、財產(chǎn)丟失事件等[1]。近年來，我國頻頻發(fā)生大型人群活動惡性事件，2004年2月5日在北京市密云縣密虹公園舉辦的密云縣第二屆迎春燈展中，因為游人在公園橋上跌倒，引起身后游人擁擠，造成踩死、擠傷游人的特大惡性事故，事故造成37人死亡、37人受傷;2007年11月，重慶一家樂福超市因食用油打折促銷引發(fā)踩踏事故，造成3人死亡，31人受傷;2014年12月31日上海外灘陳毅廣場發(fā)生踩踏性事件，造成36人死亡，49人受傷[2]。若能實時監(jiān)測每個場景中的人群密度、擁擠度、人群流向、人群異常行為等指標，然后根據(jù)實時監(jiān)測指標采取相對應的安保措施和實行不同等級的緊急預案，就能及時避免或者減少此類事件的發(fā)生。

　　傳統(tǒng)的人群計數(shù)研究方法分為兩種：第一種是基于檢測的方法，使用一個滑動窗口檢測器來檢測場景中的人群，并統(tǒng)計對應人數(shù);第二種是基于回歸的方法，該方法通過提取一些低級特征學習一個人群計數(shù)的回歸模型，但很難處理人群之間嚴重遮擋的問題[3]。隨著深度學習計算機視覺技術的發(fā)展，卷積模型處理視頻數(shù)據(jù)的效果顯著，同樣也被應用于人群計數(shù)的研究中。因為卷積神經(jīng)網(wǎng)絡具有強大的特征學習能力，可以解決遮擋、視角等問題，所以深度學習在人群計數(shù)數(shù)據(jù)集和卷積神經(jīng)網(wǎng)絡模型等方面表現(xiàn)良好。

　　1 系留無人機監(jiān)測系統(tǒng)

　　系留無人機近年來已被廣泛應用在應急搶險工作中，國內(nèi)外很多公司對系留無人機的相關設備有了成熟的研究并不斷完善，在起飛、懸停高度、載荷等方面也進行了不斷探索[4]。系留無人機通過系留電纜連接系留控制箱，系留控制箱與地面電源連接，具有續(xù)航時間長、穩(wěn)定性高、精度高、成本低、拍攝范圍廣、實時監(jiān)測等特點。系留無人機可以搭載高清廣角相機、紅外相機、雷達傳感器等監(jiān)測工具，采集的高質量視頻圖像通過HDMI接口傳入電腦，視頻數(shù)據(jù)經(jīng)計算處理得出監(jiān)控場景中的人群數(shù)量等指標，傳輸?shù)街笓]中心進行判斷，對人群疏導、安全事故、風險評估起預測作用，可節(jié)約人力，提高效率。系留無人機監(jiān)測平臺方案示意如圖1所示。

　　2 基于深度學習的監(jiān)測數(shù)據(jù)處理方法

　　深度學習的基本工作原理如圖2所示。圖像輸入設計的卷積神經(jīng)網(wǎng)絡提取特征通過權重值輸出預測值，一一對應的預測值與真實值利用損失函數(shù)判斷之間的差異，作為反饋信號權重進行微調，在調節(jié)過程中使用優(yōu)化器來完成，最終經(jīng)過數(shù)次迭代使模型達到最小的損失值，訓練結束，保存權重。

　　數(shù)據(jù)來源于公開的shanghai-tech數(shù)據(jù)集(1 100張圖片)和自己拍攝的大型活動場景圖片(900張)，所有圖片數(shù)據(jù)均需經(jīng)過標準化處理。將高密度人群圖像和稀疏人群圖像整合后，訓練一個適用于普遍場景下的人群計數(shù)模型。數(shù)據(jù)標記過程是把每一張圖像中的頭部標注成稀疏矩陣，再通過高斯濾波轉換成2D密度圖，密度圖中所有單元格的總和為圖像中的實際人數(shù)，經(jīng)數(shù)據(jù)預處理后生成一一對應的數(shù)據(jù)標簽圖像[5-6]。其中1 400張為訓練圖像，600張為測試和驗證圖像。

　　2.1 網(wǎng)絡結構

　　本文通過兩類卷積神經(jīng)網(wǎng)絡模型計算人群指標并驗證深度學習的準確率。一類是基于卷積+空洞卷積的CNN模型，其前端利用預訓練的VGG16網(wǎng)絡前的十層卷積層和三層池化層，每次卷積采用補0操作，保持輸出的圖像大小不變，最大池化步幅為2，圖像輸入網(wǎng)絡中，經(jīng)過4次卷積和3次池化后，輸出圖像尺寸變?yōu)橹暗?/8，圖像變小后生成密度圖比較困難，所以后端加上六層空洞卷積(Dilated Convolution)，設置膨脹率為2[7-8]，其網(wǎng)絡結構如圖3所示。

　　另一類是基于多尺度的編碼-解碼(Encoder-Decoder)網(wǎng)絡結構，網(wǎng)絡的編碼部分使用多尺度卷積結構，通過不同大小的卷積核可以很好地學習不同尺度的人群特征，使模型的泛化能力更強。本次研究設計了4種不同尺度的卷積核，串聯(lián)輸出，采用最大池化，每次池化圖像變?yōu)橹暗?/p>

　　1/2[9-10]。網(wǎng)絡解碼部分使用卷積和三層轉置卷積得到最終的人群密度圖，網(wǎng)絡結構如圖4所示。

　　2.2 損失函數(shù)

　　(1)基于CSRNet的損失函數(shù)采用歐式距離來計算標簽圖像的真值和預測密度圖之間的差異[11]，計算過程如下：

　　式中：N為訓練樣本的數(shù)量;Z(Xi; θ)為輸入第i個樣本的預測密度;ZiGT為第i個樣本的真實密度;L(θ)代表密度損失。

　　(2)基于SANet的損失函數(shù)采用SSIM和歐氏距離的結合來計算密度圖與真實值之間的相似性[9]，計算過程如下：

　　式中：N代表樣本的數(shù)量;C1和C2代表常數(shù);μF為樣本F的均值;μY為樣本Y的均值;σF為樣本F的方差;σY為樣本Y的方差;σFY為樣本Y，F(xiàn)的協(xié)方差;SSIM衡量真實值與密度圖之間的一致性;LC代表圖片的一致性損失;Lθ代表歐式距離的密度損失;LOSS代表總的密度損失。

　　2.3 評估標準

　　采用平均均方根誤差MSE和平均絕對誤差MAE兩個指標評價模型的性能，MSE評價模型的準確率，MAE評價模型的魯棒性[5，11]，公式如下：

　　式中：N為測試集的圖像數(shù)量;G(i)和P(i)分別表示第i張測試圖像的真實值和預測值。

　　2.4 實驗過程

　　實驗環(huán)境為Ubuntu18.04操作系統(tǒng)，GPU為GTX1060，使用后端為TensorFlow的Keras深度學習框架。實驗過程中為了防止出現(xiàn)過擬合和通過少量樣本訓練泛化能力強的新模型，使用訓練數(shù)據(jù)增強生成器，通過旋轉、平移、縮放、翻轉等隨機變化來增加樣本數(shù)量。數(shù)據(jù)輸入采用小批次訓練，每次輸入8個樣本，訓練過程的參數(shù)設置見表1，表2所列。

　　2.5 實驗結果分析

　　測試結果見表3所列，MSE和MAE兩個誤差指標都在誤差范圍內(nèi)，驗證了本文介紹的人群計數(shù)網(wǎng)絡結構方案的有效性。

　　本文基于卷積-空洞卷積和多尺度編碼-解碼兩種網(wǎng)絡在深圳市海岸城、廣州市火車站和shanghai-tech測試數(shù)據(jù)集進行測試，結果見表4、表5所列。

　　系統(tǒng)分析流程如圖5所示。

　　3 案例的應用分析

　　3.1 深圳市南山區(qū)海岸城購物中心

　　海岸城位于深圳市南山區(qū)后海，緊鄰濱海大道、南海大道、后海大道、創(chuàng)業(yè)路等南山區(qū)城市主干道，附近有百貨商場、特色餐飲、潮流娛樂、零售店面、品牌商鋪，周邊有深圳大學、寫字樓、科技創(chuàng)業(yè)園、居民住宅等建筑，周末、節(jié)假日成為了人們聚集的休閑地點，從而形成人流量較大、人群活動密集的現(xiàn)象。本文選取靠近后海地鐵站D，E出口近150 m的步行街為研究對象，此步行街在地上二層，兩側排滿商鋪，采集數(shù)據(jù)的時間為每個周末的下午5點，采集次數(shù)為5次，具體場景如圖6所示。

　　(1)評價監(jiān)控場景中人群舒適度與行人心理情緒的關系

　　研究區(qū)段長近50 m，寬近10 m，研究面積為500 m2，通過人群計數(shù)的實驗得出無人機特定視角監(jiān)測范圍內(nèi)人數(shù)為400～450人，行人密度為0.8～0.9人/m2，通常情況下，行人密度小于1人/m2時，人群活動比較自由，行人密度小于0.5人/m2時，人群活動比較舒適[12]，所以研究路段基本可滿足行人自由活動的需求，但是人群行走舒適度不高，有行走限制，會影響行人購物的心理情緒，出現(xiàn)焦慮、煩躁等心理狀態(tài)，需注意排隊購物、行人突然奔跑、小孩隨意走動等行為[13]。

　　(2)人群聚集度與危險等級的關系

　　通過計算人群的數(shù)量，可以得到人群聚集程度、步行街的熱點商鋪，因為排隊購物將導致人群聚集度高，因此應重點關注類似商鋪，采取控制人流量、設置欄桿、合理疏導等措施。購物中心管理人員根據(jù)聚集程度合理設置商鋪功能，靠近地鐵口的路段勿安排熱銷購物品牌商鋪，以免造成交通堵塞。靠近電梯口的地方盡量不要設置商鋪，以防擁擠造成事故。

　　3.2 廣州市火車站

　　廣州火車站是廣九、京廣鐵路的終點站，有4個站臺、7條到發(fā)線，途徑線路有廣茂鐵路、廣佛肇城際軌道。春運期間運送乘客約200萬人次，廣州火車站的設計規(guī)模已無法滿足當下需求，面對如此巨大、密集的客流量，人工安全管理工作很難落實到每一個角落，所以采用無人機監(jiān)測火車站的安全很有必要。廣州火車站的具體場景如圖7所示。

　　(1)人群密度與疏散時間的關系

　　廣州火車站的候車廣場較大，如果發(fā)生意外，需要進行人群緊急疏散，那么人群的合理疏散問題就非常重要。系留無人機憑借靈活穩(wěn)定等特點，可以拍攝各個位置的人數(shù)，無人機視頻圖像再經(jīng)過模型計算后得出各位置的實時人群數(shù)量，根據(jù)人群數(shù)量合理規(guī)劃各通道的疏散時間，并根據(jù)人群密度判斷行走速度，合理規(guī)劃走電梯、扶梯、樓梯等時間，進行合理引導確保安全疏散，以免造成恐慌和踩踏事故的發(fā)生，同時還可以根據(jù)計算得到的人群總數(shù)采用不同等級的緊急預案，節(jié)約決策時間[14]。

　　(2)人群數(shù)量與交通引導的關系

　　對于進站人群，通過無人機的航拍得知擁堵人群的位置和數(shù)量，告知進站人員選擇合理的進站口，錯開擁堵的進站口，以減少工作人員的工作量，節(jié)省人力[15]。廣州火車站附近有地鐵2號線、地鐵5號線和廣州火車站東側的30多個總公交車站，對于出站人員，通過計算人群數(shù)量、人群聚集度等指標引導出站人員選擇正確的通道出站，節(jié)約時間。

　　4 結 語

　　本文主要研究人群密集活動場景下，通過系留無人機監(jiān)測平臺拍攝的場景視頻經(jīng)過深度學習卷積模型計算得出人群密度圖和人群數(shù)量，并以深圳市南山區(qū)海岸城和廣州火車站兩個案例進行分析，得出以下結論：

　　(1)實驗通過對深度學習模型進行測試，證明基于深度學習的人群計數(shù)是可行的，并且誤差較小，符合密集或者稀疏場景的需求;

　　(2)系留無人機監(jiān)測平臺可以對密集活動進行現(xiàn)場安全保護，實時提供人員聚集程度、人員分布情況等信息，拍攝廣泛或者特定位置信息;

　　(3)通過兩個案例的簡單分析說明基于系留無人機監(jiān)測平臺的安全應用可以節(jié)約人力、提高效率、提供安全風險等級、預防安全事故發(fā)生;

　　(4)未來的研究工作還包括人群異常行為檢測和人群數(shù)量預測，結合已有人群計數(shù)、人群聚集度等指標來減少安全事故的發(fā)生，為大型人群活動提供有效的保護措施。

　　參 考 文 獻

　　[1]梁靜，楊君濤.大型社會活動安全風險指標體系構建的思考[J].現(xiàn)代職業(yè)安全，2015(4)：71-73.

　　[2]盧文剛，蔡裕嵐.城市大型群眾性活動應急管理研究：以上海外灘“12·31”特大踩踏事件為例[J].城市發(fā)展研究，2015，22(5)：118-124.

　　[3]藍海磊.人群計數(shù)算法綜述[J].計算機產(chǎn)品與流通，2019(7)：91.