無人機(jī)高光譜內(nèi)置推掃影像快速拼接方法
高光譜遙感具有光譜分辨率高、波段范圍窄、圖譜合一、連續(xù)成像等特點(diǎn),能夠區(qū)分出地物光譜的細(xì)微差別,探測到其他寬波段遙感無法探測的信息。因此,高光譜遙感在生態(tài)、大氣、海洋、農(nóng)業(yè)、林業(yè)、礦業(yè)等諸多應(yīng)用領(lǐng)域具有非常大的優(yōu)勢。近年來隨著成像光譜儀硬件技術(shù)不斷發(fā)展,成像光譜儀的體積越來越小、重量越來越輕、成本越來越低,因而利用成像光譜儀獲取高光譜影像更為方便、快捷。隨著無人機(jī)技術(shù)的日益成熟,基于無人機(jī)平臺的新型遙感技術(shù)異軍突起,得到科研工作者的青睞,從而將成像光譜儀與無人機(jī)高度集成獲取地物無人機(jī)成像高光譜影像成為新的研究熱點(diǎn)。
然而由于無人機(jī)航拍受飛行高度,相機(jī)本身參數(shù)的影響,單張無人機(jī)影像所覆蓋的區(qū)域面積不大,需要對多張影像進(jìn)行拼接,才能有效地覆蓋研究區(qū)域。無人機(jī)載高光譜影像圖幅較小,為每幅影像單獨(dú)添加控制點(diǎn)信息工作量大、耗時(shí)長,而對影像統(tǒng)一添加控制點(diǎn)信息將大大縮短工作時(shí)間,提高工作效率。近年來,學(xué)者們對無人機(jī)影像數(shù)據(jù)的拼接做了很多研究,主要方法有基于姿態(tài)參數(shù)(POS數(shù)據(jù))的拼接、基于非特征的拼接和基于特征的拼接等,其中無人機(jī)影像的拼接大部分是針對RGB圖像或者多波段圖像,而針對無人機(jī)高光譜影像的拼接方法較少,特別是對于無人機(jī)高光譜內(nèi)置推掃獲取的高光譜影像數(shù)據(jù),目前還沒有研究者對其拼接方法進(jìn)行研究。
鑒于目前對無人機(jī)高光譜影像數(shù)據(jù)拼接技術(shù)存在的不足之處,本文旨在研究一種低空無人機(jī)載高光譜影像自動拼接方法,其具有易于實(shí)現(xiàn)、拼接精度高、光譜畸變小等優(yōu)點(diǎn),可實(shí)現(xiàn)無地面控制點(diǎn)的無人機(jī)載高光譜影像的自動拼接,以解決當(dāng)前單幅無人機(jī)載高光譜遙感影像圖幅過小的問題。
1 儀器設(shè)備與數(shù)據(jù)處理流程
1.1 數(shù)據(jù)采集設(shè)備
本次試驗(yàn)地點(diǎn)在北京市大興區(qū)南六環(huán)外黃村鎮(zhèn)李村,無人機(jī)采用大疆無人機(jī)M600 Pro,在無人機(jī)平臺上搭載的是由四川雙利合譜科技有限公司自主研發(fā)的高光譜成像儀GaiaSky-mini。無人機(jī)高光譜影像獲取時(shí)間為2017年11月8日下午的12:00-14:00,天氣為晴,無人機(jī)飛行高度為400米,采用的是2*4 binning方式獲取高光譜影像(2是空間維的,4是光譜維),高光譜影像的空間分辨率約為20cm,此次飛行共獲取24景高光譜影像數(shù)據(jù),每景高光譜影像數(shù)據(jù)代表的地面幅寬約為190米*190米,面積約為36100平方米,其中每景高光譜影像數(shù)據(jù)之間的橫向重疊率為50%,縱向重疊率為40%。
1.2 數(shù)據(jù)的預(yù)處理與分析
無人機(jī)高光譜影像的預(yù)處理在SpecView軟件中進(jìn)行,包括鏡像變換、黑白幀校準(zhǔn)、大氣校正。
1.3 無人機(jī)高光譜影像拼接流程
對消除大氣、水汽等因素影響的高光譜影像計(jì)算其波段信噪比,根據(jù)其信噪比的峰值篩選出特征波段,然后基于SIFT算法對選出的特征波段提取特征點(diǎn)并對特征點(diǎn)進(jìn)行匹配,圖像拼接過程中利用經(jīng)緯度信息及墨卡托投影(Mercator)糾正圖像的變形,同時(shí)利用重投影空三(Reproj)算法細(xì)化高光譜相機(jī)參數(shù)。在高光譜影像拼接之前選擇是否對拼接圖像進(jìn)行勻色,后得到拼接好的高光譜影像數(shù)據(jù)。
1.4 高光譜影像拼接效果檢驗(yàn)
為了準(zhǔn)確地驗(yàn)證高光譜影像拼接結(jié)果的有效性,提取了拼接結(jié)果重疊區(qū)域和非拼接圖像相同經(jīng)緯度的8個采樣點(diǎn)的光譜反射率,利用光譜角填圖(SAM)、波譜特征擬合分類法(SFF)及二進(jìn)制編碼(BE)對拼接前后、是否勻色的光譜曲線進(jìn)行匹配與相似性計(jì)算,得到一個0-1的匹配度分值,結(jié)果總分值越高,則相似性越好。
2 高光譜影像拼接結(jié)果分析
2.1 高光譜拼接圖分析
以高光譜拼接圖像的任意三波段作為RGB(R:red,G:green, B:blue)偽彩色合成圖為例,從圖1可知,從總體上看,對圖像特征點(diǎn)明顯的區(qū)域,是否選擇勻色對高光譜影像的拼接無顯著差異。但在特征點(diǎn)不顯著區(qū)域則圖像顯示差異較大,如圖2可知,對拼接圖像是否采用勻色對高光譜影像的“圖”有較為顯著的差異,顯然在采用勻色對拼接結(jié)果的“圖”效果更好,而勻色是否對高光譜影像的“光譜”有較大的影響,則需要進(jìn)一步的分析驗(yàn)證。
圖1 高光譜影像拼接前后效果圖(以RGB偽彩色為例)
圖2 高光譜影像重疊區(qū)域拼接勻色與否對比
2.2 高光譜影像拼接光譜分析
為了進(jìn)一步驗(yàn)證高光譜影像拼接結(jié)果的有效性,本文提取了拼接結(jié)果重疊區(qū)域中典型地物(如植被、土壤、房屋等)的8個采樣點(diǎn)的光譜反射率及拼接前2景圖像對應(yīng)位置的光譜反射率進(jìn)行對比分析,這8個采樣點(diǎn)的光譜反射率曲線如圖3所示。圖3中條光譜和第二條光譜代表的是拼接前2景圖像重疊區(qū)相同位置的光譜反射率,未勻色和勻色分別代表的是未勻色和勻色拼接圖像相應(yīng)位置的光譜反射率。從圖3可知,反射率較高的地物,其拼接前后的光譜重疊率較高,如第三類和第六類地物;而反射率較低的地物,其拼接前后的光譜差異較大,如第七類地物所示??傮w而言拼接前后高光譜圖像的光譜反射率曲線相似度非常高,拼接后其光譜反射率曲線保留了未拼接前高光譜圖像的反射率曲線的大部分信息。
圖3 8個采樣點(diǎn)拼接前光譜曲線與拼接后光譜曲線對比分析
2.3 高光譜影像拼接前后光譜匹配度分析
在高光譜影像的實(shí)際應(yīng)用中不僅注重空間信息更加注重其光譜信息,因此為了更為準(zhǔn)確地驗(yàn)證拼接方法的有效性,分別選用光譜角填圖(SAM)、波譜特征擬合分類法(SFF)及二進(jìn)制編碼(BE)對拼接前后、是否勻色的光譜曲線進(jìn)行匹配與相似性計(jì)算,得到一個0-1的匹配度分值, SAM、SFF和BE三者總分值越高,則相似性越好,具體計(jì)算結(jié)果如表1所示。
從表1可以看出,在SAM方面,在8個采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度小值為0.959,大值為1,勻色拼接結(jié)果圖像的匹配度小值為0.958,大值為0.995;在SFF方面,在8個采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度小值為0.881,大值為0.999,勻色拼接結(jié)果圖像的匹配度小值為0.807,大值為0.995;在BE方面,在8個采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度小值為0.942,大值為1,勻色拼接結(jié)果圖像的匹配度小值為0.883,大值為1;在SAM、SFF和BE三者總分值方面,在8個采樣點(diǎn)中,未勻色拼接結(jié)果圖像的匹配度小值為2.826,大值為2.999,勻色拼接結(jié)果圖像的匹配度小值為2.801,大值為2.985,因此是否對高光譜圖像的拼接結(jié)果采用勻色處理,對其光譜并無太大影響。
不同采樣點(diǎn)之間,當(dāng)利用第一條光譜作為基準(zhǔn)對其他光譜曲線進(jìn)行匹配分析時(shí),得出的匹配結(jié)果與利用第二條光譜作為基準(zhǔn)對其他光譜曲線進(jìn)行匹配分析時(shí)不一樣,這是因?yàn)閮删皥D像雖然有著重疊區(qū)域,但是受空間分辨率的影響,并不能保證存在重疊區(qū)的高光譜圖像,其相應(yīng)像素代表的地面物體*相同,因此光譜曲線存在差異是正常的。為減少兩景圖像重疊區(qū)相同像素光譜的差異性,在選擇采樣點(diǎn)時(shí)盡量選擇周邊較為均一的地物。
表1 影像拼接前后其光譜相似度評價(jià)
采樣點(diǎn)1 |
| 光譜匹配度鑒定結(jié)果 | |||
SAM | SFF | BE | 總分 | ||
第一條光譜 | |||||
第二條光譜 | 0.965 | 0.883 | 1 | 2.848 | |
未平滑 | 0.959 | 0.901 | 1 | 2.859 | |
平滑 | 0.958 | 0.897 | 1 | 2.856 | |
第二條光譜 | |||||
第一條光譜 | 0.965 | 0.889 | 1 | 2.854 | |
未平滑 | 0.971 | 0.881 | 1 | 2.853 | |
平滑 | 0.973 | 0.872 | 1 | 2.845 | |
采樣點(diǎn)2 | 第一條光譜 | ||||
第二條光譜 | 0.987 | 0.951 | 0.994 | 2.933 | |
未平滑 | 0.983 | 0.955 | 1 | 2.938 | |
平滑 | 0.983 | 0.949 | 0.994 | 2.927 | |
第二條光譜 | |||||
第一條光譜 | 0.996 | 0.993 | 1 | 2.989 | |
未平滑 | 0.987 | 0.930 | 0.994 | 2.911 | |
平滑 | 0.970 | 0.880 | 0.994 | 2.845 | |
采樣點(diǎn)3 | 第一條光譜 | ||||
第二條光譜 | 1 | 0.999 | 1 | 2.999 | |
未平滑 | 1 | 0.999 | 1 | 2.999 | |
平滑 | 0.995 | 0.995 | 1 | 2.985 | |
第二條光譜 | |||||
第一條光譜 | 0.995 | 0.990 | 1 | 2.985 | |
未平滑 | 0.995 | 0.990 | 1 | 2.985 | |
平滑 | 0.995 | 0.990 | 1 | 2.985 | |
采樣點(diǎn)4 | 第一條光譜 | ||||
第二條光譜 | 1 | 0.999 | 1 | 2.999 | |
未平滑 | 0.978 | 0.881 | 0.989 | 2.848 | |
平滑 | 0.968 | 0.882 | 0.972 | 2.821 | |
第二條光譜 | |||||
第一條光譜 | 0.968 | 0.886 | 0.972 | 2.826 | |
未平滑 | 0.968 | 0.886 | 0.972 | 2.826 | |
平滑 | 0.981 | 0.837 | 0.983 | 2.801 | |
采樣點(diǎn)5 | 第一條光譜 | ||||
第二條光譜 | 1 | 0.996 | 0.972 | 2.968 | |
未平滑 | 0.994 | 0.991 | 0.942 | 2.927 | |
平滑 | 0.994 | 0.981 | 0.883 | 2.859 | |
第二條光譜 | |||||
第一條光譜 | 0.991 | 0.931 | 1 | 2.922 | |
未平滑 | 0.985 | 0.903 | 0.994 | 2.882 | |
平滑 | 0.981 | 0.890 | 0.994 | 2.866 | |
采樣點(diǎn)6 | 第一條光譜 | ||||
第二條光譜 | 0.991 | 0.970 | 1 | 2.961 | |
未平滑 | 0.991 | 0.970 | 1 | 2.960 | |
平滑 | 0.978 | 0.927 | 1 | 2.905 | |
第二條光譜 | |||||
第一條光譜 | 0.991 | 0.971 | 1 | 2.961 | |
未平滑 | 0.987 | 0.956 | 1 | 2.944 | |
平滑 | 0.982 | 0.942 | 1 | 2.923 | |
采樣點(diǎn)7 | 第一條光譜 | ||||
第二條光譜 | 0.979 | 0.940 | 0.977 | 2.896 | |
未平滑 | 0.994 | 0.981 | 0.994 | 2.970 | |
平滑 | 0.990 | 0.969 | 0.994 | 2.954 | |
第二條光譜 | |||||
第一條光譜 | 0.979 | 0.936 | 0.977 | 2.892 | |
未平滑 | 0.989 | 0.968 | 0.983 | 2.940 | |
平滑 | 0.985 | 0.955 | 0.983 | 2.923 | |
采樣點(diǎn)8 | 第一條光譜 | ||||
第二條光譜 | 0.990 | 0.930 | 1 | 2.920 | |
未平滑 | 0.985 | 0.910 | 0.983 | 2.877 | |
平滑 | 0.981 | 0.899 | 0.983 | 2.863 | |
第二條光譜 | |||||
第一條光譜 | 0.996 | 0.974 | 1 | 2.970 | |
未平滑 | 0.990 | 0.949 | 0.983 | 2.923 | |
平滑 | 0.981 | 0.889 | 0.983 | 2.853 |
2.4 圖像拼接效率對比
為了驗(yàn)證無人機(jī)高光譜影像的拼接效率,本文選取了兩臺筆記本的電腦,分別是Dell7520和ThinkPad T440P對24景、50景、120景、500景無人機(jī)高光譜影像進(jìn)行拼接,如表2所示。研究結(jié)果表明,硬件配置較好的DeLL7520拼接效率遠(yuǎn)遠(yuǎn)高于硬件配置較差的ThinkPad T440P,在處理24景無人機(jī)高光譜影像拼接時(shí),DeLL7520比ThinkPad T440P處理速度快4個小時(shí);在處理50景無人機(jī)高光譜影像拼接時(shí),DeLL7520比ThinkPad T440P處理速度快7.7個小時(shí);在處理120景和500景無人機(jī)高光譜影像時(shí),ThinkPad T440P處理速度顯然更慢,甚至出現(xiàn)筆記本卡死/藍(lán)屏重啟,而DELL7520則正常拼接。
表2 硬件配置及圖像拼接效率對比
筆記本 | DELL7520 | ThinkPad T440P | |
硬盤配置 | CPU | i7-7700HQ | I7-4710MQ |
內(nèi)存 | 64GB | 16GB | |
硬盤 | SSD | SSD | |
顯卡 | NVIDIA Quadro M2200,4GB | NVIDIA GeForce GT 730M+I(xiàn)ntel GMA HD 4600, 1GB | |
效率對比 | 24景 | 1小時(shí) | 5小時(shí) |
50景 | 1.8小時(shí) | 9.5小時(shí) | |
120景 | 3.5小時(shí) | 20小時(shí),進(jìn)程1/3 | |
500景 | 8.5小時(shí) | 筆記本卡死 |
3 結(jié)論
本文對消除大氣、水汽等因素影響的高光譜影像計(jì)算其波段信噪比,并根據(jù)其信噪比的峰值篩選出特征波段,利用SIFT算法對選出的特征波段提取特征點(diǎn)并對特征點(diǎn)進(jìn)行匹配,墨卡托投影(Mercator)糾正圖像的變形以及重投影空三(Reproj)算法細(xì)化高光譜相機(jī)參數(shù)的方法對無人機(jī)高光譜影像進(jìn)行自動拼接并對拼接結(jié)果進(jìn)行勻色,同時(shí)運(yùn)用SAM、SFF和BE光譜匹配算法驗(yàn)證了高光譜影像拼接算法的可行性。研究表明本文提出的無人機(jī)高光譜影像拼接算法解決了當(dāng)前單幅無人機(jī)載高光譜影像圖幅過小的問題,且對無控制點(diǎn)的無人機(jī)載內(nèi)置推掃式的高光譜遙感影像可實(shí)現(xiàn)自動拼接,且拼接效果好、精度高、光譜畸變小,研究結(jié)果為其他無人機(jī)載高光譜遙感影像的自動拼接提供借鑒,同時(shí)無人機(jī)高光譜影像的拼接結(jié)果可應(yīng)用于大范圍的高光譜遙感影像分類與識別、土地利用/覆蓋分類、精細(xì)農(nóng)業(yè)、環(huán)保、礦產(chǎn)礦物勘測等多種領(lǐng)域中。
本文參考文獻(xiàn):黃宇,陳興海,劉業(yè)林,等.無人機(jī)高光譜內(nèi)置推掃影像快速拼接方法[J].測繪地理信息,2019,44(05):24-28.