基于GIS的海量氣象數據預處理技術(shù)研究論文
摘要：由于氣象觀(guān)測數據種類(lèi)多，文件存儲數目大，一般難以對海量氣象數據進(jìn)行深入的處理，挖掘和分析。該文通過(guò)對氣象數據類(lèi)型，文件種類(lèi)等進(jìn)行研究，通過(guò)建立氣象數據庫并連接GIS軟件進(jìn)行數據分析，較好的解決了海量數據分析和處理問(wèn)題。該方法利用編程軟件，數據庫軟件和GIS技術(shù)對海量氣象數據進(jìn)行預處理，為海量氣象數據分析提供高效、精準的數據存儲和管理。并最終將數據庫直接連接入強大的分析處理軟件ArcGis。經(jīng)過(guò)測試表明，該方法可靠性和可操作性很強，成功實(shí)現了對海量氣象數據的預處理。
Abstract： Because meteorological observation data has more kinds and large number files to store. Generally ， Mass meteorological data is difficult to process ，mine and analyze for further. This paper introduces a method of data analysis through the establishment of meteorological database and the connection of GIS software， based on the type of meteorological data，file type and so on. It is better to solve the problems of massive data which should be analysed and processed. This method uses the programming software， database software and GIS technology to preprocess the massive meteorological data. It provides efficient and accurate data storage and management for mass analysis of meteorological data. And finally the database connects directly into the analysis software ArcGIS， which is good at data processing. According to test results， the reliability and maneuverability is very strong， it is successful to achieve the pre-processing of the massive meteorological data.
Key words： GIS； Database； Meteorological data； Pretreatment； ArcGis
1 引言
地理信息系統（GIS）作為一門(mén)重要的信息技術(shù)，近年來(lái)在氣象氣候領(lǐng)域內引起了廣泛的關(guān)注并得到了初步應用。[1]特別是隨著(zhù)現代氣象觀(guān)探技術(shù)的迅速發(fā)展，各級氣象業(yè)務(wù)部門(mén)可獲得的氣象數據容量越來(lái)越大，海量的氣象數據背后隱藏許多重要信息。但是在傳統的氣象數據庫應用系統中，用戶(hù)無(wú)法發(fā)現氣象數據中存在的某種關(guān)系和規則，同時(shí)缺乏發(fā)現氣象數據背后隱藏知識手段，從而出現“數據爆炸而知識貧乏”現象。[2]此外氣象數據庫系統作為氣象信息共享平臺的重要管理系統，其體系結構和技術(shù)的復雜程度均是前所未有的，需要在集約化和標準化原則下，充分利用成熟的商業(yè)數據庫技術(shù)和大氣科學(xué)領(lǐng)域的相關(guān)技術(shù)加以構建。[3]而GIS技術(shù)具有很好的數據分析和海量數據支持的能力。本文將GIS引入氣象領(lǐng)域，同時(shí)GIS在氣象領(lǐng)域的應用也是一個(gè)新的嘗試。利用GIS提高了氣象數據管理的可視化程度和人機對話(huà)功能。[4] 嘗試利用GIS技術(shù)為詳細分析氣象數據的組織結構、表達和處理方法做準備。[5]針對氣象數據的存儲和處理，目前有很多技術(shù)手段包括王楊剛等以面向對象的思想，運用C++技術(shù)設計并制作了自動(dòng)氣象站數據處理程序，它可以對22項氣象數據進(jìn)行預處理。[6]吳文玉以ArcGIS Desktop9.3為地理信息系統平臺，通過(guò)在A(yíng)rcGIS下與遠程氣象數據庫的連接方法，將數據庫數據直接應用到GIS中，實(shí)現GIS與氣象數據庫的數據融合，具有較強的實(shí)用性。[7]無(wú)論哪種方法對氣象數據庫系統的建設是氣象信息系統（氣象信息共享平臺）建設的核心和基礎。[8]所以最有效的保存和交流使用數據的途徑就是應用計算機技術(shù)建立數據庫系統來(lái)歸整，管理這些重要氣象數據。[9]然后直接連接GIS軟件使用GIS技術(shù)對氣象數據進(jìn)行處理。因為地理信息系統技術(shù)可以將氣象數據所具有的空間特征、屬性特征及時(shí)間特征等特點(diǎn)較好地表現出來(lái)，是實(shí)現空間數據管理的有效手段。[10]本文通過(guò)對氣象數據的文件類(lèi)型，存儲格式進(jìn)行研究后提出了一條采用GIS技術(shù)對海量氣象數據進(jìn)行預處理的方法。
2 問(wèn)題的提出
氣象數據一般為多年的觀(guān)測數據，數據的種類(lèi)多，觀(guān)測年限長(cháng)，數據的存儲文本文件多。如中國氣象共享網(wǎng)下載的1970-2013年日值氣象數據為例，數據時(shí)間跨度有44年，826個(gè)氣象站臺，分為7大類(lèi)數據，超過(guò)15000天的觀(guān)測數據，7000萬(wàn)行的記錄數據，4億多數據單元。數據總量達到5.9G之多。對海量氣象數據進(jìn)行存儲，分析，管理和處理成為一個(gè)難題。目前的處理方式主要有兩種方式：（1）在數據量不大的情況下，對數據進(jìn)行人工篩選，然后導入Excel中進(jìn)行處理。（2）根據要求通過(guò)編程實(shí)現對TXT格式的氣象數據的處理。
氣象數據的記錄文件數量巨大，數據類(lèi)型眾多，文本格式數據的數據單元幾乎都是采用空格的方式進(jìn)行隔離，而Word無(wú)法對txt格式數據進(jìn)行批量處理，Excel只能根據特殊符號或者根據一個(gè)空格一個(gè)格的形式進(jìn)行數據導入而且數據的行數有限制也無(wú)法滿(mǎn)足數據的批量入庫和處理；利用編程的方式需要對數據進(jìn)行大量的預處理，編程工作量較大。對于氣象數據的分析往往需要地理信息數據，在現階段基于GIS的氣象數據預處理已經(jīng)被廣泛應用。針對于此，本文提出一種解決問(wèn)題的思路：首先利用批處理命令處理文本數據，然后建立數據庫并利用ArcSDE與ArcGIS相連實(shí)現數據的存儲為數據分析做準備。
3 解決問(wèn)題的流程
氣象數據是根據數據的類(lèi)型，日期分批的按照TXT的格式進(jìn)行存儲并利用空格進(jìn)行單元數據隔離。所以需要先對數據進(jìn)行合并然后利用文本編輯軟件對數據進(jìn)行批量預處理，再利用MS Sql Server進(jìn)行批量入庫和存儲，最后利用ArcSDE進(jìn)行數據連接，批量接入ArcGIS進(jìn)行數據處理，分析和挖掘。具體技術(shù)路線(xiàn)如圖1所示。
4 氣象數據處理流程
4.1 數據批量預處理
氣象數據是根據數據的類(lèi)型，日期分批的按照TXT的格式進(jìn)行存儲并利用空格進(jìn)行單元數據隔離的。所以需要先對數據進(jìn)行合并然后才能對數據進(jìn)行批量預處理。此處可利用windows的TXT批量合并命令代碼實(shí)現，使用下面的代碼命令可以使的所在一個(gè)文件夾中的所有文本文件合并入一個(gè)命名為0.txt的文本文件中，具體代碼如下所示。
for % %i in （*.txt） do type %%i>>0.txt
將該命令代碼復制進(jìn)文本文件中并將數據的格式名改為bat。
此處需先將氣象數據中的數據按照數據的.存儲類(lèi)型比如濕度，溫度，氣壓等進(jìn)行分批處理分別存儲于不同的文件夾中，然后再進(jìn)行數據合并。這樣每一個(gè)氣象類(lèi)型中的0.txt文件都會(huì )存儲著(zhù)具有相同樣式的行數據，便于高精確的批量處理。采用此種方法進(jìn)行批量合并除了可以很好地進(jìn)行數據預處理外，更重要的是非常簡(jiǎn)單高效，不需要任何復雜的編程和進(jìn)行繁瑣的軟件操作。
4.2 用宏命令批量處理數據
對數據按照數據類(lèi)型進(jìn)行合并處理后，需要對單個(gè)數據單元進(jìn)行精確分離，以便于后面的數據導入。此處可利用宏命令對隔離數據的空格利用逗號進(jìn)行替換，實(shí)現所有數據單元按照逗號形式進(jìn)行隔離。這樣后面的數據入庫將會(huì )全部按照逗號進(jìn)行隔離入庫，不會(huì )出現空格和數據存儲的錯位�？梢源蠓岣邤祿木_性。
此處可以用 UltraEdit這款代碼編輯器對每一個(gè)氣象數據類(lèi)型下的0.txt文件進(jìn)行處理。由于每一個(gè)0.txt文件數據量都很大，如果直接利用windows自帶的文本編輯器，容易導致編輯器崩潰，且顯示格式凌亂不利于處理。其他的文本編輯器或者代碼編輯器如 Notepad++，EditPlus等都存在著(zhù)運行過(guò)慢或者數據量過(guò)大無(wú)法支持的問(wèn)題。相關(guān)文本處理軟件處理能力如表1所示：
利用UltraEdit啟動(dòng)宏命令后，利用宏錄制下空格被逗號批量代替的過(guò)程和逗號被批量清理為一個(gè)數據單元一個(gè)逗號的過(guò)程形成宏命令。利用該命令就可以批量處理所有的0.txt文件實(shí)現所有數據的標準化，如圖2所示。
數據導入完成后所有的氣象數據按照地溫、氣壓、蒸發(fā)、降水、濕度、日照、氣溫七類(lèi)數據分表存儲�？梢愿鶕枰獙祿M(jìn)行查詢(xún)編輯輸出需要的數據。由于每一個(gè)數據表中都含有對應的站點(diǎn)號、經(jīng)度、緯度、高程，年、月、日數據。
4.4 數據庫中的數據處理
由于氣象數據中的經(jīng)緯度數據值，是按照度分秒直接合并的，數據值不能直接使用，更不能實(shí)現對數據的直接操作，需要在數據庫中對經(jīng)緯度數據值進(jìn)行批量處理，實(shí)現數據的標準化操作。
代碼實(shí)現如下：
EVP蒸發(fā) set X=（經(jīng)度值/100）+（（經(jīng)度值%100）/（60+0.0））
注：EVP蒸發(fā)為數據庫中的表，X為處理完成后所賦值的經(jīng)度值，經(jīng)度值代表數據庫中EVP蒸發(fā)的非正常顯示經(jīng)度數據值。
代碼運行后，所獲得的數據值，完全可以達到數據的操作要求。
4.5 利用ArcSDE連接氣象數據庫
ArcSDE是ArcGIS與關(guān)系數據庫之間的GIS通道，它允許用戶(hù)在多種數據管理系統中管理地理信息，并使所有的ArcGIS應用程序都能夠使用這些數據。ArcSDE可以支持MS sql server，DBM，Oracle數據庫。ArcSDE是一種數據連接方式，數據不需要經(jīng)過(guò)繁雜的數據導入過(guò)程，而且可以保證數據的完整性。
打開(kāi)ArcToolbox工具，選擇數據管理工具-地理數據庫管理-創(chuàng )建企業(yè)級地理數據庫即可。為了連接已經(jīng)建立的氣象數據庫我們在創(chuàng )建企業(yè)級數據庫時(shí)，必須保證企業(yè)級地理數據庫的實(shí)例名和數據名與氣象數據庫一致。
數據庫連接完畢，在A(yíng)rcGis中便可直接查看到氣象數據庫中的信息，可以直接進(jìn)行數據挖掘和相關(guān)操作。
5 結束語(yǔ)
本文介紹了一種基于GIS的海量氣象數據預處理方法。該方法直接實(shí)現了海量氣象數據的分類(lèi)入庫和管理，解決了一般軟件由于數據支持能力限制而無(wú)法對海量氣象數據進(jìn)行存儲和分析的問(wèn)題，該方法不需要進(jìn)行復雜的編程、數據精確度高、數據更新方便和可操作性強，節約了編程開(kāi)發(fā)的時(shí)間和成本。該方法解決了海量氣象數據下的部分數據挖掘和數據分析的問(wèn)題，為氣象數據基于地理信息的空間化分析提供了數據準備。
參考文獻：
[1] 吳煥萍.GIS技術(shù)在氣象領(lǐng)域中的應用[J].氣象，2010（3）：90-100.
[2] 李集明，王國復.氣象數據庫系統總體設計綜述[J].氣象科技，2007（S1）：1-5.
[3] 張波.數據挖掘在氣象中的應用研究與實(shí)現[D].電子科技大學(xué)，2013.
[4] 李江南.GIS在氣象數據處理中的應用[J].廣東氣象，2002（4）：14-15+9.
[5] 何永健，曹蕓，黃勇.GIS氣象數據的管理與表達方法[J].南京信息工程大學(xué)學(xué)報：自然科學(xué)版，2011（3）：232-237.
[6] 王楊剛，趙文吉，宮輝力.自動(dòng)氣象站數據預處理研究[J].首都師范大學(xué)學(xué)報：自然科學(xué)版，2006（2）：81-84.
[7] 吳文玉，楊太明，何彬方.GIS與氣象數據庫的數據融合應用[C]//安徽省氣象學(xué)會(huì ).第三屆安徽科技論壇農業(yè)與氣候生態(tài)學(xué)術(shù)研討會(huì )論文集.安徽省氣象學(xué)會(huì )，2004：3.
[8] 趙芳.氣象數據庫系統的建設[C]//信息技術(shù)在氣象領(lǐng)域的開(kāi)發(fā)應用論文集（二），2006：5.
【基于GIS的海量氣象數據預處理技術(shù)研究論文】相關(guān)文章：
基于網(wǎng)格的數據傳輸與復制技術(shù)研究論文11-07
基于數據挖掘的數字圖書(shū)館檢索技術(shù)研究論文11-06
淺析GIS多源數據集成模式論文04-27
基于Java EE的Web系統中數據庫設計技術(shù)研究論文11-06
關(guān)于氣象雷達數據分析論文06-26
觀(guān)測地面氣象數據的方法論文04-27