摘 要：圖像識別及其圖像修復技術在目前的數字化領域應用非常廣泛，在金融、安防領域尤為突出。因此，從經濟和實用性角度出發基于大數據的圖像修復技術有著廣闊的應用前景。但大數據環境下復雜的數據存儲是數據圖像修復的關鍵，如何建立一個高效、安全、高容量的基于大數據平臺的數據庫，是數據庫建立需要考慮的關鍵問題。下文從數據庫架構的構成、應用目的、數據量大小、訪問量、安全要求等各個角度研究和討論圖像數據庫的建立，力求使數據庫建立在安全、合理、流暢的數據庫架構之上，達到最優的數據庫架構模型。
關鍵詞：圖像識別;圖像處理;大數據;架構
1 引言(Introduction)
數據庫作為數字信息的載體在數字生活中起著極其重要的作用，無論是動態網站設計、數據挖掘、大數據存儲等各個領域都很重要。數字圖像作為數字信息的表現形式有著其他數字信息不可比擬的特點，存數量大、格式復雜、程序處理困難等都是其固有的屬性。因此，基于大數據平臺的圖像數據庫架構的建設在整個平臺建設中顯得非常重要。
2 圖像數據的分類及特點(Classification and characteristics of image data)
隨著數碼相機、掃描儀、視屏攝錄設備的廣泛應用，越來越多的數字圖像數據大量產生，這些數據圖像因格和采集設備等的不同有著很大的差別，不同的格式及設備采集的圖像特點也不相同。
2.1 位圖數據
位圖數據由若干點陣構成，每個點稱為一個像素。文件大小與像素密集度有關。當文件太大時處理速就會變慢，但點陣所表達的圖像色彩豐富、逼真，品質較高。
2.2 JPEG圖像數據
JPEG是由國際標準組織(ISO)和國際電話電報咨詢委員會(CCITT)為靜態圖像所創建的第一個國際數字圖像壓縮標準，其不僅可以提供有損壓縮也可以提供無損壓縮。比傳統的圖像壓縮方式有不可比擬的優越性。其特點如下：一次將圖像由左到右、由上到下順序處理;當圖像傳輸的時間較長時，可將圖像分數次處理，以從模糊到清晰的方式來傳送圖像[1];其壓縮出來的圖像可以在較低分辨率的設備上顯示出高分辨率的效果。
2.3 TIFF標記圖像文件格式
TIFF支持可選壓縮、可擴展格式許多可選功能，TIFF是廣泛支持的格式，尤其是在Macintosh計算機和基于Windows的計算機之間[2]。以任何顏色深度存儲單個光柵圖像，其缺點是TIFF在Web瀏覽器得不到支持，而且TIFF之間的文件兼容性也存在問題。
2.4 PNG格式
PNG(Portable Network Graphics)是近幾年來網絡上比較流行的圖像格式。其優點是目前保證最不失真的格式，存貯形式豐富，兼有GIF和JPG的色彩模式的特點;其缺點是不支持動畫應用效果。
3 大數據數據庫設計與優化(Design and optimization of big data database)
3.1 數據庫架構的設計
數據庫架構是數據資源布置方式的統稱，一個合理的架構可以提高數據的安全性和數據訪問的速度。目前提供大數據訪問的平臺提供商，廣泛采用B/S結構的數據庫前端平臺搭建模式(圖1)。B/S結構具有使用方便、成本低、適應強等特點，但這種基于動態網站建設技術的數據平臺前端建立模式最大的缺點就是安全性不能得到很好的保障[3]。因此，在大數據平臺下數據庫的架構設計必須采用相關的措施提高數據庫的安全性。
為了提高數據庫平臺的安全性，在數據庫核心層的外圍需采用多層控制機制，通常從平臺的使用、管理、控制、維護等方面數據庫架構可由：產品層、接入層、網絡層、中間件、存儲層、運維服務等幾個層級(圖2)。
各層的具體作用如下：
產品層：該層是數據庫架構的硬件平臺，平臺設備由服務商提供。主要負責整個架構軟硬件設備的管理和使用。對于性能的要求與平臺硬件的構成有關，基本要求是平臺必須具備對整體架構安全性、實用性、操控性的管理[4，5]。
接入層：接入層負責對外提供數據服務，對于大數據平臺，如果要提高服務品質，良好的接入層設計可以使數據得到高效的應用。大數據平臺要面向眾多的使用對象，接入層是每個使用對象必須經過的訪問節點。接入層要提供有線、無線、云上數據等各種接入服務。如果從數據的安全性考慮，對眾多的接入請求，接口要建立足夠的安全保障機制。但如果復雜的安全保障機制建立在接口層，會使接入速度降低、服務品質下降[6]。從大數據的使用初衷考慮在服務品質和安全性這兩方面權衡，在接口層一般對安全性不做硬性要求，從而保證提供較高的服務品質。
中間件：大數據的特點就是數據量大而復雜，如何使用戶快速、便捷地從海量數據獲取所需信息，是架構設計必須考慮的。目前，多采用多語言支持、SQL二級索引等中間件來提高訪問效率。另外，在中間件的下層多采用HBase面向列的開源數據庫提供數據庫技術支持。
存儲層：該層作為數據的存儲空間的管理層是整個數據庫架構的核心，目前采用Ali-HDFS、共享存儲OSS等管理數據資源，為數據保存提供高效組織方式[7]。
運維服務：大數據架構的使用對象眾多，使用方式和使用習慣差異很大，平臺架構運行后會有很多問題需要進一步服務。只有在不斷的維護和改進中平臺的功能才能更加完善[8]。現在平臺維護主要涉及全鏈路監控、自動運維、資源調度、運維部署、物理機等幾個方面。
3.2 安全數據庫的建立
為了提高大數據平臺的服務品質，在接口層對于安全性沒有采用過多的設計。但數據的安全還是大數據系統必須考慮的問題。因此，除了在產品層對于安全性的總體硬件部署之外，在數據庫的結構設計上安全性的本質要求必須充分體現(圖3)。
數據庫是大數據系統的核心，因此安全層次的部署也相當復雜。如圖3所示，可以采用專用安全數據庫系統對核心數據庫進行保護，數據庫安全管理層結構主要構成及功能如下：
統一安全管理：主要功能負責整個數據庫安全管理層的高層管理，具體有配置管理、安全審計、操作日志管理、用戶管理、權限管理、日志分析等功能。
監控管理子系統：包括警告管理、性能管理、配置管理，在警告管理模塊主要實現警告過濾、警告分析、預處理、格式化等功能;性能管理模塊主要包括數據稽查、閾值對比、數據匯總、預處理等功能;配置管理主要包括數據整合、異常處理、數據審核等功能[9]。
安全數據庫：核心數據庫是大數據平臺提供服務的信息載體，有著極其嚴格的配置管理控制。在安全控制及信息過濾的過程中也會需要大量的數據需要建立數據庫進行存儲，但從數據結構及安全配置管理的角度去考慮，這些存儲的數據不需要供給大數據客戶使用，因此需建立專用的安全數據庫進行存儲。這類數據庫主要有警告數據庫、性能數據庫、配置數據庫等。
3.3 核心數據庫的構成
當數據庫的安全控制功能分離出去后，核心數據庫的設計主要涉及大數據采集、大數據清理、大數據標準化、大數據結構化幾個方面[4](圖4)。
大數據采集：包含業務數據匯集系統、用戶行為數據采集系統、大數據爬蟲采集系統。
大數據清洗：包含業務數據清洗系統、用戶行為數據清洗系統、互聯網公開數據清洗系統。
大數據標準化：包含用戶多ID匹配系統、商品多ID匹配系統。
大數據結構化：包含用戶標簽管理系統、商品標簽管理系統。
圖形圖像處理是目前需求比較大的業務，在安防、醫學、考古領域都有涉及。尤其是圖像修復更有著廣大的應用市場，人臉識別、考古修復等都在應用。因此基于大數據的圖像修復系統中，圖像數據庫的建立尤為重要。圖像數據具有文件大、種類多、存儲結構復雜等特點。在建立圖像數據庫時所得到的數據同樣存在著不可預知的數據[10]。為了更精確的定位有用的存儲信息，核心數據庫建立時必須按照大數據采集—大數據清洗—大數據標準化—大數據結構化的步驟對數據進行優化，以便客戶在使用時獲得更為精確的圖像數據。
4 結論(Conclusion)
基于大數據的圖形圖像處理是大數據的主要應用方向，良好的數據庫架構可以提高處理的速度，減少誤差，最大限度地提高工作效率。按文中所述，構建合理安全的大數據數據庫架構是大數據平臺建設必須遵循的規律，也是大數據應用發展的必經之路。
參考文獻(References)
[1] Trevor H.Booth.Species distribution modelling tools and databases to assist managing forests under climate change[J].Forest Ecology and Management，2018(04)：196-202.
[2] Nagori N P，MalodeV.Communication Interface for Deaf-Mute People using Microsoft Kinect[J].International Conference on Automatic Control and Dynamic Optimization Techniques，2017(03)：1-5.
[3] Gu B B，Li Z X，Zhang X L，et al.The interaction between schema matching and record matching in data integration[J].IEEE Transactions on Knowledge and Data Engineering，2016(05)：187-192.
[4] 傅穎勛，羅圣美，舒繼武.安全云存儲系統與關鍵技術綜述[J].計算機研究與發展，2013(01)：136-145.
推薦閱讀：哪里有整理好的期刊數據庫資源
