期刊VIP學術指導 符合學術規范和道德
保障品質 保證專業,沒有后顧之憂
【摘要】 本文簡要介紹數據挖掘、云計算等技術概念,從通信、鐵路、電力等行業分析了現階段數據挖掘技術的使用情況,指出了數據挖掘程序現存問題,圍繞云計算技術進行程序開發,以Hadoop為運行環境,增強數據挖掘程序的運行能力,最大化發揮云計算技術功能,帶動各行業量化分析工作有序進行。
【關鍵詞】 通信 云計算 市場預測 數據挖掘
在物聯網環境中,人們使用多種電子設備,進行網絡連接。結合視覺網絡數據統計可知:國內移動終端客戶數量處于穩步增長狀態,在[2016,2021]年間,移動客戶數量增加了18倍。預計在2023年,移動用戶數量將會是2016年用戶數的10倍,移動終端總數將會達到120億。在此種較大基數的網絡數據資料環境下,積極使用云計算技術,各行業開展數據挖掘工作,能夠有效獲取市場預測信息。
一、技術概述
1.1數據挖掘
數據智能分析是從大量的數據資料中提取有用信息的過程,表現為多級加工程序,含有多個運行流程。在數據挖掘時,按照一定法則進行源數據的提煉、優化,在前期處理完成時,再使用數據挖掘、智能匹配等技術,選擇適用算法開展資料分析,繼而有效獲取數據分析結果。
數據挖掘是數據智能分析的一個環節,在較大數據量、完整性不足、規則性不強、含有噪聲、清晰度不高等各類數據資料中,借助特定算法捕獲數據中的特定規律,進行有效信息挖掘。此技術的應用,在一定程度上符合特定業務的數據資料分析需求,比如客戶消費傾向、學生成績優勢科目等。數據挖掘過程,融合了多個領域的專業內容,比如數據統計、智能學習、規律識別等。數據挖掘技術能夠在大規模數據量中,有效捕獲價值信息,具有較強的市場預測功能[1]。在數據挖掘技術使用與推廣的各項工作中,能夠在短時間內完成資料分析,給予人們決策、市場投資等多重參考依據,以量化分析結果獲得合理公正的決策方案。
1.2云計算
其一,虛擬化技術。此技術的使用旨在有效解決硬件性能分配不均、老舊硬件運行能力欠佳等問題。虛擬化技術的使用,有效改善了底層物理硬件,使其具有更為透明的特點,對軟件、硬件兩個模塊未進行融合處理。在單個性能硬件中,有效衍生出多組虛擬資源,有效整合虛擬資源,提升物理硬件利用效果。其二,大規模數據處理技術。在云計算技術中,是使用大規模數據處理程序,以并聯運行模型為基礎形式。在此技術程序中,含有Map、Reduce兩種函數。在Map函數處理時,采取逐行數據文件的提取與分析,對預處理完成數據,將其劃分至新節點。在數據分配完成后,進入Reduce函數處理環節,完整讀取Map處理結果,對中間資料進行合并分析。組合型數據處理技術,對于較大數據量的資料,具有較強的處理能力。與此同時,此技術表現出數據監控能力,能夠自主排查數據處理異常位置,進行數據處理任務重啟,確保數據處理質量。
二、各行業數據挖掘的使用分析
2.1通信行業應用
“云計算”強大的數據處理能力被廣為運用在通信行業。在這個信息化時代下,人們在使用電視、手機、電腦等終端設備時所產生的上網行為數據如果能進行處理和分析就可以挖掘出具有極高價值的信息,例如對用戶進行清晰的定位,除了統計學意義上的基礎數據之外,還能洞察出他們的喜愛偏好、行為習慣、消費水平等等。信息化程度越高,收集到的信息也越多,云計算能夠存儲海量的數據,運用分析處理技術,從中為用戶得出更有價值的分析。運營商可以運用云計算,根據用戶的行業特性從而制定差異化的解決方案 [1]。
2.2鐵路行業應用
以運維系統為例,探索云計算技術為基礎的智能數據挖掘平臺運行情況。
2.2.1智能感知網絡
在運維系統中,添加了智能感知網絡,有效集成了感知程序、信息處理等技術,以較大數字量形式進行信息傳輸,具有較強的故障診斷、信息校正、功能補償能力。系統中以列車感知為主,兼有站場、線路等感知模塊。各類感知網絡結構中,擁有多個設備檢測模塊,能夠有效捕獲設備運行資料,以數據化形式展示運維資料,對于設備運行資料給予量化分析。
2.2.2云計算融合的運維系統
云計算以數據分析、數據處理為技術融合目標。在互聯網平臺中,較大數量的硬件,依據特定規則進行硬件連接。同時在需求改變的情況下,形成了低能耗、高效率的資源處理體系,在優化基礎設施成本的基礎上,合理控制設備運維支出。與此同時,云計算表現出較強的計算能力,在存儲能力、數據安全等方面具有高性能,在特定硬盤發生質量損壞時,數據不會有丟失情況。在泛式通信體系中,便于用戶自由獲取數據資料[2]。智能運維系統中,融合了智能感知系統架構中的各類數據,比如監測、檢測等。在進行數據整合分析、按類存儲時,能夠有效處理動態的、非動態的各類數據,確保數據查詢有效性,增強數據查詢便利性。與此同時,結合各組設備各時段的運行情況,積極使用智能算法,高效率、精準獲取故障位置,有效解決系統之間聯通問題。
2.2.3運維資料數據挖掘
數據挖掘技術在新型處理體系中,表現出更強的數據決策、數據分析、系統優化各項能力,有效應對數據量較大、增長能力較強、樣式多種的信息資源。數據挖掘技術的融合價值,集中體現在有效數據的整合分析方面,確保數據加工精準性,有效提升數據挖掘層次。在鐵路運維體系中,采用人工智能算法,進行數據分析,以往期設備運行積存的大量數據為基礎,高效運行人工智能算法。
數據挖掘的運行依賴于云計算技術,以分布式架構程序為基礎,對數據資料進行高效處理,確保初始資料、處理后數據存儲的完整性。在使用數據人工分析技術時,應對較大規模數據量,需要加強數據分析,減少數據判斷失誤問題。在使用數據挖掘技術時,能夠高效獲取事件本質與特征。
推薦閱讀:計算機實訓機房管理中云桌面的應用