引論:我們為您整理了13篇大數據云計算技術范文,供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源,期望它們能夠激發您的創作靈感,讓您的文章更具深度。
篇1
1.2云計算的發展
云計算可以像電力資源一樣提供彈性的按需服務,事實上它是集合了一系列的服務提供給用戶。云計算的核心可分為三個層次,分別為基礎設施層、平臺層、應用層,如圖2所示。云計算將基礎設施、軟件運行環境、應用程序抽象成服務,具有可靠性高、可用性強、規模可伸縮等特點,滿足了不同企業的發展需求,各個云服務提供商根據各自服務對象的差別分別開發了各具特色的云服務。(1)基礎設施即服務層基礎設施即服務(InfrastructureasaService,IaaS)層通過部署硬件基礎設施對外提供服務,用戶可以根據各自的需求購買虛擬或實體的計算、存儲、網絡等資源。用戶可以在購買的空間內部署和運行軟件,包括操作系統和應用程序。消費者不能管理或控制任何云計算基礎設施,但能控制操作系統的選擇、存儲空間、部署的應用,也有可能獲得有限制的網絡組件(如防火墻、負載均衡器等)的控制。云服務提供商為了使硬件資源得到更有效的利用,引入了Xen、KVM、VMware等虛擬化技術,使得云服務商可以提供更個性化的IaaS服務。亞馬遜彈性云計算(AmazonElasticComputeCloud,AmazonEC2)是亞馬遜Web服務產品之一,AmazonEC2利用其全球性的數據中心網絡,為客戶提供虛擬主機服務,讓使用者可以租用云服務運行所需應用的系統。(2)平臺即服務層平臺即服務(PlatformasaService,PaaS)層是指云計算應用程序開發和部署的平臺,包括應用設計、應用開發、應用測試和應用托管,都作為一種服務提供給客戶。開發者只需要上傳代碼和數據就可以使用云服務,而無需關注底層的具體實現方式和管理模式。鑒于PaaS平臺的重要意義,國內外廠商根據各自的戰略提出了相應的PaaS平臺,國外的如GoogleAppEngine(GAE),通過GAE,即使在重載和數據量極大的情況下,也可以輕松構建能安全運行的應用程序。國內也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)軟件即服務層軟件即服務(SoftasaService,SaaS)層是為云計算終端用戶提供基于互聯網軟件應用服務的平臺。隨著Web服務、HTML5、AJAX、Mashup等技術的成熟與標準化,SaaS應用近年來發展迅速,典型的SaaS應用包括GoogleApps、SalesforceCRM等。國外云計算平臺比較成功的應用案例有:亞馬遜電子商務網站根據用戶的購買行為和搜索技術搭建Hadoop集群,構建推薦系統;Twitter社交網站搭建Hadoop分布式系統用于用戶關聯的建立。國內云計算平臺的成功案例有:阿里巴巴目前整個集群達到1700個節點,數據容量達到24.3PB,并且以每天255TB的速率不斷攀升;2013年,華為推出國內首個運營云平臺,目前為止與該平臺簽訂協議的ISV有3000多家。
1.3云計算相關技術
(1)分布式文件系統分布式文件系統(GoogleFileSystem,GFS)[3]是Google公司針對云計算過程處理海量數據而專門設計的。一個GFS集群由一個主節點和多個從節點組成,用戶可以通過客戶端訪問文件系統,進行正常的文件處理工作。在云計算中,海量數據文件被分割成多個固定大小的數據塊,這些數據塊被自動分配到不同的從節點存儲,并會在多個節點進行備份存儲,以免數據丟失。主服務器管理文件系統記錄文件的各種屬性,包括文件名、訪問控制權限、文件存儲塊映射、塊物理信息等數據。正是通過這個表,文件系統可以準確地找到文件存儲的位置,避免數據丟失,保證數據安全。圖3是GFS的體系結構示意,每一個節點都是普通的Linux服務器,GFS的工作就是協調成百上千的服務器為各種應用提供服務。(2)分布式并行數據庫BigTableBigTable[4]是一個為管理大規模結構化數據而設計的分布式存儲系統,可以擴展到PB級數據和上千臺服務器。很多Google的項目使用BigTable存儲數據,這些應用對BigTable提出了不同的挑戰,比如對數據規模的要求、對時延的要求。BigTable能滿足這些多變的要求,為這些產品成功地提供了靈活、高性能的存儲解決方案。BigTable采用的鍵是三維的,分別是行鍵(RowKey)、列鍵(ColumnKey)和時間戳(Timestamp)。行鍵和列鍵都是字節串,時間戳是64位整型;值是一個字節串,可以用(row:string,column:string,time:int64)string來表示一條鍵值對記錄。(3)分布式計算框架MapReduceMapReduce[5]是Google公司提出的大數據技術計算框架,被廣泛應用于數據挖掘、海量數據處理以及機器學習等領域,由于其并行化處理數據的強大能力,越來越多的廠商根據MapReduce思想開發了各自的云計算平臺,其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個階段組成。用戶只需要編寫簡單的map()和reduce()函數就可以完成復雜分布式程序設計,而不用了解計算框架的底層實現。MapReduce的數據分析流程如圖4所示。分布在不同服務器節點上的海量數據首先通過split()函數被拆分成Key/Value鍵值對,map()函數以該鍵值對為輸入,將該鍵值對進行函數處理,產生一系列的中間結果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對傳遞給Reduce環節,Reduce會收集中間結果,并將相同的Value值合并,完成所有工作后將結果輸出給用戶。MapReduce是一個并行的計算框架,主要體現在不同的服務器節點同時啟動相同的工作,并且在每個獨立的服務器節點上又可以啟動多個map()、reduce()并行計算。
2基于云計算的大數據處理
目前大數據處理的基本流程如圖5所示,整個流程經過數據源的采集,用不同的方式進行處理和加工,形成標準的格式,存儲下來;然后用合適的數據計算處理方式將數據推送到數據分析和挖掘平臺,通過有效的數據分析和挖掘手段,找出大數據中有價值的信息;最后通過可視化技術將信息展現給人們。
2.1數據采集存儲
大數據具有不同結構的數據(包括結構、半結構、非結構),針對不同類型的數據,在進行云計算的分布采集時,需要選擇不同的數據采集方式收集數據,這也是大數據處理中最基礎的一步。采集到的數據并不是都適合推送到后面的平臺,需要對其進一步處理,例如來源不同的數據,需要對其進行加載合并;數據存在噪聲或者干擾點的,需要對其進行“清洗”和“去噪”等操作,從而保障數據的有效性;數據的格式或者量綱不統一的,需要對其進行標準化等轉換處理;最后處理生成的數據,通過特定的數據庫,如NoSQL數據(Google的BigTable,Amazon的Dynamo)進行存儲,方便進行下一步的數據讀取。由于傳統的數據倉庫無法適應大數據的存儲要求,目前基于云計算的數據倉庫都是采用列式存儲。列式存儲的數據具有相同的數據類型,可以大大提高數據的壓縮率,例如華為的云存儲服務MOS(MassiveObjectService)的數據持久性高達99.9%,同時提供高效率的端到端保障。
2.2數據計算模式
這一環節需要根據處理的數據類型和既定目標,選擇合適的計算模型處理數據。由于數據量的龐大,會消耗大量的計算資源,因此,傳統的計算技術很難使用大數據的環境條件,取而代之的是分而治之的分布式計算模式,具有代表性的幾種計算模式的特點見表1。采用批處理方式計算的Hadoop平臺,例如,Facebook擁有全球最大規模的Hadoop集群,集群機器目前超過3000臺,CPU核心更是超過30000個,可以存儲的數據量能夠達到驚人的40PB;采用流處理方式計算的Storm平臺分布式計算的時延比Hadoop更小;實時處理方式計算的Spark是一種基于內存的計算模式,例如,Yahoo運用Spark技術在廣告營銷中實時尋找目標用戶,目前在Yahoo部署的Spark集群有112臺節點和9.2TB內存;交互處理方式計算的Dremel在處理PB級別的數據時耗時可以縮短至秒級,并且無需大量的并發。
2.3數據分析挖掘
數據分析挖掘環節是從海量數據中發現隱藏規律和有價值信息的過程,這個環節是大數據處理流程最為有價值和核心的部分,傳統的數據分析方法有機器學習、商業智能等。傳統的數據挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云計算環境下都得到了大幅度的并行優化,在大數據的背景下,計算速度得到了很大程度的提升。現在新興的深度學習是原始機器學習的一個新領域,動機是在于建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,這種新的數據分析挖掘技術已經在計算機視覺、語音識別、自然語言處理等領域有了成功的應用。
2.4數據解釋展現
將挖掘出來的復雜信息進行數據解釋和展現是整個大數據處理流程的最后一個環節,數據分析的結果需要向客戶進行恰當的展現。與傳統的數據輸出和文本展示等方式不同,現在絕大部分的企業都通過引進“數據可視化”技術來展示大數據分析的結果信息,這種方式以圖像、動畫等方式,形象地向客戶展現數據處理分析的結果,也容易被客戶理解和接受,更為先進的是,現在逐步形成的“交互式可視化技術”,大大地方便了數據與人之間的“親密交流”。目前面向大數據主流應用的可視化技術見表2。
3大數據和云計算的未來挑戰
大數據需要超大存儲容量的計算能力,云計算作為一種新的計算模式,為大數據的應用研究提供了技術支持,大數據和云計算的完美結合,相得益彰,發揮了各自的最大優勢,為社會創造了巨大的價值。雖然國內大數據和云計算的研究還是處于初步階段,但隨著研究的不斷進行,所面臨的問題也越來越多。在大數據向前不斷邁進的階段里,如何讓我們對大數據的研究朝著有利于全人類的方向發展成為了重中之重。
3.1重要戰略資源
在這個信息社會里,大數據將會成為眾多企業甚至是國家層面的重要戰略資源。國家層面要將大數據上升為國家戰略。奧巴馬在2012年3月將“大數據戰略”上升為最高國策,像陸權、海權、空權一樣,將數據的占有和控制作為重要的國家核心能力。大數據資源也會成為各種機構和企業的重要資產以及提升企業社會競爭力的有力武器。在大數據市場里,客戶的各種數據信息都會為企業創造價值,也會在促進消費水平、提高廣告效應等方面扮演重要的角色。
3.2數據隱私安全
大數據如果運用得當,可以有效地幫助相關領域做出幫助和決策,但若這些數據被泄露和竊取,隨之而來的將是個人信息及財產的安全問題得不到保障。2011年索尼公司遭到黑客攻擊,造成一億份客戶資料泄露,經濟虧損約1.71億美元。為了解決大數據的數據隱私安全問題,Roy等在2010年提出了一種隱私保護系統,將信息流控制和差分隱私保護技術融入到云計算平臺中,防止MapReduce計算過程中的數據泄露問題。在數據更新飛速的情況下,如何維護數據的隱私安全成為大數據時代研究的重點方向。
3.3智慧城市
人口的增長給城市交通、醫療、建筑等各方面帶來了不小的壓力,智慧城市就是依靠大數據和云計算技術,實現城市高效的管理、便捷的民生服務、可持續的產業發展。在剛剛結束的“兩會”的政府工作報告中,總理也特意強調了智慧城市發展的重要性,目前國家智慧城市試點已遍布全國各地,多達409個。智慧安防、智慧交通、智慧醫療等都是智慧城市應用領域。智慧城市的建設也趨使大數據人才的培養。據預測,到2015年,大數據將會出現約100萬的人才缺口,全球將新增440萬個與大數據相關的工作崗位來填補這個空缺。
篇2
1 安全隱私保護基本需求
云計算平臺中存儲數據信息的時候可以合理使用不同種類數據,例如,圖片、視頻、郵件等。從用戶方面來看,不同種類數據具備不同安全保護情況,其中不同信息數量能夠合理、安全運行機密性數據,數據敏感程度和重要程序決定數據安全性。利用強大加密算法來處理所有數據,會大量消耗處理時間和系統資源,以至于降低云計算服務質量以及工作效率。但是如果使用簡單加密算法處理數據,會出現泄漏數據信息的風險,所以,需要對不同數據資源提供不同安全隱私保護。
2 云計算用戶數據隱私保護
2.1 分析云計算數據安全隱私保護
傳統信息安全方式就是確定系統之間的物理邊界,但是云計算會共享在多租戶情況下沒有明確物理邊界,例如,多臺虛擬服務器公用一臺服務器,虛擬服務器來源于不同邏輯服務器,傳統硬件基礎安全以及物理隔離方式已經不能負荷虛擬設備中虛擬環境遭受攻擊的問題,不需要路由就能夠在不同虛擬機上進行信息通訊,所以,傳統入侵檢測技術、防火墻已經沒有很大作用。對于不同云計算用戶來說具備不同的云計算安全性和需求。不少用戶在本地存放和應用敏感數據,利用私有云或者內部云在云上存儲數據信息,也有的用戶在云中存放所有數據信息,用戶隱私和數據安全主要就是依據云服務提供的安全措施,從而合理科學執行云計算安全措施和安全策略。
2.2 云計算數據安全隱私保護模型
有機結合虛擬化、多租戶、動態性的基本特點建立云計算數據安全隱私保護模型,如圖1所示。云計算數據安全隱私保護系統主要包括數據和隱私的安全手段、安全屬性(不可抵賴行、完整性、機密性)、安全訪問、安全要點、安全密碼、安全保障等設施。密碼能夠為安全隱私保護系統提供基礎密碼服務,例如,加密技術、密碼設備、PKI證書簽名、密鑰管理等。
云計算大數據隱私安全實際上就是整個生命周期中隱私和數據的安全性。數據和隱私的安全性能夠生成安全,在安全環境基礎上存儲重要隱私和數據避免數據被竊取和泄漏。傳輸過程中數據和隱私的安全性就是傳輸安全,基本上都是使用加密方式進行傳輸。在安全地方存儲數據和隱私是存儲安全,例如,在加密保護、易失性存儲區、防止數據篡改區域存儲數據。安全轉移或者銷毀,合理應用相關技術室來保證數據安全,避免泄漏數據。整個生命周期中的數據和隱私不可抵賴性、完整性、機密性上體現安全性,利用安全措施或者手段來確保生命周期中所有數據安全性。
安全訪問數據和隱私主要就是控制主體訪問客體數據。維護云計算數據安全隱私主要形式就是訪問控制,訪問控制根本就是確定訪問權限,保證在具備安全系統環境基礎上能夠盡可能共享資源,依據訪問控制來保護用戶隱私和云計算數據安全,基于此檢測是否具備合法的數據和隱私訪問,也就是控制讀、寫、增加、查詢、修改、刪除等相關操作。云計算基礎上建立安全密碼監管、密碼體系、密碼運行等相關機制,可以在一定程度上促進密碼技術的發展。有機結合云計算業務和云計算基礎上的密鑰保存、安全加密、密鑰分發、密鑰協商等技術,系統應用的時候還應該包括密鑰分割技術、密鑰恢復技術、端加密技術、智能卡、USB-KEY、防篡改模塊等。現階段已經具備相對比較成熟的上述技術,應用在云計算中,還應該有機結合多用戶、動態性的特點來研究以及部署業務。實際安全保護中很少應用數據庫訪問、多方計算、數據挖掘、保密分析技術等,云計算的發展建立了新應用密碼環境,如同態計算、密文檢索等。可以利用備份、快照、等方式來存儲云計算數據。
3 結束語
綜上所述,限制云計算技術發展以及應用關鍵就是數據安全以及隱私保護,本文主要分析了云計算大數據安全和隱私保護,建立了云計算大數據安全和隱私保護基礎模型,以此提出生命周期保護云計算大數據安全和隱私保護的策略。
參考文獻
[1]肖人毅.云計算中數據隱私保護研究進展[J].通信學報,2014,35(12):168-177.
[2]黃汝維,桂小林,余思等.云環境中支持隱私保護的可計算加密方法[J].計算機學報,2011,34(12):2391-2402.
[3]李瑞軒,董新華,辜希武等.移動云服務的數據安全與隱私保護綜述[J].通信學報,2013,34(12):158-166.
[4]何明,陳國華,梁文輝等.物聯網環境下云數據存儲安全及隱私保護策略研究[J].計算機科學,2012,39(5):62-65,90.
篇3
大數據概念可以從四個維度去解,即三個V和一個C。三個V分別指的是數據量大(Volume)、數據種類多(Variety)和數據增長速度快(Velocity),最后一個C指的是處理、升級或利用大數據的分析手段比處理結構化數據要復雜的多(Complexity)。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像Map-Reduce一樣的并行計算框架將復雜的計算任務分配到“云”中成百上千的節點。
1.2大數據與云計算
大數據本身就是一個問題集,云計算技術是目前解決大數據問題集最重要最有效的手段。云計算提供了基礎的架構平臺,大數據應用在這個平臺上運行。目前公認為分析大數據集最有效手段的分布式處理技術,也是云計算思想的一種具體體現。
云計算是分布式處理、并行處理和網格計算的發展,或者說是這些計算機科學概念的商業實現。云計算將網絡上分布的計算、存儲、服務構件、網絡軟件等資源集中起來,基于資源虛擬化的方式,為用戶提供方便快捷的服務, 實現了資源和計算的分布式共享和并行處理,能夠很好地應對當前互聯網數據量高速增長的勢頭。
1.3大數據與Hadoop
Hadoop是一個Apache的開源項目,主要面向存儲和處理成百上千TB直至PB級別的結構化、半結構化或非結構化的大數據。Hadoop提供的Map-Reduce能將大數據問題分解成多個子問題,并將它們分配到成百上千個處理節點之上,再將結果匯集到一個小數據集當中,從而更容易分析得出最后的結果。
Hadoop項目包括三部分,分別是Hadoop Distributed File System(HDFS)、Map Reduce編程模型,以及Hadoop Common。Hadoop具備低廉的硬件成本、開源的軟件體系、較強的靈活性、允許用戶自己修改代碼等特點,同時能支持海量數據的存儲和計算任務。這些特點讓Hadoop被公認為是新一代的大數據處理平臺。 Hadoop同樣具備出色的大數據集處理能力,在獲取、存儲、管理和分析數據方面遠遠超越傳統的數據庫軟件工具。Hadoop經常在構建大數據解決方案時被用作基礎構架軟件。
二、大數據技術綜述
大數據處理不僅僅是Hadoop,許多特定的數據應用場景是需要實時分析和互動反饋的,這時候就需要利用包括內存檢索、流處理和實時計算等其他技術。而云計算的分布式存儲和計算架構開啟了大數據技術研究的大門,打造健全的大數據生態環境,所有這些技術結合在一起,才是一個完整的大數據處理系統。
2.1分布式計算框架
MapReduce是Google開發的一種簡化的分布式編程模型和高效的任務調度模型,用于大規模數據集(大于1TB)的并行運算,使云計算環境下的編程變得十分簡單。
MapReduce將數據處理任務抽象為一系列的Map(映射)和Reduce(化簡)操作對。Map主要完成數據的分解操作,Reduce主要完成數據的聚集操作.輸入輸出數據均以〈key,value〉格式存儲.用戶在使用該編程模型時,只需按照自己熟悉的語言實現Map函數和Reduce函數即可,MapReduce算法框架會自動對任務進行劃分以做到并行執行。
Pregel是Google 提出的迭代處理計算框架,它具有高效、可擴展和容錯的特性,并隱藏了分布式相關的細節,展現給人們的僅僅是一個表現力很強、很容易編程的大型圖算法處理的計算框架。Pregel的主要應用場景是大型的圖計算,例如交通線路、疾病爆發路徑、WEB 搜索等相關領域。
2.2分布式文件系統
為保證高可用、高可靠和經濟性,基于云計算的大數據處理系統采用分布式存儲的方式來保存數據,用冗余存儲的方式保證數據的可靠性。目前廣泛使用的分布式文件系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。
GFS即Google文件系統,是一個可擴展的分布式文件系統,用于大型的、分布式的、對大量數據進行訪問的應用。GFS的設計思想不同于傳統的文件系統,是針對大規模數據處理和Google應用特性而設計的,運行成本低廉,并提供容錯功能。
HDFS即Hadoop分布式文件系統,受到GFS很大啟發,具有高容錯性,并且可以被部署在低價的硬件設備之上。HDFS很適合那些有大數據集的應用,并且提供了數據讀寫的高吞吐率。HDFS是一個master/slave的結構,在master上只運行一個Namenode,而在每一個slave上運行一個Datanode。HDFS支持傳統的層次文件組織結構,對文件系統的操作(如建立、刪除文件和文件夾)都是通過Namenode來控制,Datanode用來存放數據塊。
2.3大數據管理技術
互聯網數據已超出關系型數據庫的管理范疇,電子郵件、超文本、博客、標簽(Tag)以及圖片、音視頻等各種非結構化數據逐漸成為大數據的重要組成部分,而面向結構化數據存儲的關系型數據庫已經不能滿足數據快速訪問、大規模數據分析的需求,隨之而來,一系列新型的大數據管理技術和工具應運而生。
2.3.1 非關系型數據庫
NoSQL,也有人理解為Not Only SQL,它是一類非關系型數據庫的統稱。其特點是:沒有固定的數據表模式、可以分布式和水平擴展。NoSQL并不是單純的反對關系型數據庫,而是針對其缺點的一種補充和擴展。典型的NoSQL數據存儲模型有文檔存儲、鍵-值存儲、圖存儲、對象數據、列存儲等。而比較流行的,不得不提到Google的Bigtable,它把所有數據都作為對象來處理,形成一個巨大的表格,用來分布存儲大規模結構化數據,數據量可達PB級。而HBase是Hadoop團隊基于Bigtable的開源實現,使用HDFS作為其文件存儲系統。同時,Cassandra(K/V型數據庫)、MongoDB(文檔數據庫)和Redis等一系列優秀的非關系型數據庫產品如雨后春筍般問世。
2.3.2 數據查詢工具
Hive是Facebook提出的基于Hadoop的大型數據倉庫,其目標是簡化Hadoop上的數據聚集、即席查詢及大數據集的分析等操作,以減輕程序員的負擔.它借鑒關系數據庫的模式管理、SQL接口等技術,把結構化的數據文件映射為數據庫表,提供類似于SQL的描述性語言HiveQL供程序員使用,可自動將HiveQL語句解析成一優化的MapReduce任務執行序列.此外,它也支持用戶自定義的MapReduce函數。
PigLatin是Yahoo!提出的類似于Hive的大數據集分析平臺.兩者的區別主要在于語言接口.Hive提供了類似SQL的接口,PigLatin提供的是一種基于操作符的數據流式的接口.可以說Pig利用操作符來對Hadoop進行封裝,Hive利用SQL進行封裝。
Google Dremel是個可擴展的、交互式的即時查詢系統,用于完成大規模查詢結構化數據集(如日志和事件文件)。它支持類SQL語法,區別在于它只能查詢,不支持修改或者創建功能,也沒有表索引。數據被列式存儲,這樣有助于提升查詢的速度。Google將Dremel作為MapReduce的一種補充,被用于分析MapReduce的結果或者是作為大規模計算的測試。
2.4實時流處理技術
伴隨著互聯網業務發展的步調,以及業務流程的復雜化,企業的注意力越來越集中在“數據流”而非“數據集”上面,他們需要的是能夠處理隨時發生的數據流的架構,現有的分布式計算架構并不適合數據流處理。流計算強調的是數據流的形式和實時性。MapReduce系統主要解決的是對靜態數據的批量處理,當MapReduce任務啟動時,一般數據已經到位了(比如保存到了分布式文件系統上),而流式計算系統在啟動時,一般數據并沒有完全到位,而是經由外部數據源源不斷地流入,重視的是對數據處理的低延遲,希望進入的數據越快處理越好。數據越快被處理,結果就越有價值,這也是實時處理的價值所在。
流計算的數據本身就是數據流,不需要數據準備的時間,有數據流入就開始計算,解決了數據準備和延遲的兩個問題。現有的解決方案中,Twitter的Storm和雅虎的S4框架更適合數據流計算的場景。Storm是開源的分布式實時計算系統,可以可靠的處理流式數據并進行實時計算,單機性能可達到百萬記錄每秒,開發語言為Clojure和Java,并具備容錯特性。S4是面向流式數據和實時處理的,所以針對實時性較高的業務,可以很好地對數據做出高效的分析處理,而且系統一旦上線,很少需要人工干預,源源不斷的數據流會被自動路由并分析。對于海量數據,它和MapReduce都可以應對,但它能比后者更快地處理數據。
三、思考與展望
以云計算為基礎的信息存儲、分享和挖掘手段為知識生產提供了工具,通過對大數據分析、預測會使得決策更為精準,這對媒體融合具有重要意義。
篇4
隨著互聯網的快速發展,人們逐步感受到了“信息大爆炸”,特別是各種移動通訊和物聯網的發展,數以億計的網絡用戶隨時產生數據。目前全球的數據總量達到了ZB規模,大數據成為人們關注的熱點話題,生活中的很多方面都可以和大數據技術進行結合,通過大數據技術來為我們服務。
大數據技術雖然給我們的生活帶來了巨大的改變,但是大數據技術要求計算機具有相應的大數據處理能力,為此,云計算的概念產生了。云計算是分布式計算、網絡存儲、負載均衡等相關技術發展融合的產物。云計算通過網絡將龐大的計算機處理任務進行分解,把分解后的較小的計算任務交給眾多的網絡數據計算服務器,經過網絡服務器的分析處理之后把結果重新傳回給用戶。移動云計算是指通過移動互聯網以按需、易擴展的方式獲得所需的基礎設施、平臺、軟件或應用等的一種IT資源或信息服務的交付與使用模式。[1]
1 大數據技術
現今的世界是一個數據的世界,我們身邊到處都充滿著數據,比如打電話的語音數據、發短信的文字數據、微信的聊天數據、報紙、雜志、網絡購物等等。這么多的數據實時地影響了我們的工作、生活、學習,甚至社會的發展。根據維基百科的定義,大數據(Big Data)是用于數據集的一個術語,是指大小超出了常用的軟件工具在運行時間內可以承受的收集、管理和處理數據能力的數據集。[2]美國IBM公司定義了大數據的3V特點,即規模性(Volume)、多樣性(Variety)、高速性(Velocity)。規模性表示大數據涉及的數據量巨大,一方面人們的生活中產生了很多的具體數據,另一方面是互聯網通信中移動通信的虛擬數據,這些數據的數據量是非常巨大的。多樣性表示大數據中數據類型的復雜多樣,其中包括最常見的文本數據、圖像數據、語音數據和視頻數據,除此之外還有很多其他的結構化、半結構化和非結構化的數據。高速性表示大數據技術必須具有實時性,比如實時路況導航、全球股價波動、一些通信業務的處理等等。
大數據技術的發展越來越成熟,大數據的價值也越來越受到人們的關注,對于數據處理的實時性和有效性要求越來越高。大數據在公共服務、商業智能、科學研究等領域發揮著巨大的作用,影響力越來越大,大數據技術的使用一定會給我們帶來巨大的價值。社會中的各行各業可以通過大數據技術來完成各項工作,比如大數據在汽車制造業中的應用,福特汽車的產品開發團隊曾經就對汽車行李箱的打開形式進行研究。車后行李箱的打開有兩種形式手動式和電動式,如果采用電動式,能自動打開、便捷智能,但是這種方式會影響到車門開啟有限的困擾。此前采用定期調查的形式并沒有發現這個問題,但后來對社交媒體的關注和分析,發現很多用戶在談論這個問題,這對福特汽車以后的產品設計是非常有幫助的。
數據分析是大數據技術的核心,通過對相關數據的分析產生有價值的信息是大數據技術的關鍵。通過對數據的分析,可以產生有價值的規律和結果并輔助人們進行更為合理的決策。在大數據分析方面除了傳統的技術外,人工智能技術鄰域的很多方法被用得越來越多,包括統計分析、機器學習、數據挖掘等。數據挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的,但又是潛在有用信息和知識的過程。統計分析就是基于數學鄰域的統計學原理,對數據進行收集、組織和解釋的科學。機器學習作為人工智能鄰域的重要內容,分為監督學習和無監督學習兩大類。[3]常見的方法包括聚類算法、預測算法、回歸算法、樸素貝葉斯算法、支持向量機算法等。這些算法往往需要較大的計算資源和較強的計算能力,云計算正好滿足了大數據技術在這個方面的需求。
2 移動云計算技術
云計算已經發展成為IT行業的一個熱門技術,目前的主要云計算設備和服務都是針對PC機而言的,但是隨著無線路由的快速普及以及無線終端設備的大量出現,將云計算運用于移動環境是必然的發展趨勢。根據相關的數據統計,全國的移動電話用戶累計達到10億以上,現有的終端計算能力、存儲容量都是非常有限的,已經難以滿足很多用戶的需求,而云計算恰好能給用戶提供服務。云計算是一種新型的應用模式,通過網絡按需實現軟件處理能力、存儲資源等。[4]移動云計算正是基于云計算的概念出現的,它結合了移動網絡和云計算的概念。移動云計算通過移動的終端用戶進行網絡互連,并以按需、易擴展的方式獲得所需的基礎設施、平臺等相關的網絡資源和信息。
云計算的一個主要優點就是在“云端”提供了大容量的存儲空間和高速的計算能力。即使客戶端的移動設備本身性能不夠,但是只要能進行數據的輸入、輸出,就可以和云端進行交互,讓云端提供計算和處理服務得到客戶想要的結果。移動云計算的特點是終端硬件及系統無關性,這是因為終端不進行真正的大量計算和數據的存儲,而是通過移動網絡把數據和計算任務上傳到云端讓云端來進行計算和處理。移動云計算還消除了計算的地域性限制,普通的云計算由于終端設備的地理位置固定,給很多的實際應用帶來不便,但是移動云計算可以通過移動網絡進行數據傳輸和計算。如果移動網絡有足夠的帶寬,那么移動云計算就能實現實時的數據計算,讓客戶在終端或者手機上看到最及時的處理結果。
移動云計算中比較成熟的應用有移動云存儲。目前,很多公司推出了自己的移動云存儲服務,在移動云上可以存放照片、文檔、郵件、視頻等相關內容。傳統的存儲方法是客戶在存儲資料時,都是通過U盤或是硬盤等存儲設備。這種存儲方式有明顯的缺c,當U盤或是硬盤丟失、損壞或是忘記隨身攜帶等,都可能造成想要取出存儲資料卻取不出來的狀況。移動云存儲是把資料上傳到網絡上的移動云存儲服務器,只要能上網可以隨時隨地取出存儲資料,不用擔心資料的丟失或損壞。基于移動云計算的移動商務是商業發展的新模式。隨著移動終端設備的大量使用,很多商務都是在網絡上進行操作的,例如購物網站、微信支付等。除此之外移動云計算在醫療、郵件推送、遠程教育等方面都有著非常成功的應用。
3 大數據與移動云計算
本地單機的數據處理模式成本越來越高,而且擴展性比較差,并且隨著要處理的數據量不斷增加特別是對于大數據的應用,相應的處理性能會遇到瓶頸,在這種情況下,出現了云計算技術。云計算具備了較好的彈性,在動態調配資源、支持多用戶按需工作等特點正好符合了大數據的應用需求。云計算以其高可靠性、強大的計算能力和海量的存儲空間成為解決大數據問題的重要技術,但是云計算不能在動態系統中進行應用,這使得移動云計算成為云計算新的發展方向,特別是移動終端可以方便地通過無線網絡上網來使用移動云計算提供的各種服務。
大數據的落腳點在于“數據”,提供了對數據操作的各種方法,包括對數據的采集、分析、挖掘、存儲等。移動云計算更多體現在“計算”,看重的是通過互聯網產生的計算能力,移動云計算中很多的相關技術正是大數據技術的基礎。大數據技術首先要有大量的存儲數據,存儲數據的傳統方法是數據庫技術,但是現在的數據量越來越大,已經超過了傳統數據庫的存儲模式,而移動云計算正好給這些數據的存儲提供了空間。其次是對大量數據的初步操作包括數據的提取、標注、表達等,移動云計算通過互聯網可以把這些任務進行分解,分成許多較小的數據處理任務并分配給網絡中的很多移動終端用戶,讓他們在空閑的時候處理這些任務。最后是對移動云上存儲的大量數據進行分析,分析的手段包括數據過濾、數據分類、數據聚類等,移動云計算同樣可以像上邊那樣把任務進行分解并在網絡中尋找空閑的處理設備輔助完成這些任務。
基于移釉萍撲慵際豕鉤傻拇笫據系統,能夠提供大數據處理所需要的相關技術。大數據與移動云計算的結合,將是相得益彰,相互都可以更好地發揮作用。移動云計算為大數據提供強大的存儲和計算能力,更加迅速便捷完成大數據的處理任務,而大數據的相關業務能為移動云計算找到更多更好的實際應用。
大數據和移動云計算在氣象領域的應用,以前的氣象服務信息大多只是將氣象的監測數據提供給用戶,由用戶自己去綜合使用,這顯然僅僅是氣象預報產業中的初級階段。現在,人們通過移動網絡可以及時獲得氣溫、紫外線指數、感冒指數、晨練指數、洗車指數等更精細化的氣象信息,并利用大數據分析軟件可以獲得更多的用戶想知道的數據信息,體現出單一數據無法表達的價值和效益。
社交網絡是現在人們溝通的主要形式之一,用戶通過移動終端使用社交網絡,伴隨著用戶的社交過程會產生大量的數據,通過大數據的分析技術可以發現一個人和另一個人是怎么樣聯系上的,另外也可以通過兩個人的社交關系,找到讓他們進行聯系的渠道。不管我們在使用微信朋友圈還是微博賬戶,軟件系統經常會提示我們哪個人可能是我們的朋友或者是同學,給你一個加入好友的提示,這就是大數據與移動云計算相結合應用的一個實例。
地圖導航古已有之,而發展到今天的電子地圖導航更成為人們出行旅游的指南針。用戶使用移動終端比如手機、平板電腦通過移動互聯網把自己的實時地理位置信息傳送到網絡上,由此可以進行打車、聚會、餐飲、購物、汽車導航等應用。大數據技術通過分析可以知道在哪些地方,什么樣的服務是在這個地理位置上的人最需要的,移動云計算把這樣的消息出去后,可以給我們提供最便利的服務。比如在商場附近可能有更多的人需要打車,在人煙稀少的地方可能有更多的人需要方向導航等。
醫療行業具有數據量大、復雜性高等特點,醫療行業被認為是最能讓大數據分析技術發揚光大的一個傳統領域。移動云計算利用移動終端可以隨時采集病人的相關數據信息,比如脈搏、血壓、照片等,這些數據隨著時間的推移將構成海量的數據。此外,醫生對于病人的診斷結果也會保存在移動云存儲中,當同樣類型的病癥再次出現的時候,移動終端可以根據大數據的分析技術給病人提出最合理的治療建議。這樣既節省了醫生的人力資源,又節省了病人排隊等待的時間,更能在第一時間解決病人的病情。麥肯錫的報告中指出,大數據技術可以幫助美國的醫療行業一年創造3千億美元的附加價值。
大數據利用了移動云計算的方便性,可以隨時隨地對數據進行處理并提供了及時的服務,移動云計算通過大數據找到了更好的應用方向。沒有大數據對于大量信息的積累,移動云計算的計算能力再強也找不到用武之地,同樣如果沒有移動云計算的強大計算能力,那么大數據積累的大量信息也毫無價值。
4 總結
如果說大數據是巨大的寶藏,那么移動云計算是開發這個寶藏的最有利的工具。沒有移動云計算的強大計算能力,那么大數據中的相關數據就是一堆毫無用處的冗余數據。另一方面移動云計算也正是由于大數據的信息量大,本地單機處理能力有限才發展起來的,沒有大數據的信息累積,那么移動云計算也得不到完全的發揮,所以大數據與移動云計算是相輔相成的關系。
參考文獻:
[1] 趙華, 王海闊. 移動云計算綜述[J]. 電腦知識與技術, 2012(1).
[2] 何清. 大數據與云計算[J]. 中國安防, 2014(1).
篇5
一、大數據技術特征以及關鍵技術
(一)特征
大數據技術相較于以往的信息技術,具有明顯的優勢特征,首先是大數據技術可以在短時間內完成對特定目標的信息搜集、運算、分析等,并且還能及時給出分析結果,大大提高了信息處理效率。另外應用大數據技術之后還可以簡化信息計算流程,用較少的時間從大量數據信息中找到有價值的數據信息,這對企事業單位來說能夠大幅提高工作效率,而且還能幫助企業合理制定發展策略,促進企業實現可持續發展目標。
(二)關鍵技術
計算機系統中,大數據關鍵技術有云計算和數據備份技術,云計算技術指的就是通過建設網絡云平臺,將需要處理的數據信息供任務發放機制劃分為若干個小程序,然后給每個服務器系統發送適量的小程序,之后分支服務系統會把數據計算結果傳遞到網絡云平臺上,由云平臺負責處理各項數據結果,然后用戶就能收到數據處理的反饋結果,由此來看,通過運用云計算技術之后就能在短時間內保質保量地完成巨大數據量的運算處理任務,滿足用戶多樣化的網絡服務需求,而且還能突破計算機硬件設備的性能限制,不過隨著云計算技術的不斷發展,也有很多問題逐漸暴露出來,例如用戶的隱私信息被泄露、信息資源被人竊取、病毒攻擊等,導致大數據技術無法給計算機信息安全帶來保障。而數據備份技術指的就是為了避免在計算機系統出現失誤的時候造成重要數據丟失,把所有或者是部分數據集合從主機硬盤復制到其他存儲介質的經過,基于互聯網時代背景下,個人隱私信息保護工作遭遇了挑戰,此時數據備份技術的作用就得以凸顯出來,在企事業單位應用大數據技術時,應該對重要信息做好數據備份工作,不論對個人來說,還是對企業而言,一旦數據泄露都會帶來嚴重損失,今后還應加強對數據備份技術的研究力度,確保能夠最大限度降低信息丟失概率。
二、大數據技術應用現狀
調查結果顯示,現在很多行業在發展的過程中都引用了大數據技術,比如交通、醫療等,而且隨著計算機信息安全管理工作扮演著越來越重要的角色,也對大數據技術提出了運用需求,因為在大數據技術的幫助下,能夠有效促進計算機安全防御體系轉型升級。比如通過運用大數據技術,可以提高流量監測平臺的構建質量,幫助監測人員及時獲取網絡日志、流量使用狀況等信息,這樣就能全面掌握計算機系統的運行情況,避免流量異常問題發生。不過大數據技術在計算機信息安全中的運用現狀不容樂觀,一方面是大數據技術在計算機信息安全管理工作中的應用時間比較短,而且應用方式也單一,導致大數據技術的應用價值沒有充分體現出來。另一方面,大數據技術在計算機信息安全管理工作的應用過程中還面臨著不少技術障礙,例如信息分辨不夠清晰、信息篩選準確度低等問題,造成計算機信息安全管理工作頻繁出現漏洞,據此需要盡快采取措施來解決大數據技術的應用難題。[1]
三、大數據技術在計算機信息安全中的具體運用策略
(一)建立完善的安全制度體系
對計算機信息安全管理工作來說,完善的安全制度管理體系能夠發揮重要導向作用,促進計算機信息安全管理工作目標實現,但是現在很多企事業單位的信息安全制度體系都比較陳舊,導致大數據技術的應用價值難以發揮出來。比如有的細則條例內容和實際的技術標準存在很大差異,這樣大數據技術在應用的過程中就會受到很大限制。所以為確保大數據技術的積極效用能夠在計算機信息安全管理工作中體現出來,當務之急就是要結合大數據技術的應用情況與技08術特征,完善現有的安全制度體系。比如,實際情況允許的情況下,可以根據需要在計算機系統中建設防火墻,不過在選擇防火墻結構時,應當和系統運行情況、信息安全防護需求等相結合,這樣在計算機系統工作的時候,就能利用大數據技術篩選出有用的網絡信息,而且信息的準確度也很高,可以給發展戰略的制定提供有利參考。[2]另外,眾所周知人是計算機信息安全工作的主體,即使有大數據技術的幫助,也需要加強對相關技術人才的培養,所以還應該調整當前安全制度體系中的人才培養目標,全面提高信息安全管理人員的數據計算能力、信息處理分析能力等。
(二)搭建安全服務后臺
為提高大數據技術在計算機信息安全系統中的應用效率,應該搭建完善的安全服務后臺,所謂安全服務后臺,指的就是一種信息安全載體,它同時囊括數字認證、自動監控及預警、授權處理等多個功能,通過對計算機信息進行集約化處理之后,就可以給計算機信息安全提供一個全方位的安全保護。另外,安全服務后臺還能在計算機系統運行過程中,迅速感知安全隱患,并且還能辨別隱患類型,找到隱患的所處位置,方便安全管理人員及時處理。現在,基于計算機信息安全管理視角下構建的安全服務平臺還能發揮更多效用,一是可以提高異構數據的處理效率,因為計算機系統工作過程中,會有龐大數據量產生,而且各種數據信息都保存在后臺安全服務中心,例如流量數據、各種日志信息等,不僅有著繁多的數據類型,還有著大量的異構數據,但是在大數據技術的幫助下,安全服務后臺便能快速完成對用戶數據、各種信息的歸類整理,還能給出分析結果,從而大大減輕了系統運行壓力。[3]二是基于大數據技術的特征,能夠將決策經驗提煉、知識庫數據匹配等功能增加到安全服務后臺中,這樣就能增強計算機系統的機器學習能力。三是方便技術人員在安全服務后臺中引用數據備份技術,從而計算機數據信息可以實現加密管理,大幅提高了計算機信息安全管理工作質量。
(三)對計算機信息安全趨勢實施預測
在繁雜的網絡時代背景下,計算機系統會遭受各種突發性的網絡攻擊,而且這種攻擊也難以準確預測并進行防范,所以計算機信息安全管理工作就面臨著巨大挑戰。在過去,網絡技術不夠先進,而且技術理念也比較陳舊,像“被動防御、事中控制”一直是計算機信息安全管理體系所遵循的理念,雖然能夠在一定程度上減少對系統的破壞,但是計算機信息安全仍然面臨著緊張局勢。通過運用大數據技術,可以實現預測系統風險的目標,比如大數據技術具備很強的數據挖掘能力,那么就能對計算機安全信息實施挖掘、分析,然后從數據分析結果中預估計算機系統的安全風險潛在情況,并且還能對安全風險分布情況進行詳細劃分,比如可以明確知道網絡攻擊的目標是什么、信息安全防御系統的漏洞等,之后再整理成安全趨勢預測總結報告,讓計算機系統圍繞著安全趨勢預測報告來優化調整安全防御方案,保證不同安全設備之間都可以密切關聯,如果網絡攻擊一旦出現,就能迅速進入協同聯動運行狀態中,再根據制定的運行策略來實施防御策略,這樣信息安全隱患就可以被及時解除。
(四)制訂智能安全運維計劃
篇6
計算機信息技術的發展為人們的生活提供了巨大的便利,目前隨著時代的發展,人們對計算機存儲空間的要求也在不斷提高,越來越多的網絡公司開始進行這一方面的研究,旨在為廣大用戶提供更加優質的服務。在這一背景下,大數據得到了廣泛的應用,不僅為人們的生產生活提供巨大的便利,同時對于促進計算機信息處理技術的發展具有積極意義。
1大數據下計算機信息處理技術概述
大數據主要是通過信息術實現對數據的保存和處理,使用戶通過計算機得到所需的信息數據。目前,隨著信息量的與日俱增,大數據技術發展迅速,同時對數據的要求也在不斷提高。在實際數據處理過程中,技術層面的不足導致計算機信息處理技術無法滿足時展的需要。如果計算機處理技術發展緩慢,則會對信息處理的穩定性和安全性造成嚴重影響,因此采取有效的措施提高計算機處理水平十分重要,為用戶提供更好的數據服務。結合實際情況分析,目前尚不具備一套完善的、處理效率較高的處理系統和軟件,難以滿足廣大用戶對數據信息的使用要求。在大數據的背景下,計算機處理技術的特點主要體現在自動化水平高、數據精確等方面,現如今計算機處理技術不僅包括檢索技術、信息數據庫,同時還包括安全技術、通信技術等多項技術[1]。目前計算機處理技術也面臨著諸多問題。第一,日常生活需要使用一系列的智能終端設備,其形成的數據會上傳到互聯網中,大量的數據對于計算機處理技術來說具有一定的挑戰。第二,大數據在計算機信息處理技術中的類型繁多,形成信息的數據來源也存在明顯差異,所以數據結構之間的差異較大,主要表現在圖片、視頻、文字以及信息等,均為不同信息類型。第三,信息具有非常快的傳播速度,目前因為我國社會、經濟的迅速發展,人們的生活節奏變得越來越快,因此對信息數據傳輸速度的要求也在不斷提高,若想確保傳輸水平,提高計算機處理技術應用水平至關重要[2]。現如今,越來越多的企業開始將計算機信息處理技術應用于數據管理以及辦公中,有助于提高工作的質量和效率,實現了工作人員、軟件和硬件的有機結合。
2大數據在計算機信息處理技術中的運用
2.1信息采集加工技術
長此以往,信息的采集加工都是各行各業以及廣大用戶關注的一大重點問題,信息采集及加工的合理性、科學性對于個人、企業以及社會的占具有重要的影響。在大數據時代背景下,計算機信息處理技術的常見問題便是信息的采集加工問題,信息處理水平無法滿足大數據發展的需要,因此需要緊跟時展的潮流,不斷提高計算機信息處理能力。第一,工作人員在使用計算機信息處理技術的過程中,需要實現對各類信息的全面整合,在確保信息數據準確和完整的基礎上,才可以繼續展開后續的處理工作。在對信息進行采集的過程中,工作人員需要明確信息源,對其進行全面追蹤,采取有效的監管措施,之后將完成采集的數據信息存儲于計算機數據庫中,確保數據信息的準確性和完整性,為后續加工處理工作的進行提供便利。第二,需要提高數據信息的加工水平,結合用戶的要求進行加工,實現對用戶的同步傳輸。并且這一流程中,全程都需要保證傳輸數據信息的準確性和安全性,提高加密管理水平,以防信息發生泄露等不良情況。
2.2信息處理技術
傳統模式下計算機信息處理工作多通過計算機的硬件設備和軟件設備完成。為了進一步提高信息處理的安全性和穩定性,需要采用先進的設備進行信息處理。但是因為受到技術因素、經濟因素的制約,導致計算機信息處理水平低下。在大數據的背景下,計算機信息處理技術需要通過云技術實現,具有較高的工作效率和準確性,對云技術進行合理應用,實現計算機硬件和網絡的分離,但是相互的運行不受到其他影響,提高硬件設備的運行水平,并且建立大數據信息網絡有助于對大量數據信息的有效處理。
2.3信息存儲技術
對計算機信息處理技術來說,信息存儲技術是其重要組成部分。在大數據的時代背景下,需要進行處理和存儲的信息類型繁多、數量巨大。為了能夠緊跟時展的步伐,則需要不斷強化信息存儲技術,提高存儲水平,這樣才能夠確保計算機處理工作的有序進行。數據信息的存儲量和存儲水平是評估計算機信息處理水平的重要指標,先進高效的存儲技術能夠高效對各類信息進行有效存儲,保證信息的完整性和安全性,符合時展的要求。
2.4信息處理安全技術
任何一項技術的應用都需要保證其具有一定的安全性,安全性極易受到一系列其他因素的影響,因此計算機信息處理技術也面臨著一定的挑戰,主要體現在數據信息的安全性方面。為了確保數據信息使用全過程的安全性,則需要不斷提高信息處理安全技術水平。并且在信息處理的過程中,進行全面的監測和追蹤,這樣才能確保信息傳輸的穩定性。在數據跟蹤監測的作用下,有助于及時發現其中存在的問題,采取有效的措施及時解決,避免安全風險問題的發生。
2.5信息傳播技術
傳播技術主要指完成用戶信息的收集后,使用數據庫查詢相關數據,將數據傳播至用戶,該項技術的核心為確保用戶能夠閱讀所需內容。但是結合現狀分析,互聯網傳播速率對傳遞信息的類型和體量有一定的影響,所以在計算機信息技術傳播環節,需要使用多種方法保證傳播的準確性和時效性。為用戶提供相關信息時,首先需要了解用戶的要求,結合用戶提供的信息,通過數據庫查找相關數據進行推送,這樣才能夠保證準確找到自己需要的信息。
3大數據時代背景下計算機信息處理技術面臨的機遇和挑戰
3.1面臨的機遇
首先,在數據挖掘方面面臨的機遇。數據發掘指的是對各種數據進行深入分析,了解數據與數據之間的關聯性。數據挖掘的主要流程包括數據準備、規律分析以及規律體現。有助于提供工作的決策水平,尤其是企業在數據挖掘的過程中,能夠及時了解數據信息中存在的問題,通過科學合理的方法解決問題。通過對數據挖掘技術的合理應用,企業管理者能夠準確掌握數據中存在的隱藏信息,例如潛在消費人群等,進而根據實際情況制定科學合理的措施,不斷提高自身的競爭優勢[3]。例如可以使用關鍵詞檢索的方法了解消費群體的習慣和行為,同時通過總結和分析了解其心理趨向,為企業制定相關措施提供重要的參考依據,能夠生產出滿足消費者要求的全新產品。其次,有助于促進物聯網的發展。物聯網是社會發展的必經之路,其融合諸多先進技術,是新興產業發展的重要活力來源,得到了各行各業的廣泛應用。在大數據時代背景下,物聯網技術中形成的產業數量也在不斷增加,例如養老系統也在逐漸趨于完善,手機轉賬等多種便利功能均是大數據的重要成果,并且各項軟件的功能也在不斷趨于完善,這也體現了物聯網對人們生產生活帶來的便利。
3.2面對的挑戰
首先,對信息安全的要求在不斷提高。大數據的時代背景下,計算機得到了普遍的應用,多數用戶都會將數據信息存儲在計算機系統中,同傳統模式中的紙質文件保存存在明顯的差異。但是因為網絡安全問題愈發突出,如果在存儲信息的過程中沒有采取有效的安全措施,則會導致信息被竊取、遺失或者泄露等不良情況發生。用戶在瀏覽相關網頁信息的過程中,如果缺乏對信息真實性的辨別能力,極易為一些不法分子創造可乘之機。進而導致嚴重的財產損失。為了能夠避免上述問題的出現,用戶對信息安全的重視度也在不斷提高,政府也出臺了多項法律法規加強對信息安全的保護。其次,對專業人才的需求越來越高。為了緊跟時展的步伐,計算機信息處理技術對于人才的需求也在不斷提升。在大數據的時代背景下,先進技術需要專業人才對其進行使用,因此對技術性、專業性人才的需求不斷提高,但是培養技術性人才花費的時間較長,所以人才匱乏問題對計算機信息技術發展產生較大的影響[4]。最后,信息篩選工作水平低下。對收集數據進行分析十分重要,通過分析才能夠發揮其真正的功能和價值。在大數據時代背景下,信息數量繁多,類型豐富,其中包含著有價值的信息和無用信息,因此需要對信息進行篩選才能將價值高的信息挖掘出來。但是結合現狀分析,目前數據分析仍存在一定的不足,主要表現在處理速率低下,數據分類缺乏準確性等方面。
4結語
綜上所述,大數據的出現對于計算機信息處理技術的發展具有重要的作用,但是在大數據時代的背景下,計算機信息處理技術也面臨著巨大的機遇和挑戰,現如今人們對計算機信息數據的安全性愈加重視,因此計算機信息處理技術也需要緊跟時展的步伐,不斷優化和完善安全體系,保證信息數據的完整性、安全性和準確性,不斷提高計算機信息處理的水平。
[參考文獻]
[1]劉麗鳳.試論基于大數據視域下計算機信息處理系統的優化設計[J].電腦知識與技術,2020(5):12-13.
[2]錢春燕.“大數據”時代背景下的計算機信息處理技術研究[J].數字化用戶,2019(6):162.
篇7
上海科技網擁有IDC、IP-VPN、ISP、ICP和CPN等互聯網特許經營牌照,并通過了ISO20000信息服務流程管理體系和ISO27001信息安全管理體系,以及信息系統安全等級保護三級。
篇8
大數據生態繁花似錦
近年內,隨著越來越多的設備接入互聯網,當下一年所產生的數據往往是以往數年的總和。而據Global Cloud Index預計,截止至2020年互聯設備數量將達到500億,眾多爆發式增長的設備預計在2017年便會產生高達7.7 ZB的互聯網數據。在這個大背景下,各個機構都積累了足夠多的數據,從而對數據進行分析并產生指導實踐的見解也成為了企業提高競爭力的迫切需求。在這個需求刺激下,開源大數據技術生態圈得到了飛速發展――在數據的整個生命周期中,從收集到處理,一直到數據可視化和儲存,各種開源技術框架林立。
在開源大數據處理上,出于對成本和數據量的考慮,橫向擴展已經必不可少,因此在這個領域涌現出大量優秀的集群計算框架,其中大家首先想到的就是Hadoop。Hadoop天生高貴,由雅虎原工程師Doug Cutting在Google論文的啟發下建立,也是時下生產環境部署最多的計算框架。然而,隨著內存成本的降低和對不同處理類型需求的增加,缺乏對內存有效利用及資源調度粒度的不夠,業內涌現出大量優秀的計算框架并占據一席之地,整個大數據生態繁華似錦。
開源IaaS發展
如上文所述,隨著接入互聯網的設備增多,企業IT基礎設施往往需要承受以往數倍的壓力,從而對原有的資源組織方式提出了嚴峻的挑戰。在這個前提下,云計算得以快速發展并在各行各業落地,更成為許多創業公司的立足之本。而作為云計算的一種重要形式,IaaS服務有各種開源和商業云平臺方案,作為當前最成功的云計算平臺,AWS更是吸引了眾多的關注和模仿,如果說云計算發展到如今的火爆,除了IT技術的發展趨勢,更重要的是背后頂級云計算廠商的大力支持和推廣。我們最早聽到IaaS概念可以追溯到1983年,一家在現在看來非常厲害的公司Sun Microsystems就提出了“網絡是電腦”的概念,但是由于概念太超前,在當時并沒有引起重視。
隨著Amazon推出其彈性云計算,并在IaaS領域大獲成功,Google、微軟、VMware、IBM等IT巨頭們大舉跟進,紛紛涉足云計算領域,云計算的熱潮洶涌而至。在這期間,開源IaaS領域發展同樣迅猛,從最早的Eucalyptus、OpenNebula、CloudStack等到我們熟知的OpenStack,百花齊放,百家爭鳴,一時云計算領域熱鬧非凡。當然,隨著眾多大型廠商的支持、社區的壯大以及生態的不斷完善,OpenStack如今大放異彩,開始逐漸占據主導。不是說OpenStack現在完美無缺,只是在當下的開源IaaS領域,OpenStack已經毫無爭議地成為最受關注的云計算技術,并逐漸成為開源IaaS領域的代名詞。
容器技術異軍突起
Docker,時下最火的容器技術,從誕生到進軍生產環境,每一步的技術演進都受到了巨大的關注。其實,談及容器技術,其實Docker并非首創,早在十數年前,容器技術便已有雛形,但是以Solomon Hykes為首的一幫工程師敏銳的發現了容器技術在云計算領域的巨大潛力,隨后迅速技術轉型,開始投向容器技術并且從一開始就走開源路線,這位身上流著美國與法國的血統,喜歡網咖打電玩,酷愛摩托車的年輕人開始了一段非凡的浪漫之旅。
無論是版本的迭代還是進軍生產環境,Docker這三年來的發展可以說是如魚得水,當然,期間也受到過質疑,比如CoreOS與Docker的標準之爭就在容器圈引起了不大不小的轟動,最后以Solomon和CoreOS的創始人Alex Polvi握手言和告終。之后隨著Docker版本的更新,在網絡和安全、存儲等領域的短板被逐漸補足之后,Docker的集群能力得以完善。
容器引擎領域,雖說有CoreOS團隊開源的rkt項目,但是和Docker相比,在用戶以及社區活躍度方面都有很大差距。容器的編排,可以說在目前Docker領域受到的關注度前所未有,從Mesos到Kubernetes,圍繞兩種技術的編排之爭超乎想象。由于背后都有大批的廠商支持,短期內,這兩種技術都將得到迅速的發展,某一方不會形成壓倒性優勢。另外,從Docker公司的角度,背后的動作也有對編排的考量,綜述所述,容器生態中,圍繞Docker的生態之爭才剛剛開始。
Docker短板補足
生產級實踐備受關注
如上文所述,在Docker版本的更新過程中,自身的一些技術缺陷得到了彌補,Docker在安全、存儲以及網絡領域的短板得到逐步的解決,Docker進軍生產環境已經成為大勢所趨。國外,在Docker應用領域有著比較先進的經驗。國內目前真正將Docker應用在生產領域的很少,其中應用在核心業務的就更少,Docker從誕生到現在,已經3年時間,如果繼續炒作Docker的優越已經毫無意義。當下,開發者們最為關心的是如何讓Docker真正落地,如何在生產環境中使用Docker,急需這個領域有一些第一個吃螃蟹的企業出來分享他們的經驗和教訓。為此,2016 Container峰會聚焦生產級實踐,邀請了在金融、教育、制造、證券等領域已經應用Docker的企業技術負責人到場,給我們談談他們在生產環境中是如何使用Docker的,大規模部署Docker的經驗和跨過的坑。
OpenStack式微?
無可否認,Docker的發展熱度在一定程度上掩蓋了OpenStack的光芒,但是作為開源IaaS領域的首選平臺,IaaS如何和Docker和諧發展,或者如何借勢Docker彌補OpenStack在技術領域的短板,已經成為很多開發者關注的焦點。
篇9
值得一提的是,SAP Ariba和SAP SuccessFactor均源自SAP在云計算領域的收購,前者擅長于供應商管理,后者擅長于人力資源與績效管理。近日,SAP又在云計算領域進行了一個收購,收購了瑞士電子商務平臺供應商Hybris。
孫小群認為,相比甲骨文公司的融合應用,對原有應用進行全部重寫體系龐大,SAP的云計算更容易被客戶所接受。在孫小群看來,SAP云服務并非對傳統管理軟件的取代,實現與原有預置系統的無縫對接是其一大優勢。她舉例說,如果一個公司進行了一些并購,可以通過SAP的SaaS服務使得被并購公司的IT系統與原有系統進行無縫對接。
孫小群認為,當前炙手可熱的大數據應該與云計算結合起來。她說:“大數據處理要解決好三個問題:其一,要解決時間的問題,實現實時的數據分析;其二,要解決距離的問題;其三,要解決好多重數據源的問題。”也就是說,大數據處理要做到“在對的時間找到對的數據,把它傳遞給對的人”。基于此,SAP正在構思將大數據和云計算結合起來的實時云。
為此,不久前SAP了SAP HANA企業云,并宣布SAP所有業務線的云應用最終都將遷移至 SAP HANA云平臺上。“HANA內存計算技術對SAP的云技術來講是如虎添翼。”孫小群說。
或將建立數據中心
孫小群指出,盡管云計算領域熱鬧非凡,但是真正贏利的企業卻很少。她認為,能否做好運營是云業務能否賺錢的關鍵。她指出,自2004年進入云計算領域以來,SAP一直在學習怎么做好運營,目前SAP在Saas方面擁有眾多國際標準,在確保企業數據安全的同時保證實時的服務。然而,說到運營,受政策所限,SAP這樣的外資企業是不允許在我國境內建立數據中心的。為此,微軟近日借助本土企業世紀互聯來落地其公有云Windows Azure成為業界關注的一個焦點。
篇10
紫云1000可以作為企業云計算基礎架構的一部分。“企業不用自己再對各類軟硬件進行集成。”陳煒表示,“客戶使用云計算機就像使用一臺PC一樣方便。與傳統IT系統的部署相比,云計算機的部署時間可以縮短90%。”從各項技術指標看,紫云1000確有過人之處:單臺紫云1000的CPU處理器數量可以從6個擴展至65535個,存儲空間可由20TB擴展到85PB,吞吐量達到1.2GB/s,數據檢索速度達到30億條/秒。紫云1000從架構上區分主要包括兩層:最底層是標準化的硬件,其上是紫光股份擁有自主知識產權的虛擬化模塊、大數據模塊和快速部署模塊。紫云1000作為一個云計算平臺,可以支持各類應用模塊,比如郵件、即時通信、語音系統、個人網盤、數據共享等。
陳煒將紫云1000的特色歸納為以下四個方面:第一,軟硬件一體化,從而大大降低了IT系統的整體擁有成本;第二,具有快速、無限的擴展能力,其分布式的大數據處理架構保證系統可隨客戶數據和業務的增長而實現線性擴展;第三,具有很高的可用性,其元數據服務器采用主備雙機熱備技術,在主機發生故障時,備機可自動接替其工作,而數據節點也采用冗余備份機制,任意一個節點出現故障,數據也不丟失,服務不會停止;第四,具有高效性,數據處理速度非常快,數據可在不同節點之間動態移動,同時保證各節點的動態平衡。
篇11
[6]李衛,李濟漢,張云勇,等.電信運營商云業務發展現狀分析與建議[J].互聯網天地, 2013(3):715.
[7]曲悅.淺談云計算在圖書館建設中的價值及問題[J].價值工程,2012(9):203204.
[8]馬錫坤,于京杰.醫院數據中心存在的問題及對策[J].中國醫學教育技術,2013,4(27):215217.
[9]鄔賀銓.大數據時代的機遇與挑戰[J].信息化參考,2013(2):16.
篇12
2.1大數據的定義及其主要特征
在業內,大數據和其他新興學科一樣還沒有一個統一的定義和界定標準。一般情況下認為:大數據是由一些異構數據所組成的集合,能夠運用較為方便合理的算法及工具從中找出有價值的信息,并為人類帶來社會和經濟效益。它又被稱為海量數據、大資料,這指的是其波及的數據量范圍廣大,以至于在合理時間內根本就沒有辦法通過人工獲取、管理等方式整合成為人類所能明晰、解讀的信息。這些數據來源廣泛,比如監控視頻、網上交易記錄等。盡管還沒有一個統一規范的定義,但大量的這些數據都被稱為大數據。大數據具有如下四個特性:①數據發展速度和處理速度要求快;②大數據的多樣性,其數據來源豐富,格式又包括有多種不同的表現形式,如聲音、視頻、圖片等;③數據的存儲和計算量比較大;④大數據的信息巨大導致其價值密度相對較低,因此要想真正的找到有價值的數據難度較大。
2.2大數據時代下的思維變革
①在利用大數據去解決一些特殊的問題時,能夠處理更多的信息而不再依賴簡單的隨機采樣。②為了分析處理更多的問題,需要對數據泛化,因為在大數據的簡單算法之下有可能比先前復雜的算法更加方便有效。③大數據的背景下,人們更加聚焦于事物之間的相關關系而不是其因果關系。
2.3MapReduce框架
MapReduce是谷歌推出的一種計算編程模型,其主要目的是對龐大的數據進行并行處理。因此,MapReduce就把數據并行處理的任務分解成MAP和REDUCE這兩個核心操作,這種設計理念在一定程度上受到一些編程語言如高階函數的影響。
3大數據處理的關鍵技術
3.1數據備份技術
大數據時代背景下,數據的安全備份工作非常重要。安全備份是數據容災的基礎和前提,是為了預防偶然情況而采取的一種安全保護手段,備份的核心工作是恢復數據,根本目的是數據的再利用。它具體指的是如果出現一些突況從而致使存儲在系統中的數據、文件等丟失或者說損壞的時候,系統能夠準確而迅速的將數據進行恢復。
3.2云計算技術
假如把形式多樣的大數據比作在高速公路上運行的各種汽車,那么這條高速公路就是云計算,云計算是大數據技術的核心內容。正是基于云計算在海量信息儲存、分析以及應用管理等方面的支持,大數據才能夠在社會中廣泛應用。谷歌的各種大數據信息技術和應用平臺就是在云計算的基礎上建立起來的,而其中最為典型的就是以MapReduce(批處理技術)、UFS(UIT云存儲系統)、BigTable(分布式數據庫)為代表的大數據以及在此基礎上建立的數據處理平臺。
3.3Hadoop
在大數據時代背景下,人們對數據的分析、應用和管理都提出了更高的要求,傳統的數據處理技術與關系型數據庫已經不能滿足時代的發展要求。為了能夠給大數據的分析處理提供一個更高、更好、更可靠的平臺,Apache基金會研發了一個開源平臺Hadoop,這個平臺用Java語言編寫,已經發展成為一個包括HBase(分布式數據庫)和HDFS(分布式文件系統)等功能在內的完整系統,成為當下相對主流的大數據應用平臺。
4大數據技術應用所帶來的信息系統的安全隱患以及應對策略
大數據之下,海量的信息數據一般都存儲在一些分布式的網絡節點當中,管理相對混亂和分散,而且系統也沒有辦法獨立掌控用戶交易數據的場所,因此很難分辨用戶是否具有合法的身份標識,這就非常容易致使一些不法客戶肆意竊取、篡改他人信息;另外,大數據存儲系統中含有大量的個人隱私信息及各種數據記錄,在大數據信息的挖掘利用中,怎樣能夠確定一個信息的開放和保護尺度,是當前大數據發展過程中面臨的又一難題。為了充分合理的利用大數據并對一些風險進行預防,在此,我們特提出以下四點建議:①建立健全相關政策,國家需要加強頂層設計,有力的確保數據儲存安全;②積極探索相關技術,加強對個人安全隱私信息的保護力度;③增強計算機防火墻的安全防護能力,有效抵御網絡黑客,確保網絡環境安全;④深化云計算安全領域改革,充分適應信息化的發展要求,確保云端數據安全。
5案例分析-對A公司大數據及其信息管理系統的研究
A公司實施信息化已有多年,每年在信息化方面,都會投入了大量的人力和物力,并已搭建了公司的局域網和廣域網。不過,由于在初期的信息化建設中,公司是以服務支持軟件應用為主,還沒有站在一個更高的角度來開展信息化工作,因此也就沒有真正實現大數據的應用,更沒有制定較為系統的信息化規劃,各信息及系統沒有集成,信息孤島現象嚴重,具體表現為系統中的業務流程尤其是在工程、營銷、生產和財務等環節存在嚴重的斷層現象。此外,由于標準不一,系統沒有整合、較為分散,這就給系統的集成帶來了很大的困難,信息不能共享;數據也缺乏標準化,無論是自行開發,還是從國外市場上買來的即時軟件,一般都不注意數據的標準化,或數據標準自成一體,應用項目上得越多,數據的不一致性就越嚴重;系統開發沒有標準化,A公司在建設信息系統的過程中沒有使用相對一致的開發、應用平臺及工具,不利于降低系統維護成本、技術人員培訓成本等。為了克服這種現象,A公司認識到,要解決這些問題必須對系統進行集成,并建立健全信息化建設的統一標準。為此,A從公司的戰略入手,結合公司的業務發展狀況,深入分析了企業發展對大數據信息化建設的需求。而要配合好這些行動,首先要做的就是建立客戶關系管理系統,記錄客戶信息,使公司擁有一個全面的客戶信息資源庫,包括客戶的基本信息、交易記錄等。其次,通過分析,A公司對所要應用的每一套信息數據系統都提出了詳細的業務需求,通過對比國內外相關的信息系統,在綜合考慮需求滿足程度及成本等因素下,該公司選擇了一套國外的成熟軟件產品進行分步實施。再次,A公司通過對業務流程的分析,從業務的角度提出了企業的信息流程,明確了系統間所需要的的集成關系。為了較好的整合現有及未來的系統,實現信息的集成、共享與流轉,減少手工的干預,A公司提出了信息技術架構及其整合方案,包括應用系統的組成與結構、信息模型、信息和數據在應用系統之間的分布與流向、信息技術標準和規范等。同時,該公司還分析了目前在市場上較為主流的系統集成的技術和產品,在盡量確保現有投資,同時又兼顧未來系統方便集成的原則指導下,該公司選擇了最合適的產品和技術對現有的系統進行分步整合。最后,A公司認為,對信息化的規劃建設來說還有一個十分重要的問題,即大數據在信息系統中的實施及資源配置計劃。只有明確了信息系統建設的時間表和優先順序,才能更好地指導信息系統的實施。因此,A公司在綜合分析了公司的未來戰略、發展方向、業務及系統現狀后,提出了大數據信息系統實施計劃。在該實施計劃中,不僅安排了實施的時間表,還給出了系統實施的大概預算及主要的產品供應商,同時提出系統實施需要注意的主要問題等,為以后幾年的信息數據化網絡建設提供了一個很好的依據和參考。
篇13
1 云計算與大數據概述
云計算是利用計算機的強大運算能力,將待計算的數據分成許多個小部分,然后利用多組服務器對每個部分分別進行計算分析,最后將計算的結果匯總并反饋給企業用戶。云計算處理方式可以使計算機能夠處理數據量很大、結構較為復雜的數據分析,而且使得數據處理的范圍更加廣泛,處理結果更加準確可靠。大數據則是計算機數據采集中常用的一種方法,其主要作用是從海量數據當中快速搜尋對數據分析有價值的信息,并將其保存。鑒于大數據只是一種數據采集方法,如果缺乏對應的數據處理方式,大數據的作用也無法體現出來,所以在此,可以將云計算和大數據相結合。大數據是從海量數據當中采集數據,而云計算則需要大量的數據作為運算基礎,所以云計算與大數據的結合可以使雙方都能充分發揮該有的作用。
2 在線交互平臺存在的問題
2.1 企業用戶驗證及企業用戶信息問題
當前的在線交互平臺的企業用戶驗證體系還不夠完善,在企業用戶進行登陸時需要經過多次驗證,嚴重影響企業用戶的體驗感,而且還會使得企業用戶的賬號安全得不到保障。此外,由于平臺中存在多種應用方式,所以企業用戶信息就會遍布各個應用,而且有許多應用的服務功能相近,這就使得平臺的資源被浪費,企業用戶的體驗感下降,還不便于平臺管理[2]。
2.2 數據類型問題
在線交互平臺的信息類型有許多種,主要可以分為兩大類:結構化信息以及非結構化信息。由于編碼方式或者保存格式的不同,少部分數據會不同于尋常數據,出現異構的現象。而在線交互平臺每天都有著海量的信息交流,這些資源都是通過網絡進行,所以每天會有大量的信息資源,而且是以非結構化數據為主,再附帶著一些異構數據。以當前的數據分析處理技術,無法將這些非結構化數據及異構化數據很好地處理。
2.3 數據缺乏深入分析
隨著在線交互平臺的推廣以及人們見識的不斷增長,企業用戶們對在線交互平臺的要求也越來越高。在線交互平臺一定要根據企業用戶的實際需求對交互平臺的資源以及個性化功能進行調整,使得企業用戶在交互平臺的體驗感不斷提升,這就要求平臺對信息的處理以及數據的分析更加深入。而當前的數據分析還停留在表面,數據分析技術不成熟,許多非結構數據和異構數據并不能得到很好的處理,不利于企業用戶信息的反饋以及企業用戶體驗的優化。
2.4 服務器資源分配不合理
在線交互平臺中有許多個服務器,每個服務器都分配有一定的資源,這些服務器分別負責各個應用模塊的正常運轉。有的應用比較受歡迎,每天的訪問量十分龐大,這就使得對應的服務器的負載很大,嚴重時甚至發生癱瘓;而有的應用比較冷門,每天的訪問量很少,對應的服務器經常空出大部分負載,造成資源浪費,但是由于這些系統是長期開放的,隨時都可能有企業用戶登陸,所以就算在平時很少有人使用,也要開啟服務器,而且需要定期進行維護,增加了維護的成本[3]。
3 應用模型的構建
為了有效解決目前在線交互平臺所存在的問題,提高在線交互質量,特構建在線交互平臺應用模型。該應用模型利用了云計算和大數據,主要由三大部分組成:企業用戶個性化服務層、數據分析處理層以及配套硬件設施層。
3.1 企業用戶個性化服務層
根據不同企業用戶的需求,設置專門的企業用戶個性化服務功能。每個企業用戶都可以對當前的頁面進行個性化設計,便于企業用戶對平臺功能的使用。平臺的服務功能主要有信息管理服務、信息咨詢服務、交互服務等等。平臺會因為每個企業用戶所設計的個性化服務不同而提供不同的內容。對于信息咨詢者而言,在線交互平臺會將企業用戶所咨詢問題的答案及時反饋給企業用戶,包括問題產生的原因、問題的具體解決辦法等。對于在線交流的企業用戶而言,平臺可以為參與企業用戶提供交流的平臺,并配有信息咨詢服務,方便企業用戶在交流過程中遇到問題時可以及時詢問解答。在線交互平臺是信息資源集中的地方,為了便于企業用戶快速查詢信息資源,要盡量保證信息資源具有唯一性,將冗雜信息及時清理,避免重復信息,減輕服務器的負擔,也便于信息資源的及時更新[4]。
3.2 數據分析處理層
在線交互平臺的數據分析處理層主要應用了云計算和大數據技術,支持各種數據的分析處理,包括計算機文件、圖片、視頻短片、地形數據等。經過處理后的數據及時保存在數據庫當中,并定期對數據進行整體更新,實現數據庫與外界實際情況對接,提高數據的實用價值。利用服務器平衡負荷可以有效提高服務器的利用率,擴大在線交互教育平臺的企業用戶容量。將負載較大服務器上的企業用戶轉移一部分到空閑服務器上,讓多個服務器共同分擔負載,既能減輕服務器負擔,提高空閑服務器的利用率,還能縮短在線交互平臺信息反饋的等待響應時間,提升企業用戶的體驗感。
大數據技術在在線交互平臺的應用可以將雜項去除,用各種算法對數據進行分析,并挑選出具有典型特征的數據作為樣本組,為數據的進一步處理做準備。在挑選出樣本組數據之后,利用云計算的方式對數據進行進一步處理,運用相關運算法則,以離線數據作為參考,對當前的樣本組數據進行進一步分析,并將數據及時反饋給平臺。經過進一步分析處理之后的數據可用來制作索引,方便企業用戶查詢。
3.3 配套硬件設施層
利用云計算可以有效解決當前平臺的配套硬件設施管理問題。對這些硬件設施實行統一動態管理,可以提高硬件的使用效率,將資源利用率最大化,并可以提高硬件的實用性和可靠性。當其中某個硬件發生故障時,會有其他硬件暫時代替該硬件的工作,直到維修工作完成。
4 結束語
近年來,網絡技術發展十分迅速,許多在線交互平臺隨之出現。以目前的情況來看,在線交互平臺的應用還存在許多的問題。將云計算和大數據技術應用到在線交互平臺,構建在線交互平臺模型,可以有效解決這些應用問題,并提高平臺的數據處理能力,提升平臺企業用戶的體驗感,為在線交互平臺的普及應用打好基礎。
參考文獻
[1]程學旗,靳小龍,王元卓,等.大數據系統和分析技術綜述[J].軟件學報,2014,25(09):1889-1908.
[2]吳濤,金義富,張子石.云計算時代虛擬學習社區的特征分析――以未來教育空間站為例[J].電化教育研究,2013,34(01):57-61.