引論：我們為您整理了1篇大數據應用論文范文，供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源，期望它們能夠激發您的創作靈感，讓您的文章更具深度。
大數據應用論文:大數據應用的交通管理論文
一、上海市公安交通管理信息化的基本情況與“大數據”應用的初步探索和實踐
（一）數據深度挖掘與預測研究對海量數據進行挖掘，分析、提煉出有價值的信息，一直是交警總隊在常態交通管理中努力和不斷嘗試并力求達到的分析動態化、管理精細化的目標。在交通事故預警方面，我們通過對370余萬條交通事故的地點、人員、車輛等信息分析，每年市、區兩級事故易發或死亡人數較多的“黑點”，由總隊定期督促屬地交警支（大）隊限期整改。針對一段時間內本市欺詐性交通事故（俗稱“碰瓷”）高發的情況，我們建立并不斷補充完善了事故“碰瓷”嫌疑人員和車輛黑名單，通過提前預警、發案比對等方式累計鎖定相關嫌疑人415人，取得了很好的成效。在交通狀況評價方面，我們以道路擁堵程度、交通事故數量為主要評價要素，創新性地將各區（縣）地面道路和快速路的整體交通情況以“指數”的形式分色展現，供業務部門和支（大）隊參考。為掌握全市快速路交通流結構和集散規律，我們利用分布在中環及中環以內快速路上約300個斷面構成的車牌識別系統實時采集流量數據，開展了集散性OD分析的探索，即將全市快速路網劃分成20個“小區”，通過數學建模和車輛信息的跟蹤，展現各“小區”間交通流轉移的時空分布特征，為擁堵成因分析、排堵預案制定等提供參考。在道口安保方面，我們通過對歷史數據的分類統計、比較，研究制定了重大活動安保工作的道口查控方案。2010年上海世博會舉辦前夕，時任市委書記的俞正聲同志在G15沈海高速公路朱橋檢查站現場，對“車駕查控系統”的技術架構、實時運作以及海量數據的采集、分析及應用狀況進行了詳細調研，當即要求我們研發“世博道口通行證管理及不停車安檢系統”。上海世博會期間，該系統累計實時關聯10多個數據庫，核發297.7萬余張通行證，不僅將進滬車輛安全審核檢查關口前移，還通過利用“車駕查控系統”的實時比對功能，既做到了“持證”車輛的快速通行，又實現了“逢疑必查”的目標。世博期間，系統比對命中有關車輛1.5萬余輛次，有效提升了民警的工作效率和打擊度，同時也對預防和緩解全市各道口因安檢引發的大面積擁堵問題起到了積極作用，減少了道口現場安檢壓力及對交通的影響，得到了各級領導和社會的一致肯定。在為“大公安”服務方面，我們嘗試定期將網上追逃人員信息與本市機動車檔案進行關聯比對，篩選出在逃人員可能駕駛的機動車信息，累計抓獲在逃人員329名，探索出了“先由人查車、再由車查人”的信息提煉新方法，取得了很好的實戰效果。
（二）數據可視化隨著各類統計、分析數據的不斷增多，各級領導、基層民警都希望通過直接的“可視化”界面展示各類數據和信息。2009年，我們構建了基于GIS地圖的應用平臺，并將采集或共享的實時路況、“110”交通類報警事件、視頻監控、快速路入口匝道控制、停車場泊位等信息在電子地圖上進行分層次展現，這些實時、動態的信息可按需隨時調閱。2010年上海世博會期間，根據安保工作的需要，我們制作了兩張專題圖。“進滬陸路道口流量專題圖”實時展示當日全市進滬道口的機動車流量、“持進滬通行證”機動車流量、5分鐘進滬流量等信息和道口排隊區、安檢區的視頻監控信息。此外，通過對各道口歷史流量的數據統計，提供流量預警信息。“世博園區管控區周邊道路流量專題圖”除整合了全市快速路、高速公路、地面主干道路的實時路況和快速路匝道開閉狀態等信息外，實時展示當日進出世博管控區的機動車流量、5分鐘流量等。兩張圖的應用，為市公安局“二指”坐鎮指揮的領導以及民警實時掌握交通流量、科學指揮、調配警力等提供了依據，受到了充分肯定。
（三）參與“交通指數”的研究經過多年的建設，上海已經完成市區重要道路的交通流信息的采集，并實現以紅、黃、綠三種顏色代表路況的信息。為使交通參與者、客觀地了解本市道路交通的實時通行狀態，向其提供了量化的擁堵指標。2009年，交警總隊在數據應用上的視野不再僅著眼于自身，而是跨出一步，會同市政府相關部門，將手中的靜態數據和市政府相關部門可共享的動態數據關聯起來。繼參與了榮獲上海市科技進步一等獎的“上海世博智能交通系統關鍵技術及應用”項目研發之后，2011年起，交警總隊積極配合上海市城鄉建設和交通發展研究院（原上海市交通信息中心）研究“道路交通指數”。通過對大量采集的各類交通實時數據、歷史數據進行統計、分析、比較，最終用“道路交通指數”這一數值方式來量化描述道路交通運行狀態，同時結合GIS地圖加以分色、分塊展現，并通過網站、微博、手機APP等向公眾實時，力爭做到既能客觀地評價交通擁堵狀況，又能方便出行者的理解與記憶。
二、與當今“大數據”應用的差距
目前，“大數據”的應用處于發展初期，在我國更是剛剛起步。通過多年的實踐和積極探索，交警總隊“大數據”的應用成效明顯，但我們感到，與當今國內外成功的“大數據”應用相比，我們還存在差距，主要表現在：
（一）在理念和思維上仍存在差距隨著互聯網、云計算、移動互聯等相關智能技術的飛速發展，可以預見，“大數據”陳志康：公安交通管理“大數據”的應用與研究在公安交通管理方面的應用也將愈加廣泛。但與其“4V”（即Volume大量、Velocity高速、Variety多樣、Veracity真實性）特點相比，未來“大數據”的應用與發展絕不是簡單依賴數據采集量的擴大，也不僅僅是服務器性能、數據的簡單擴容或累加，而是對于其中蘊含的理念、思維的轉變和突破。與“小數據”時代相比，“大數據”時代的轉變是多方面的。例如，傳統統計方法追求，但“大數據”只預測宏觀趨勢；傳統的統計、研究關注因果關系，而“大數據”更強調數據之間的關聯等。
（二）在技術和手段上仍較為匱乏就我們目前擁有的各類交通管理數據而言，其體量并不能稱之為“大數據”。如果要同各警種的數據相關聯，與市政府相關部門的數據相融合，將數據的應用轉化為生產力，其所面臨的困境還十分明顯，這也直接反映了我們在技術和手段上的匱乏。2009年，我們便已利用“數據倉庫”技術等當時較為成熟和先進的技術開展交通管理核心數據的深度挖掘，力求為業務部門提供更豐富、有效的統計數據，但受限于傳統關系型數據庫的架構，無論在計算效率還是結果表現上均無法得到“質”的突破。此外，我們對于海量視頻的快速檢索、車輛照片關鍵特征的提取等方面仍缺少高效的手段，使得對于這類非結構化數據的應用、管理仍處于初級階段，對其中蘊含的有深層次應用價值的信息無法加以進一步挖掘。“大數據”的處理流程一般可概括為四個步驟，即“采集、預處理、統計分析、數據挖掘”。其中，“預處理”是當前傳統數據處理中被忽視或被弱化的部分，除了受限于主流的關系型數據庫（如Oracle）、集中式存儲等架構外，還與缺少將非結構化數據（例如視頻、圖片、文本、聲音等）向結構化數據（即可以用二維表結構來表達的行數據，例如存儲在數據庫中的記錄）轉換的有效技術手段有著重要關系。所以，現有的統計分析、數據挖掘等絕大多數針對的是結構化數據（目前僅占所有數據量的10%至20%，其余均為非結構化數據），難以真正體現“大數據”多樣性的特點。
三、今后公安交通管理“大數據”的研究與應用方向
（一）研究和建立“公安交通管理大數據應用平臺”結合市公安局“十三五”信息化建設規劃，研究和建立“公安交通管理大數據應用平臺”。不斷學習研究Hadoop、虛擬化等新技術，構建全新的數據存儲、處理技術架構，不但要使數據的存儲容量更大、運算速度更快、展現形式更豐富，更要突破同類數據的局限，從看似毫不相干的數據之間發現關聯性，真正體現“大數據”的精髓。
（二）滿足數據采集的需求，提升管理水平“大數據”應用的核心是數據挖掘，為公安交通管理中遇到的難點問題提供原因分析依據，但其基礎卻是所采集數據的質量和種類。因此，一是要不斷提高各類交通管理相關基礎信息的采集質量，為后續數據處理奠定堅實的基礎。二是要積極建立與市交通委員會、市保監會等社會相關部門的數據共享機制，擴充與機動車、駕駛人、特定行業管理、道路等相關的數據類型。三是依托高校、科研院所等專業力量進行深入研究，力爭突破圖片、視頻等海量非結構化數據的管理難題，運用有效的數據模型和架構，實現類似結構化數據的統一描述、查詢和處理。四是積極會同市公安局相關部門，在數據層面加強與市公安局“警綜平臺”“情報綜合研判實戰平臺”“視頻監控平臺”“治安卡口信息綜合管理平臺”等的對接，為公安交通信息研判分析提供支撐。
（三）抓住重點，突破四個階段的核心技術應用“瓶頸”我們要選擇合適的軟件、工具，真正將數據轉化為信息，并提煉出有價值的信息。在數據采集方面，重點解決高并發數的訪問、操作問題，使服務器、數據庫負載均衡并分片處理。在預處理階段，重點做好“生產庫”向“資源庫”的轉移和數據清洗等工作，滿足后續數據處理的實時計算需求。在統計分析階段，要在了解業務需求的基礎上，著重在不同數據的“關聯性”上下工夫，找到規律。在數據挖掘階段，要力爭實現數據從“事后統計”到“事前預測”的突破。
（四）以管理為中心、應用為導向，建立配套的專業隊伍和管理機制“大數據”的決策不能僅憑經驗，而真正要“拿數據說話”，從深層次看，還需要建立科學的、與之相適應的管理機制。同時，“大數據”的研究、建設、運行、維護、應用等每個環節都需要由會技術、善管理、懂業務的復合型專業人員來承擔。“大數據”時代才剛拉開序幕，目前，其許多技術瓶頸尚未取得突破，數據共享絕非易事，數據安全、共享和隱私保護等方面缺乏法律保護，配套的管理和運作機制尚未形成。但是，“大數據”作為生產力，隨著其不斷發展、應用，必將對公安交通管理工作產生深遠的影響，有力地推動各項業務工作向更高的層次發展。
作者：陳志康單位：上海市公安局交通警察總隊
大數據應用論文:大數據時代的職校計算機應用論文
一、大數據時代對學生計算機應用能力的要求
在大數據時代環境下，信息的獲取和選擇、信息技術的掌握應用，直接影響知識的生產、科技的創新和成果的轉化。大數據時代對高校的教學、學生的計算機應用能力提出了新的要求。產業界需求與關注點發生了重大轉變，企業關注的重點轉向數據，計算機行業正在轉變為真正的信息行業，從追求計算速度轉變為關注大數據處理能力，軟件也將從編程為主轉變為以數據為中心。學生要學會對數據的去冗分類、去粗取精，從數據中挖掘知識，要能夠把大數據變成小數據，要在不明顯增加采集成本的條件下盡可能提高數據的采集質量。要研究如何科學合理地抽樣采集數據，減少不必要的數據采集。
二、大數據時代背景下的教學策略
（一）營造適合學生發展的軟硬件環境信息時代的發展使得高職院校圖書館和數據中心具備了大數據的特征。科學研究和科技創新越來越依賴于對數據的管理和利用，打造良好、適宜的軟硬件環境是提高職業院校學生信息素養的基礎。目前互聯網技術及應用普及度較高，建設智慧校園可為學生提供更多的接觸信息資源的機會。加強高職院校數據中心和網絡中心的建設力度，在依托傳統圖書館文獻存儲量的基礎上，增加館藏圖文電子數據、電子文獻與多媒體文獻，打造信息化圖書館，為學生提供多元化的信息資源與服務。加強校園社交網絡平臺的建設，利用微信等新型傳播媒介，采用主動推送的方式傳遞正能量，提供有益于學生健康成長的信息，監控、屏蔽不良信息的傳播，過濾影響學生身心健康的不良信息，構建適合高職院校學生學習的良好環境。
（二）發揮數字化圖書館在教育過程中的核心作用數字化圖書館的建設是圖書館業今后發展的主要方向。數字化圖書館也是一個科技含量較高的系統工程，高職院校各級領導應正確認識，加強資金投入，充分發揮其對教育過程的支持作用。數字化圖書館的典型特征是存儲數字化、操作計算機化、傳遞信息網絡化、信息存儲自由化和結構連接化，可與高職院校的基礎建設可以同步推進。在建設與發展過程中，教師要積極引導學生充分利用數字化信息資源。學生在使用數字化圖書館的過程中會產生一系列的行為特征數據。通過對學學習路徑和學習偏好的數據分析，根據其特點與實際量身設計合理的信息資源智慧導航，從而為學生學習新技術、新知識提供個性化的服務。
（三）加強學生創新能力的培養在知識經濟時代，創新決定著一個國家和民族的綜合實力和核心競爭力。培養具有創新能力、實踐能力的高素質技能人才，是高職院校人才培養的一個重點方向，也是高職辦學的特色及亮點。創新能力培養的關鍵是創新思維的培養，而創新思維的核心在于思維的獨特性和新穎性。在大數據時代，學生面臨眾多數據資源。教師需要對學生提供專業的指導，讓學生學會利用互聯網技術和計算機軟件工具解決實際問題，在解決問題的過程中培養創新思維。高職院校應努力營造創新教育環境，結合創新教育，大力推進素質教育。將“小發明、小創造”“大學生實踐技能展演”“大學生才藝展示”等活動納入校園文化活動中。組織學生參加各行業舉辦的職業技能大賽，實現從應試教育向素質教育的轉軌，培養實用型、創新型的復合技能人才。充分重視學生的個性發展，建立專業的師資隊伍對學生的創造發明活動給予強有力的技術指導。對于技術含量高的、有市場推廣價值的創造發明活動，要引導學生進行自主創業，帶動就業。加大創新教育課程的開發與建設力度，強化學生創新能力的培養。
（四）培養學生對信息技術的興趣與愛好興趣是好的老師，是激發學生學習積極性的動力，是激發創新能力的必要條件。學生只有對身邊的事物發生了興趣，才會活躍思維，激發潛力。在課程設計中加入了生動、形象、貼近工作、貼近生活的典型案例，可以有效地激發學生的學習興趣，讓學生樂在其中，愉快地完成學習任務。教學實踐環節也應緊密圍繞著學生熟悉的事物、案例來開展教學。授課教師應了解信息技術在行業的實際應用狀況，根據不同專業的特點，結合學生，的知識體系結構精心準備授課內容，確定課程的重難點。在教學過程中，通過師生互動了解學生對課程內容的掌握程度，因材施教、精選案例、突出重點，從培養學生興趣與愛好入手，讓學生在輕松、愉悅的課堂教學中學習信息技術在專業領域的近期應用，了解近期的前沿學科理念，學握較新的實用技術。教師如果在教學活動中能及時、地解決學生在學習實踐中遇到的疑難，并指導他們完成實訓內容，將有助于學生在學習過程中獲得成就感，激發學習的積極性、主動性和創造性。教師動手實踐能力將使得更多的學生得到有效指導和幫助，實現高質量的課堂教學。
（五）探索高效教學模式根據高職人才培養目標的要求，計算機課程的教學需要與時俱進，隨著各行業大數據產業的不斷發展與應用而不斷進行調整、創新。通過對學生在校期間學習、生活的軌跡進行搜集、整理，形成基礎數據，進而分析他們的學習行為、學習喜好和思維模式，制定適合他們發展的教學方法，有針對性地培養和提高他們的計算機應用能力。利用各種輔助軟件，開展行之有效的教學實踐活動，讓學生在“做中學，學中做”。提高各專業學生的計算機應用操作能力，使他們掌握互聯網技術、計算機信息技術、電子商務等。以醫學影像技術專業為例，學生既要學會影像閱片操作，又要掌握近期的X線機、CT、MRI等先進檢查設備的使用與操作。如果能夠將醫學影像技術專業與計算機應用實踐教學相結合，找出兩者的學科交叉點，構建適合時展需要的復合型人才培養模式，將會起到事半功倍的作用。在大數據的背景下，各行各業都需要利用信息技術，特別是數據庫技術、大數據分析技術，用以改變生產、經營、管理、工作、生活等的方式。因此各專業的畢業生都面臨著行業對大數據的使用與開發的迫切需求。培養學生解決問題的實際操作能力，顯得尤為重要。在專業課程的教學中，通過對大數據的應用與計算機應用技術的滲透，不但能激發學生學習專業技能的積極性，而且可以引導學生形成應用計算機解決專業問題的思維模式，對他們將來適應大數據環境下工作具有積極的引導意義。以專業培養目標為基礎，合理對計算機課程進行設置與安排教學，將大數據知識、信息技術知識、計算機應用知識融入到各課程的教學中，構建適合高職類學生學習特點的高效教學模式。
（六）加強師資隊伍建設加強師資隊伍建設是提高學生計算機應用能力的關鍵。計算機應用基礎課程的教師，首先應該是計算機應用方面的專家，既能掌握扎實的理論基礎知識，又能熟練地操作計算機，善于使用相關行業軟件。在教學中能夠起到良好的操作示范作用，給予學生無形的感染力和號召力，增強學習的主動性與積極性。在實踐教學過程中，計算機任課教師不僅要與專業課教師緊密合作，整合校內已有的專業資源和信息技術資源，充分利用好大數據，而且要與行業、企業加強聯系，采取走出去、引進來的方式，讓學生在校期間就能充分接觸各種面向實際應用的信息技術產品與工具。學校要制定行之有效的師資隊伍培養計劃，緊密結合企業、行業的實際需求，建設“雙師型”教師隊伍，加強現代信息技術應用能力培訓。教師應深入企業、行業，了解企業人才需求，了解企業使用的近期應用軟件動態與進展，充分利用好企業、行業大數據資源的研究近期成果，更新知識結構，提高實踐操作水平。
大數據時代是信息化社會發展的必然趨勢。高職院校在教學實踐中要跟隨時展的潮流，在教學思想、教育理念上做出迅速調整，并跟進制定適合學生發展的計算機應用能力培養實施方案，有效提高學生的計算機應用能力，增強就業競爭優勢，滿足行業、企業及社會對復合型職業技能人才的需要。
作者：馮橋華單位：安順職業技術學院招生與就業指導處
大數據應用論文:大數據應用物流企業論文
一、物流行業大數據的特點
物流行業的大數據，可以從多個維度進行解構：結構化數據、半結構化數據、非結構化數據（劉禹，2013；ElenaGeaninaUlaruetal.,2012）。物流行業的大數據既包括存儲在數據庫里的結構化數據，也包括日志文件、XML文檔、JSON文檔和電子郵件等半結構化數據，而更多的數據類型是辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等非結構化數據，半機構化、非結構化數據約占大數據總量75%-85%。內部數據與外部數據。物流企業的大數據既有來自企業經營的內部交易數據、CRM數據，也有來自其他數據源的外部數據。物流企業的大數據兼具公共、私密二重屬性。外部數據的公共性特征比較明顯，而內部數據由于和行業標準和商業機密密切相關，因而具有私密性。與數據結構的多維特征相對應，物流企業大數據的格式也是多樣的。除了傳統的紙質文件、檔案、報表、表格、記錄、信函等之外，更多的是以數字數據存在的Web文本、視頻、短信、音頻、視頻、郵件，存儲信息、配置文件、符號、圖片、檔案等。數據格式的多樣性和互不兼容、數據訪問的隨機性，為數據的采集、存儲、分析、應用帶來了困難。
二、物流行業大數據的應用特征
（一）大數據的應用潛力巨大
在大數據概念興起之前，企業主要借助內部數據、結構化數據進行決策。商業智能（BI）技術的應用似乎將企業帶入了“智慧世界”，但BI仍然對外部數據、非結構化數據無能為力，沒有“走完一公里”，無法有效滿足決策需求。在大數據時代，企業的外部數據權重急劇上升，決策價值越來越突出，這意味著僅僅依據占數據總量15%左右的結構化數據進行決策越來越失之偏頗（T.K.Dasetal.,2013），物流企業決策者駕馭業務的戰情數位儀表盤其實是殘缺的。事實上，一些沿襲原來的IT解決方案的物流企業，普遍遇到數據處理系統擴展困難、處理時間長、傳輸效率低、成本過高的問題（ElenaGeaninaUlaruetal.,2012）。大數據應用技術就是能夠妥善解決這些問題的性價比比較高的數據計算與存儲方式。據ICT研究機構CCWRE-SEARCH的研究結論（2012年），無論是從信息技術應用的契合度還是從短期內投資大數據的可能性進行測度，物流行業都具有大數據應用技術推廣的優越條件。但他們同時還指出，雖然物流行業對“大數據”概念的知曉率為91.8%，但究其應用而言，總體上還處于“認知”階段，這意味著大數據在物流行業應有較大的應用潛力。
（二）大數據的供應鏈特征明顯
物流行業大數據的應用正越來越呈現出供應鏈特征。這個“數據供應鏈”，存在著數據收集、數據處理、數據分析、數據價值提取、數據價值消費等多個環節（HsinchunChenetal.,2012），參與者包括原始數據提供者、數據收集者、數據平臺商、數據應用技術開發者、數據服務提供者、數據產業投資者，數據價值消費者等多個主體。就物流企業而言，在這個數據供應鏈中，可以承擔多重角色：既可以是原始數據供應者（主要是內部數據、結構化數據），也可以是數據產業投資者、數據價值消費者。實力雄厚者甚至可以向其他角色拓展，具有的數據供應鏈整合能力的企業將會贏得較大競爭優勢。圖1給出了物流行業數據供應鏈的簡化模型，并借用MichaelPorter的五力分析模型對數據供應鏈各個環節的競爭態勢進行了分析。
三、大數據應用對物流企業競爭力的影響
（一）大數據應用影響物流企業競爭力的機制
圖2給出物流企業競爭力影響因素的分析框架（王海燕，2012；靜濤，2010）。物流企業的競爭力影響因素涵蓋環境、資源、能力三個方面，其中環境要素可以進一步細化為：行業經濟發展水平、宏觀調控、社會人文、物流技術等；資源要素可進一步細化為物質資源和無形資源等；能力要素可細化為戰略決策能力、運營管理能力、市場營銷能力、品牌管理能力、創新發展能力等（張莉，2012）。這里以前文論述為基礎，分析大數據應用對物流企業競爭力提升的影響機制，如圖3所示：大數據通過影響物流企業競爭力的環境、資源、能力三個要素，提升其競爭力，而物流企業競爭力的提升則表現為快速反應、穩定、靈活性和彈性提升，顧客滿意度提升，經濟效益提高等等（ElenaGeaninaUlaruetal.,2012）。
（二）大數據應用提升物流企業競爭力分析
在物流企業競爭力三個影響因素中，環境因素是外部、不可控要素，資源和能力屬于內部要素、可控要素，因此，這里重點分析大數據在物流企業的應用對兩個要素的影響及其表現。1.對資源要素的影響。大數據時代，數據被許多人士比作“新型石油”，日漸成為一種戰略性資源和企業的核心資產。大數據及其所承載的知識和信息作為一種具有戰略價值的經濟資源，通過參與企業的經濟活動和營運過程，正在充分地發揮其獨特的整合效應，促進物流企業提高組織效率、降低成本、創新服務、維系良好的品牌形象和客戶關系、增進經濟效益等。其作用機制如下：及時，盤活物流企業的人力資本。在大數據日益進行著滲透性應用的背景下，將推動人力資源決策由“經驗+感覺”模式向“事實+數據”模式轉型，人才測評和任職匹配將更高效、更精準；處于休眠狀態的企業內部營運數據將被喚醒，培訓需求的甄別將更便利。過程數據和結果數據的空前豐富使得“過程+結果”的績效考核方式將更容易導入，對績效輔導和績效提升更有利。第二，直接增加物流企業的結構資本。大數據應用技術將推動物流企業的組織結構的進一步優化，與戰略的匹配度更高，組織內外信息流動更順暢，協調機制更完善，內部溝通更“智慧”，資源管控和利用率水平更高，對市場機會和環境變化的動態適應能力更強。不僅如此，對物流企業信息技術的升級應用、知識產權的保護、品牌推廣和商譽提升也將產生巨大影響。這些都會直接增加企業的結構資本。第三，為企業贏得更多關系資本。在企業內部溝通更舒暢、更外向的情況下，面向客戶的、創新型的共有價值觀更容易形成和維護，員工所期望的個性化關懷更容易實現，這將推動物流企業的文化建設。同時，大數據的應用還將推動物流企業創新業務模式，主動采用整合傳播，提升品牌美譽度，更好地開展公共關系。物流企業在推行個性化定制化服務、高效的商業伙伴和顧客關系管理會更主動，這些都會為物流企業贏得關系資本。2.對能力要素的影響。及時，提升物流企業的戰略管理、戰略決策能力。大數據的應用有利于企業推行數據驅動的敏捷決策，從長遠來看，還會推動企業組織架構和業務流程的變革，企業決策權力的配置將更合理，決策的制度化、流程化程度更高，決策更公開、透明、精準、有效、可追溯。基于數據的決策有助于消弭主觀偏見和思維定勢的消極影響，提升企業的戰略洞察力，把握行業發展的新趨勢，抓住戰略性投資機會。在物流企業競爭力的變現越來越取決于供應鏈的整體效能的背景之下，物流企業還可以在確保顧客隱私和商業機密的前提下，通過與供應鏈上各合作伙伴的數據共享、交換或者交易，動態檢測行業趨勢、聚焦優先目標、優化服務組合、避免無端浪費、探索全新的業務模式等。第二，增強物流企業的運作管理能力。大數據的應用可以提升企業業務營運的可視化程度，推動知識和信息在組織內部的共享；掌控企業各項資源的運行情況，比如人員的作業狀況，設備運作狀況，車輛的位置、時間、速度、性能等，有利于企業高效調度各項資源，提升運作效率。以快遞企業為例，大數據的應用可以為企業滿足個性化訂單、開展定制化服務、實施彈性配送等提供技術支撐。它們可以在業務營運的特殊時期，比如“雙11”到來之前，基于大數據的分析，適時調配物流資源，實現業務營運的主動性、前置性，提升配送運作效率和顧客滿意度。第三，拓展物流企業的市場營銷能力。大數據應用技術有助于提升市場研究的效率，有關顧客偏好、情緒、消費體驗等真實信息將更容易取得，有利于對目標客戶的細分、重點客戶和高價值客戶高效篩選（徐藝欣，2013）。大數據所承載的有關資源、成本、服務、定價等即時性關鍵信息，有助于企業動態監測市場動態，有效率開展競爭，更好地贏得客戶，增加市場份額。在物流服務營銷方面，可以實施針對高價值的顧客的精準營銷、廣告的精準投放、廣告或者促銷效果的精準測定等（胡玉萍，2011）。大數據應用技術還有利于物流企業擺脫繁雜的中間環節、傳統的營銷模塊式營銷組織的依賴，極大地降低營銷成本。第四，提升物流企業的品牌管理能力。物流企業可以有效利用大數據技術進行輿情監控、品牌健康度動態監測、品牌聲譽管理，高效監控可能有損品牌形象和企業聲譽的負面信息，有效應對惡意炒作或商業欺詐、從容地進行危機管理（ChrisSnijdersetal.,2012）。另一方面，可以通過口碑營銷在較低成本的投入情況下擴大品牌影響力。第五，增強物流企業顧客管理和客戶關系維護能力。企業可以根據大數據所承載的信息與顧客進行深度溝通，改善顧客體驗，取得他們對本企業、競爭對手物流服務的真實評價，有效應對競爭壓力，提高快速響應能力，培育顧客粘性和忠誠度，通過建立穩定的忠實客戶群，實現客戶價值的鏈式反應增值，支撐企業長期、穩定、高速、可預期的發展。第六，增進企業創新發展能力。大數據應用有助于企業建立廣泛的外部合作伙伴網絡，推進整體創新戰略，將問題的“搜索者”和“創意者”、“解決者”結合在一起，為合作創新機制的建立提供了動力源泉（MerjaMahrtetal.,2013）。大數據的較大價值在于從海量數據中發現新知識，創造新價值，其中的重要體現就在于有助于推動業務模式的創新，比如物流企業在條件成熟時就可以通過數據交易、數據應用輔導等業務獲取經濟利益、提升競爭優勢。
四、物流企業推動大數據應用的思路
物流企業應抓住大數據所帶來的機遇，主動借力大數據提升企業競爭力（閆成印，2012）。本文推出涵蓋戰略（Strategy）、領導（Leadership）、流程（Process）、技能（Skill）、人員（Personnel）的（SLPSP）模式。戰略（S）：建立數據資產管理戰略，作為物流企業總體戰略的一部分，圍繞“資源管控”和“服務優化”兩個基本命題，在企業整體戰略中要有大數據應用的總體方案。這一方案既要著眼企業的實際情況，又要有長遠的規劃，在軟件和硬件投入方面都要有指導性的日程表安排。在保障機制方面，還要通過有效的“頂層設計”打破組織壁壘，促進數據資產的溝通、融合。領導（L）：大數據的應用是“一把手”工程，領導的重視是成敗的關鍵。企業領導層應主動變革思維模式，進行實質性的資源投入支持大數據技術的深入應用。摒棄那種僅僅用數據來粉飾決策、支撐既有觀點的做法，從戰略高度對數據資產的價值進行再思考、再認識，把大數據的應用、云計算等作為戰略實施的有力推手，而不僅僅是將其視為傳統IT管理的一個方面。流程（P）：優化數據資產管理和大數據應用的流程。在數據的收集和處理方面，要做好整合，認真發掘組織內部的“休眠數據”并認真評估其價值，同時要高度重視外部數據對企業的戰略價值，推動企業內部的數據處理系統與合作伙伴的相關系統的集成，實現順暢的數據交換和信息交流。在數據的存儲與處理方面，優化企業的IT的服務器、存儲設備和網絡設備，引入能與硬件設施設備無縫對接、合乎大數據應用需求的數據管理和分析軟件，必要時要借力基于開發架構的、具有靈活的擴展能力、性能的第三方平臺（姚堯，2013）。不斷深化大數據的應用，實現人、機、系統等要素的有機化。技能（S）：促進大數據應用技術在組織內的擴散，并內化為組織整體技能。推動員工熟悉數據驅動決策下的業務運作，將數據應用視為業務營運的工具和助手。采取措施推動員工數據應用技能的持續進步，促進企業決策者、管理者、業務人員和數據工程師基于數據分析和數據應用的溝通、共享、協同，消除“數據孤島”現象。人員（P）：有計劃地培養大數據應用的專業人員。這些專業人士應成為“數據工程師”，兼具數學知識、IT技能、業務知識，并能夠作為大數據應用的“先鋒”，引領企業跨越“數據鴻溝”，并能提供專業的數據應用技術服務。
作者：魏繼華單位：河南交通職業技術學院
大數據應用論文:大數據應用技術和潛在問題研究
大數據應用的技術體系
1.云計算及其編程模型MapReduce
1)云計算簡述:大約從2007年下半年開始,云計算由于其能提供靈活動態的IT平臺,服務質量保障的計算環境以及可配置的軟件服務而成為熱門話題。文獻中給出了云計算的比較完整的定義:云計算一個大規模的由規模經濟驅動的分布式模型,位于其中的抽象的、虛擬的、動態可擴展的、可管理的計算能源、存儲、平臺、服務等通過因特網交付給外圍客戶。由上述云計算的定義我們知道,云計算首先得是大規模的、分布式的,少量的計算處理用不著云計算;其次,它是跟規模經濟相關聯的,比較形象的說法是,云計算資源跟“電”和“水”一樣,是按需收費的,并且是大規模式銷售的,通常在建立數據中心時會考慮成本因素;,它從廣義上說是給客戶的一種服務,可以包括提供存儲、計算等資源。云計算可以按服務的內容和交付形式分為基礎設施即服務(IaaS)、平臺即服務(PaaS)、軟件即服務(SaaS)等。在單機芯片集成度已進入極小尺度級別,指令級并行度提升也已接近極限的今天,縱向擴展似乎已經不夠現實,這也遠遠不能滿足大數據處理的要求,而云計算的要求比較寬松的允許異構網絡的橫向擴展,無疑給大數據處理帶來了方便。云計算能為大數據提供強大的存儲和計算能力,可以迅速、方便地為大數據提供服務,另一方面,大數據的處理需求也為云計算提供了更多更好地應用場景。由此,云計算作為大數據的支撐技術而倍受業界關注。
2)MapReduce簡述:關系數據庫作為一門發展了近40年的主流數據管理技術,主要用于聯機事務處理(OLTP)應用、聯機分析處理(OLAP)應用和數據倉庫等,然而擴展性方面的局限使得其在大數據時代遇到了極大障礙。2004年,谷歌公司提出的MapReduce技術,以其利用大規模廉價服務器以達到并行處理大數據的目的而倍受學術界和工業界的關注,廣泛應用于機器學習、數據挖掘等諸多領域。基于MapReduce的大數據分析處理研究也在不斷深入,MapReduce作為一種非關系數據庫的數據管理工具代表,克服了關系數據庫擴展性方面的不足,將計算推向數據也迎合了大數據時代的內在需要,成為大數據處理的基本工具。而Hadoop作為模仿MapReduce而實現的一個云計算開源平臺,目前已成為最為流行的大數據處理平臺。MapReduce對于大數據處理的基本構思是分而治之,將大數據任務分解為多個子任務,將得到的各個子結果組合并成為最終結果。MapReduce對大數據的處理可抽象為兩個主要階段,Map階段對初始的鍵-值(Key/Value)對進行處理,產生一系列的中間結果Key/Value對,然后通過Reduce階段合并所有具有相同Key值的Key/Value對,得到最終結果。MapReduce對數據進行處理的應用思路如圖2所示。
2.大數據獲取技術
每天都有大量數據產生,并且這些數據通過不同的途徑,以不同的形式被接收和記錄。本節將簡單介紹幾種常見的大數據獲取途徑。
(1)傳感器技術:近年來,傳感器技術蓬勃發展,無論是道路交通方面,還是醫療機構方面甚至是個人工作和生活場所,傳感器無處不在,大量的數據源源不斷地被傳感器所接收。可以說,傳感器的迅速普及,為大數據的獲取提供了有力地保障。傳感器技術的快速發展,也促進了傳感器網絡的逐步完善。由于構建傳感器網絡的設備、數據收集、數據存儲等方面的差異性,網絡孤島普遍存在,如何解決異構網絡所帶來的數據共享問題一度成為研究者們面臨的極大挑戰。不過隨后美國國家技術標準局(NIST)和IEEE共同組織了關于制訂智能傳感器接口和連接網絡通用標準的研討會,產生了IEEE1451傳感器/執行器、智能變送器接口標準協議族,試圖解決傳感器市場上總線不兼容的問題。2005年,開放地理空間聯盟(OGC)提出了一種新型的傳感器Web整合框架標準,讓用戶能透過Web的界面來進行節點搜尋、數據獲取及節點控制功能。文獻[12]對無線傳感器網路的路由協議進行了研究,指出多路徑路由發展的趨勢和挑戰,而文獻[13]則從生物學、商業、環境、醫療、工業以及軍事等領域探討無線傳感器的重要用途。
(2)Web2.0技術:“Web2.0”的概念2004年始于出版社經營者O'Reilly和MediaLiveInternational之間的一場頭腦風暴論壇,所謂的Web2.0是指互聯網上的每一個用戶的身份由單純的“讀者”進化為了“作者”以及“共同建設人員”,由被動地接收互聯網信息向主動創造互聯網信息發展。Web2.0伴隨著博客、百科全書以及社交網絡等多種應用技術的發展,大量的網頁點擊與交流促使了大數據的形成,給人類日常生活方式帶來了極大的變革。
(3)條形碼技術:條形碼的使用給零售業帶來了革命性的改變,通過內嵌ID等信息,條形碼在被掃描之后,快速在數據庫中進行ID匹配,便很快就獲知該產品的價格、性能、產商等具體信息,條形碼被廣泛應用于零售商店的收銀以及車站售票等業務中,每天大量的商品銷售記錄通過掃描條形碼而產生。近年來的智能手機的盛行,手機應用如微信中的二維條形碼也隨處可見,文獻[14]中設計了一種應用于手機應用的彩色二維條形碼,改善了用戶對應用程序的感受。
(4)RFID技術:RFID與條形碼相比,擴展了操作距離,且標簽的使用比條形碼容易,攜帶一個可移動的閱讀器便可收集到標簽的信息,被廣泛應用于倉庫管理和清單控制方面。RFID標簽可以分為兩類,一類是被動的,如今被廣泛使用,其造價便宜,但是沒有內部電源,依靠閱讀器的射頻波產生能量,操作距離也很近,因而其適用性也受到了制約;另一類是主動的,其擁有內部電源,因此造價較貴,但是操作距離遠,存儲能力強,因而適用范圍廣,在未來這種標簽會受到普遍歡迎的。學術界在RFID技術的研究上已經取得巨大的進步。較早的工作重心大多集中在對標簽進行搜集的問題上,即盡可能快地在大量標簽中搜集他們的ID,而這方面較大的挑戰是解決多標簽同時競爭較窄的信道引起沖突的問題。研究者們提出了兩類解決思路,即基于ALOHA的協議[15-17]和基于樹的協議[18-20]。而其他的工作專注于標簽評估問題,即使用統計學的方法來評估一個龐大系統中的標簽數目[21-23]。總之,RFID由于具有操作范圍廣泛、性能穩定以及高存儲能力等特性,在工業界中將具有巨大的潛力。
(5)移動終端技術:隨著科學技術的發展,移動終端諸如手機、筆記本、平板電腦等隨處可見,加上網絡的寬帶化發展以及集成電路的升級,人類已經步入了真正的移動信息時代。如今的移動終端已經擁有極強的處理能力,通信、定位以及掃描功能應有盡有,大量的移動軟件程序被開發并應用,人們無時無刻不在接收和發送信息。目前,智能手機等移動設備的數量仍然在迅猛增長中,移動社交網絡也會日益龐大和復雜,海量的數據穿梭其中,針對移動數據的處理也將越來越復雜。
3.文件系統
文件系統是支撐上層應用的基礎,本小節將簡要介紹面向大數據處理的文件系統如谷歌分布式文件系統(GFS),以及一些其他的分布式文件系統。
1)分布式文件系統GFS:谷歌自行開發的文件系統GFS[24],是一個基于分布式集群的大型的分布式文件系統,它為MapReduce計算框架提供底層數據存儲和數據性。GFS采用廉價普通磁盤,并把磁盤數據出錯視為常態,其自動多數據備份存儲也增加了性。GFS基本構架中,GFSMaster保存了GFS文件系統的3種元數據:命名空間、Chunk與文件名的映射表、Chunk副本的位置信息,前兩個數據通過，！操作日志提供容錯處理能力,第3個數據存儲在ChunkServer上,可在Master失效時快速恢復Master上的元數據;GFSChunkServer是用來保存大量實際數據的數據服務器。GFS基本工作過程如下:(1)在程序運行前,數據已經存儲在GFS文件系統中,程序執行時應用程序會告訴GFSServer所要訪問的文件名或者數據塊索引是什么。(2)GFSServer根據文件名和數據塊索引在其文件目錄空間中查找和定位該文件或數據塊,并將這些位置信息回送給應用程序。(3)應用程序根據GFSServer返回的具體Chunk數據塊位置信息,直接訪問相應的ChunkServer。(4)應用程序直接讀取指定位置的數據進行計算處理。后來谷歌對GFS進行了改進,并對新版本命名為Colosuss,主要對原有的單點故障、海量小文件存儲等諸多問題進行了修正和改進,使得系統更加安全和健壯。
2)其他文件系統:除了谷歌的GFS,業界其他針對大數據存儲需求的文件系統也層出不窮。Hadoop的文件系統HDFS[25]作為模仿GFS的開源實現,同樣也為Hadoop的底層數據存儲支撐,提供數據的高性和容錯能力,擁有良好的擴展性和高速數據訪問性;SUN公司開發的Lustre[26]是一個大規模的、安全的、具備高可用性的開源集群文件系統,美國能源部在此基礎上實現了新一代的集群系統,顯著提高了輸入輸出速度,已在高校、國家實驗室和超級計算研究中心產生了深遠影響;Facebook推出的針對海量小文件的文件系統Haystack[27]有效地解決了海量圖片存儲問題,它實現多個邏輯文件共享一個物理文件功能,并且增加緩存層,部分元數據直接被加載到了內存。
4.數據庫系統
1)上在索引、數據壓縮、可視化等技術方面的不斷擴展,使其具有了高性能的優勢。但是諸多因素導致了其擴展性面臨嚴峻的挑戰,主要體現在:(1)單機方面,并行數據庫基于高端硬件設計,認為查詢失敗是特例且糾錯復雜,不符合大規模集群失效常態的特性;(2)集群方面,并行數據庫對異構網絡支持有限,各節點性能不均,容易引起“木桶效應”。總之,并行數據庫的擴展性方面的缺陷使其面臨大數據的處理往往力不從心。
2)MapReduce分布式數據庫BigTable:由前述知,并行數據庫由于擴展性方面的缺陷無法勝任大數據的處理工作,以谷歌公司推出的BigTable為代表的未采用關系模型的NoSQL(NotonlySQL)數據庫由此誕生,NoSQL數據庫具有模式自由、簡易備份、接口簡單和支持海量數據等特性,對于大數據的存儲和處理十分有效。谷歌在GFS之上又設計了MapReduce的分布式數據庫BigTable[28],為應用程序提供了比單純地文件系統更方便、更高層的數據操作能力,BigTable提供了一定粒度的結構化數據操作能力,主要解決一些大型媒體數據(Web文檔、圖片等)的結構化存儲問題。BigTable主要是一個分布式多維表,表中數據通過行關鍵字、列關鍵字和時間戳來進行索引和查詢定位,并且BigTable對存儲在表中的數據不做任何解釋,一律視為字串,具體數據結構的實現由用戶自行定義。BigTable的基本構架如圖3所示,BigTable中的數據均以子表形式保存在子表服務器上,最終以GFS文件形式存儲在GFS文件系統中。客戶端程序直接和子表服務器通信,Chubby服務器完成對子表服務器的狀態監控,主服務器通過查看Chubby服務器目錄來終止出現故障的子服務器并將其數據轉移至其他子服務器。另外,主服務器還完成子表的創建和負載均衡等操作。當然,由于MapReduce將本來應由數據庫管理系統完成的諸如文件存儲格式的設計、模式信息的記錄、數據處理算法的實現等工作轉移給了程序員,從而導致程序員負擔過重。另外,MapReduce是面向非結構化的大規模數據處理的,往往是一次處理,因而同等硬件條件下的性能也比并行數據庫低[29]。
3)數據庫的深層探討:并行數據庫具有高性能的優勢,但擴展性問題阻礙了其在大數據處理上的進一步發展,而MapReduce性能和易用性上提升空間較大,因此目前兩種方案均不理想。業界經過長時間的探討,基本一致認為并行數據庫和MapReduce各取其長,相互融合,也許是一種不錯的道路[30]。由此誕生了并行數據庫主導型、MapReduce主導型以及并行數據庫與MapReduce集成型3類大數據處理數據庫。
(1)并行數據庫主導:型這類數據庫的基本思路是在并行數據庫上增加MapReduce的大數據處理能力,將數據分析過程轉移到數據庫內進行,使得原系統同時獲得SQL的易用性與MapReduce的開放性。但是,并行數據庫的擴展能力與容錯能力并未得到改善,典型的系統如Greenplum[31]、Asterdata[32]等。
(2)MapReduce主導型:這類數據庫的基本思路是利用關系數據庫的SQL接口和模式支持技術改善MapReduce的易用性。通過SQL接口,可以很簡便的完成查詢分析等操作,大大減輕了程序員的負擔,但MapReduce的性能方面仍有待提升,典型的系統如Facebook的Hive[33]和Yahoo!的PigLatin[34]等。
(3)并行數據庫與MapReduce集成型:這類數據庫兼顧并行數據庫與MapReduce的長處,主要分兩種思路:按功能將并行數據庫與MapReduce分別設計到相應的部位以形成一個完整系統,以及整合并行數據庫和MapReduce這兩套完整的系統以構成一個混合系統。及時種思路典型代表是耶魯大學提出的HadoopDB[35],它將Hadoop作為調度層和網絡溝通層,關系數據庫作為執行引擎,盡可能地將查詢壓入數據庫層處理,Hadoop框架的應用可以獲得較好的容錯性和對異構環境的支持,庫內數據查詢的使用則可獲得關系數據庫的高性能優勢。第二種思路的代表是Vertica數據庫[36],它擁有兩套獨立完整的系統,Hadoop負責非結構化數據和耗時的批量復雜數據的處理,Vertica負責結構化數據的處理以及高性能的交互式查詢。當然,這些思路仍非理想的方案,例如,HadoopDB喪失了MapReduce較低的預處理和維護代價等,Vertica則依舊存在Vertica擴展性問題和Hadoop的性能問題。因此,在大數據面前,數據庫系統的研究還有很長的路要走,我們在 總結傳統的數據庫經驗的同時,還要積極了解新興的數據庫系統,才能更好地促進適應現今大數據發展的優良數據庫的面世。
5.大數據分析技術
用于大數據集的分析方法很多,包括統計學、計算機科學等各個領域的技術。本小節將簡要介紹其中幾種典型的大數據分析技術,當然,這些技術同樣適用于少量數據集的分析,但大數據集環境下的應用無疑會發揮更加明顯的作用。
(1)A/B測試:傳統的A/B測試,是一種把各組變量隨機分配到特定的單變量處理水平,把一個或多個測試組的表現與控制組相比較,進行測試的方式。現在的A/B測試主要用于在Web分析方面,例如通過對比統計新舊網頁的用戶轉化率,來掌握兩種設計的優劣等。大數據時代的到來為大規模的測試提供了便利,提高了A/B測試的性。由于移動設備及技術的迅猛發展,移動分析也逐漸成為A/B測試增長最快的一個領域。
(2)聚類分析聚類分析:
指將物理或抽象的集合分組成為由類似的對象組成的多個類的分析過程。聚類分析是一種探索性的數據挖掘分析方法,不需事先給出劃分的類的具體情況,主要用在商業、生物學、因特網等多個領域中。對于大數據的分析處理,通過聚類可以簡化后續處理過程,并且可以發現其中隱藏的某些規則,充分發揮了大數據的作用。
(3)集成學習:集成學習指的是使用一系列“學習器”進行學習,并使用某種規則把各學習結果進行整合從而獲得比單個“學習器”更好的學習效果的一種機器學習方法。對于大數據的集成學習,可以更好地提煉和把握其中的本質屬性。
(4)神經網絡:神經網絡是一種模仿動物神經網絡行為特征,進行分布式并行信息處理的算法數學模型,它依靠系統的復雜程度,通過調整內部大量節點之間相互連接的關系,來達到處理信息的目的。神經網絡作為一門新興的交叉學科,是人類智能研究的重要組成部分,已成為腦科學、神經科學、認知科學、心理學等共同關注的焦點。神經網絡對于大數據的并行處理,無疑也是一種比較可行的方式。
(5)自然語言處理:自然語言處理是計算機科學領域與人工智能領域中的一個重要方向,它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。人與計算機的通信交流往往存在很多歧義,如何消除這些歧義,將帶有潛在歧義的自然語言輸入轉換成某種無歧義的計算機內部表示,是自然語言處理的主要問題。大數據時代意味著有大量的知識和推理來完成消除歧義現象的可能,這也給自然語言處理帶來了新的挑戰和機遇。大數據分析技術還有很多,例如模式識別、空間分析、遺傳算法等等,并且研究者們還在不斷地尋找新的更有效地分析方法,另外通過結合多個方法來實現數據分析往往也能達到非常明顯的效果。
6.大數據的可視化
面對海量的數據,如何將其清晰明朗地展現給用戶是大數據處理所面臨的巨大挑戰。無論是學術界還是工業界,對大數據進行可視化的研究從未停止。通過將大數據圖形化、圖像化以及動畫化等展示出來的技術和方法不斷出現,本節將介紹幾種典型的案例。
(1)宇宙星球圖:俄羅斯工程師RuslanEnikeev根據2011年底的互聯網數據,將196個國家的35萬個網站數據整合起來,并根據200多萬個網站鏈接將這些“星球”通過“關系鏈”聯系起來組成了因特網的“宇宙星球圖”[37]。不同顏色代表不同的國家,每個“星球”的大小根據其網站流量來決定,而“星球”距離遠近根據鏈接出現的頻率、強度等決定。類似地,對于具有復雜結構的社交網絡,“宇宙星球圖”同樣也十分適用,可以根據個人的知名度、人與人之間的聯系等進行繪畫星球圖。
(2)標簽云:“標簽云”的設計思路主要是,對于不同的對象用標簽來表示,標簽的排列順序一般依照字典排序,按照熱門程度確定字體的大小和顏色。例如對于某個文檔,出現頻度越高的單詞將會越大,反之越小。這樣,便可以根據字母表順序和字體的大小來對各單詞的具體情況一目了然。文獻[38]通過將地圖上的各個物理位置根據描述的具體程度用“標簽云”表示,使得用戶對各個場所的知名程度有個清晰的認識。
(3)歷史流圖:文獻[39]提出了一種用于可視化文檔編輯歷史的“歷史流圖”,對于一個面向大眾的開放文檔,編輯和查閱都是自由的,用戶可以隨時自由的對文檔進行增加或刪除操作。“歷史流圖”中,橫坐標軸表示時間,縱坐標軸表示作者,不同作者的不同內容對應中間部分不同顏色和長度,隨著時間的推移,文檔的內容不斷變化,作者也在不斷增加中。通過對“歷史流圖”的觀察,很容易看出各人對該文檔的貢獻,當然,除了發現有人對文檔給出有益的編輯外,也存在著一些破壞文檔、刪除內容的人,但總有逐漸被修復回去的規律。像維基百科等的詞條注釋文檔,“歷史流圖”的可視化效果十分明顯。關于大數據可視化的方面努力還有很多,不同的“源數據”有不同的可視化策略,大數據可視化的研究工！作仍有待進行下去。
大數據應用所面臨的問題
大數據時代面臨的首要問題是人力和財力問題,IDC分析稱,大數據相關人才的欠缺將會成為影響大數據市場發展的一個重要因素。據調查,僅美國就缺少大約14萬到19萬的具有深層次數據分析技巧的專業技術人員以及150萬針對大數據的經理人。據阿里巴巴稱,雖然其各類業務產生的數據為數據分析創造了非常好的基礎條件,然而卻招聘不到合適的數據科學家而影響了研發進展。高德納公司預測,到2015年,全球將新增440萬個與大數據相關的工作崗位,且會有25%的組織設立首席數據官職位。其中有190萬個工作崗位將在美國,每一個與大數據有關的IT工作,都將在技術行業外部再建3個工作崗位,這將在美國再創建將近600萬個工作崗位。數據科學家是復合型人才,是對數學、統計學、機器學習等多方面知識的綜合掌控,能對數據做出預測性的、有價值的分析。因此,各國對大數據人才的培養工作應當快速有效地著手執行。大數據的接收和管理也需要大量的基礎設施和能源,無論是傳感器還是數據中心的服務器,都需要大量的硬件投入和能源消耗,這也就意味著大數據處理的財力需求極為可觀。如何處理好大數據產生的資金投入比例,也成為了各國和各企業決策者面臨的難題。另外,大數據還將面臨嚴重的安全和隱私 問題。首先,隨處可見的傳感器和攝像頭等設備,會監視并記錄人們位置等信息,通過海量數據的分析,便可輕易了解人們的行蹤規律,從而可能給人們帶來生命和財產安全;其次,“云設施”的經濟劃算,推動了僵尸網絡的發展及海量并行處理破解密碼系統的可能性;,由于云計算要求我們放棄自主計算能力,當整個社會的信息,包括個人信息、商業信息都存儲在巨頭們提供的“云”上時,我們只能寄希望于這些巨頭們都是道德高尚的圣人,否則我們將面臨災難性損失。面對這些安全威脅,學術界和工業界也都紛紛提出自己策略。針對基于位置服務的安全性問題,文獻[40]提出了一種k-匿名方法,即將自己與周圍k-1個用戶組成一個范圍集合性對象來請求位置服務,從而模糊了自己的位置。文獻[41]提出的策略是,搜集周圍的k-1個用戶的位置信息,并以其中的某一個的名義發送位置服務請求,從而也達到隱藏坐標的目的。Roy等人將集中信息流控制和差分隱私保護等技術融入云中的數據生成與計算階段,提出了一種隱私保護系統Airavat[42],防止MapReduce計算過程中將非授權的隱私數據泄露出去,并且支持對計算結果的自動除密。Mowbray等人在數據存儲和使用階段使用一種基于客戶端的隱私管理工具[43],提供以用戶為中心的信任模型,幫助用戶控制自己的敏感信息在云端的存儲和使用。蘋果最近申請了一項專利,叫做電子分析污染技術,能夠將用戶在蘋果產品上產生的行為數據進行污染和混淆,讓其他廠商獲取不到真正的用戶數據。這類信息安全保護的思路是:當各種加密措施無法徹底保護個人信息時,不如將大量的垃圾信息、錯誤信息充斥在真實有效的信息之中,讓竊取者不得不耗費巨大的成本從中分析。高德納公司分析指出,大數據安全是一場必要的斗爭,并且大數據本身更可用來提高企業安全。因為解決安全問題的前提是,企業必須先確定正常、非惡意活動是啥樣子的,然后查找與之不同的活動;從而,發現惡意活動,基于大數據來建立一個基線標準就很好地達到了這個目的。
,大數據的出現會促使IT相關行業的生態環境和產業鏈的變革。傳統的網絡公司運營模式是在自己的服務器上來管理若干產品和服務,并通過網絡連線提供給用戶終端,產生的數據歸公司獨有。然而,在大數據時代,這種模式已經難以勝任,服務公司往往會選擇租賃第三方的開放平臺來運營自己的業務。這樣,用戶提供數據,服務方處理數據,但數據的實際存儲地卻在第三方。大數據影響的IT產業鏈大致包括數據資源、應用軟件、基礎設施三大部分。數據資源方面,各大信息中心、通信運營商等積極研制和引用大數據技術,挖掘大量數據分析相關人才,數據資源的收集和開發產業逐步完善;應用軟件方面,隨著高性能云平臺的出現,云應用軟件也不斷被開發出來,用戶再也不必煩惱復雜的軟件安裝和配置過程,便可以輕松享受各種網絡應用服務;基礎設施方面,大數據對硬件的依賴,迫使高性能硬盤、低能耗服務器、小巧化個人終端等行業的快速發展。另外,大數據技術的日益成熟也會促使跨行業經營模式的發展。第三方可以將用戶的各種服務請求進行打包,然后利用大數據分析來尋求好的服務商的組合以反饋給用戶。對服務提供方來說,借助第三方可以更好地推銷自己的服務。而對第三方而言,可以獲得大量的分析數據,其中的利益也是可觀的,真正的實現了“雙贏”,同時也使得用戶獲得更好的服務體驗。
結束語
大數據時代挑戰與機遇并存,正確處理好大數據,不僅符合企業的利益,也給人們日常生活帶來極大的便利。本文對大數據的基本概念、處理流程以及相關技術進行了簡要的探討,并分析了大數據可能帶來的一些問題及應對策略。云計算目前是處理大數據的基礎技術,但其在安全和隱私方面的保障工作仍讓不少人感到懷疑,根本原因還是個人和商業的信息都存放在遠端的巨頭們提供的看不見的“云”上。大數據時代已經到來,但是,相應的技術體系和社會保障仍是亟需研究的應用課題
大數據應用論文:參加大數據審計應用培訓心得
近日，__市審計局開展了面向全體業務人員的大數據應用審計業務培訓會，旨在提升業務人員在項目審計過程中的審計效率，運用大數據審計思維和計算機審計手段，充分發揮審計功能。通過培訓，審計人員不僅學習了新的技術，還對當前我國審計事業的發展有了新的認識,為共同創造我省審計事業的新成績，打下了基礎。
2015年12月12日，國家行政學院常務副院長馬建堂在國家行政學院召開的“大數據與國家治理”圓桌論壇上表示“要積極擁抱使用大數據，以提高政府公共管理能力、公共服務水平、公共政策質量。”隨著當代信息技術的蓬勃發展，各行各業均所產生的數據量將呈指數級增長，數據種類和格式也日漸豐富，除了儲存這些數據，審計人員更多是要利用這些大數據，對它們進行收集，整理，清洗，分析，利用這些數據創造新的價值。隨著被審計單位財務軟件和業務軟件的不斷更新升級，審計人員運用“低成本、低風險、高效率”的審計技術變得尤為重要。__省審計廳審計云系統的搭建，為基層審計工作者節約了數據采集、整理及轉換的時間，同時通過云系統進行數據分析，進一步的提高了審計工作效率，變審計工作重點從“現場審計找疑點”為“現場審計核實疑點”，實現“快、準、穩”的審計目標要求。
計算機審計的效果，取決于審計人員將計算機技術與審計方法結合能力的高低。要推動大數據審計的落實與發展，基層審計機關必須建立高素質的計算機審計隊伍。加強審計人員計算機操作技能的培訓，是推進基層大數據審計的重要手段。此次__市審計局開展的業務培訓會，除了對word￥excel及審計軟件的基本操作進行解析外，著重強調了審計人員應當培養充分應用計算機審計的工作意識。在此基礎上，加入了計算機軟硬件及網絡應有的安全控制方法、計算機知識與審計知識的融合兩方面培訓內容，旨在培養具備計算機常識、網絡知識以及掌握信息系統審計技術的現代審計業務人員，促使審計人員在審計工作中將審計知識與計算機技術進行有效結合。
2015年12月8日，中國政府網公布中共中央辦公廳、國務院辦公廳印發《關于實行審計全覆蓋的實施意見》，是對國家審計監督提出實現審計監督全覆蓋的時代要求。面對一個個數量龐大、種類繁雜的數據信息源，如何整合審計數據中心數據資源、挖掘跨行業、跨單位、跨系統的核心數據就變得十分重要。此次__市審計局開展的業務培訓會，以本級財政預算審計為例，將財政四大業務系統與財務系統進行跨系統數據整理及對比分析方法及操作核心詳細解讀，為審計業務人員提供了跨系統數據比對分析思路，激發了審計業務人員對進一步實現跨單位、跨行業的全覆蓋審計思路。
在大數據時代，挑戰與機遇并存，計算機信息技術的廣泛運用和審計業務已經深度融合，為審計事業帶來了新發展。
大數據應用論文:國務院辦公廳關于促進和規范健康醫療大數據應用發展的指導意見
國辦發〔2016〕47號
各省、自治區、直轄市人民政府，國務院各部委、各直屬機構：
健康醫療大數據是國家重要的基礎性戰略資源。健康醫療大數據應用發展將帶來健康醫療模式的深刻變化，有利于激發深化醫藥衛生體制改革的動力和活力，提升健康醫療服務效率和質量，擴大資源供給，不斷滿足人民群眾多層次、多樣化的健康需求，有利于培育新的業態和經濟增長點。為貫徹落實《國務院關于印發促進大數據發展行動綱要的通知》（國發〔2015〕50號）要求，順應新興信息技術發展趨勢，規范和推動健康醫療大數據融合共享、開放應用，經國務院同意，現提出如下意見。
一、指導思想、基本原則和發展目標
（一）指導思想。深入貫徹落實黨的十八大和十八屆三中、四中、五中全會精神，牢固樹立并切實貫徹創新、協調、綠色、開放、共享的發展理念，按照黨中央、國務院決策部署，發揮市場在資源配置中的決定性作用，更好發揮政府作用，以保障全體人民健康為出發點，強化頂層設計，夯實基層基礎，完善政策制度，創新工作機制，大力推動政府健康醫療信息系統和公眾健康醫療數據互聯融合、開放共享，消除信息孤島，積極營造促進健康醫療大數據安全規范、創新應用的發展環境，通過“互聯網+健康醫療”探索服務新模式、培育發展新業態，努力建設人民滿意的醫療衛生事業，為打造健康中國、建成小康社會和實現中華民族偉大復興的中國夢提供有力支撐。
（二）基本原則。
堅持以人為本、創新驅動。將健康醫療大數據應用發展納入國家大數據戰略布局，推進政產學研用聯合協同創新，強化基礎研究和核心技術攻關，突出健康醫療重點領域和關鍵環節，利用大數據拓展服務渠道，延伸和豐富服務內容，更好滿足人民健康醫療需求。
堅持規范有序、安全可控。建立健全健康醫療大數據開放、保護等法規制度，強化標準和安全體系建設，強化安全管理責任，妥善處理應用發展與保障安全的關系，增強安全技術支撐能力，有效保護個人隱私和信息安全。
堅持開放融合、共建共享。鼓勵政府和社會力量合作，堅持統籌規劃、遠近結合、示范引領，注重盤活、整合現有資源，推動形成各方支持、依法開放、便民利民、蓬勃發展的良好局面，充分釋放數據紅利，激發大眾創業、萬眾創新活力。
（三）發展目標。到2017年底，實現國家和省級人口健康信息平臺以及全國藥品招標采購業務應用平臺互聯互通，基本形成跨部門健康醫療數據資源共享共用格局。到2020年，建成國家醫療衛生信息分級開放應用平臺，實現與人口、法人、空間地理等基礎數據資源跨部門、跨區域共享，醫療、醫藥、醫保和健康各相關領域數據融合應用取得明顯成效；統籌區域布局，依托現有資源建成100個區域臨床醫學數據示范中心，基本實現城鄉居民擁有規范化的電子健康檔案和功能完備的健康卡，健康醫療大數據相關政策法規、安全防護、應用標準體系不斷完善，適應國情的健康醫療大數據應用發展模式基本建立，健康醫療大數據產業體系初步形成、新業態蓬勃發展，人民群眾得到更多實惠。
二、重點任務和重大工程
（一）夯實健康醫療大數據應用基礎。
1.加快建設統一、互聯互通的人口健康信息平臺。實施全民健康保障信息化工程，按照安全為先、保護隱私的原則，充分依托國家電子政務外網和統一數據共享交換平臺，拓展完善現有設施資源，建成互通共享的國家、省、市、縣四級人口健康信息平臺，強化公共衛生、計劃生育、醫療服務、醫療保障、藥品供應、綜合管理等應用信息系統數據采集、集成共享和業務協同。創新管理模式，推動生育登記網上辦理。消除數據壁壘，暢通部門、區域、行業之間的數據共享通道，探索社會化健康醫療數據信息互通機制，推動實現健康醫療數據在平臺集聚、業務事項在平臺辦理、政府決策依托平臺支撐。
2.推動健康醫療大數據資源共享開放。鼓勵各類醫療衛生機構推進健康醫療大數據采集、存儲，加強應用支撐和運維技術保障，打通數據資源共享通道。加快建設和完善以居民電子健康檔案、電子病歷、電子處方等為核心的基礎數據庫。建立衛生計生、中醫藥與教育、科技、工業和信息化、公安、民政、人力資源社會保障、環保、農業、商務、安全監管、檢驗檢疫、食品藥品監管、體育、統計、旅游、氣象、保險監管、殘聯等跨部門密切配合、統一歸口的健康醫療數據共享機制。探索推進可穿戴設備、智能健康電子產品、健康醫療移動應用等產生的數據資源規范接入人口健康信息平臺。建立全國健康醫療數據資源目錄體系，制定分類、分級、分域健康醫療大數據開放應用政策規范，穩步推動健康醫療大數據開放。
（二）深化健康醫療大數據應用。
3.推進健康醫療行業治理大數據應用。加強深化醫藥衛生體制改革評估監測，加強居民健康狀況等重要數據精準統計和預測評價，有力支撐健康中國建設規劃和決策。綜合運用健康醫療大數據資源和信息技術手段，健全醫院評價體系，推動深化公立醫院改革，完善現代醫院管理制度，優化醫療衛生資源布局。加強醫療機構監管，健全對醫療、藥品、耗材等收入構成及變化趨勢的監測機制，協同醫療服務價格、醫保支付、藥品招標采購、藥品使用等業務信息，助推醫療、醫保、醫藥聯動改革。
4.推進健康醫療臨床和科研大數據應用。依托現有資源建設一批心腦血管、腫瘤、老年病和兒科等臨床醫學數據示范中心，集成基因組學、蛋白質組學等國家醫學大數據資源，構建臨床決策支持系統。推進基因芯片與測序技術在遺傳性疾病診斷、癌癥早期診斷和疾病預防檢測方面的應用，加強人口基因信息安全管理，推動精準醫療技術發展。圍繞重大疾病臨床用藥研制、藥物產業化共性關鍵技術等需求，建立藥物副作用預測、創新藥物研發數據融合共享機制。充分利用優勢資源，優化生物醫學大數據布局，依托國家臨床醫學研究中心和協同研究網絡，系統加強臨床和科研數據資源整合共享，提升醫學科研及應用效能，推動智慧醫療發展。
5.推進公共衛生大數據應用。加強公共衛生業務信息系統建設，完善國家免疫規劃、網絡直報、網絡化急救、職業病防控、口岸公共衛生風險預警決策等信息系統以及移動應急業務平臺應用功能，推進醫療機構、公共衛生機構和口岸檢驗檢疫機構的信息共享和業務協同，提升公共衛生監測評估和決策管理能力。整合社會網絡公共信息資源，完善疾病敏感信息預警機制，及時掌握和動態分析全人群疾病發生趨勢及全球傳染病疫情信息等國際公共衛生風險，提高突發公共衛生事件預警與應急響應能力。整合環境衛生、飲用水、健康危害因素、口岸醫學媒介生物和核生化等多方監測數據，有效評價影響健康的社會因素。開展重點傳染病、職業病、口岸輸入性傳染病和醫學媒介生物監測，整合傳染病、職業病多源監測數據，建立實驗室病原檢測結果快速識別網絡體系，有效預防控制重大疾病。推動疾病危險因素監測評估和婦幼保健、老年保健、國際旅行衛生健康保健等智能應用，普及健康生活方式。
6.培育健康醫療大數據應用新業態。加強健康醫療海量數據存儲清洗、分析挖掘、安全隱私保護等關鍵技術攻關。積極鼓勵社會力量創新發展健康醫療業務，促進健康醫療業務與大數據技術深度融合，加快構建健康醫療大數據產業鏈，不斷推進健康醫療與養生、養老、家政等服務業協同發展。發展居家健康信息服務，規范網上藥店和醫藥物流第三方配送等服務，推動中醫藥養生、健康養老、健康管理、健康咨詢、健康文化、體育健身、健康醫療旅游、健康環境、健康飲食等產業發展。
7.研制推廣數字化健康醫療智能設備。支持研發健康醫療相關的人工智能技術、生物三維（3D）打印技術、醫用機器人、大型醫療設備、健康和康復輔助器械、可穿戴設備以及相關微型傳感器件。加快研發成果轉化，提高數字醫療設備、物聯網設備、智能健康產品、中醫功能狀態檢測與養生保健儀器設備的生產制造水平，促進健康醫療智能裝備產業升級。
（三）規范和推動“互聯網+健康醫療”服務。
8.發展智慧健康醫療便民惠民服務。發揮品質醫療資源的引領作用，鼓勵社會力量參與，整合線上線下資源，規范醫療物聯網和健康醫療應用程序（APP）管理，大力推進互聯網健康咨詢、網上預約分診、移動支付和檢查檢驗結果查詢、隨訪跟蹤等應用，優化形成規范、共享、互信的診療流程。探索互聯網健康醫療服務模式。以家庭醫生簽約服務為基礎，推進居民健康卡、社會保障卡等應用集成，激活居民電子健康檔案應用，推動覆蓋全生命周期的預防、治療、康復和健康管理的一體化電子健康服務。
9.建立遠程醫療應用體系。實施健康中國云服務計劃，建設健康醫療服務集成平臺，提供遠程會診、遠程影像、遠程病理、遠程心電診斷服務，健全檢查檢驗結果互認共享機制。推進大醫院與基層醫療衛生機構、全科醫生與專科醫生的數據資源共享和業務協同，健全基于互聯網、大數據技術的分級診療信息系統，延伸放大醫療衛生機構服務能力，有針對性地促進“重心下移、資源下沉”。
10.推動健康醫療教育培訓應用。支持建立以國家健康醫療開放大學為基礎、中國健康醫療教育慕課聯盟為支撐的健康醫療教育培訓云平臺，鼓勵開發慕課健康醫療培訓教材，探索新型互聯網教學模式和方法，組織品質師資推進網絡醫學教育資源開放共享和在線互動、遠程培訓、遠程手術示教、學習成效評估等應用，便捷醫務人員終身教育，提升基層醫療衛生服務能力。
（四）加強健康醫療大數據保障體系建設。
11.加強法規和標準體系建設。制定完善健康醫療大數據應用發展的法律法規，強化居民健康信息服務規范管理，明確信息使用權限，切實保護相關各方合法權益。完善數據開放共享支撐服務體系，建立“分級授權、分類應用、權責一致”的管理制度。規范健康醫療大數據應用領域的準入標準，建立大數據應用誠信機制和退出機制，嚴格規范大數據開發、挖掘、應用行為。建立統一的疾病診斷編碼、臨床醫學術語、檢查檢驗規范、藥品應用編碼、信息數據接口和傳輸協議等相關標準，促進健康醫療大數據產品、服務流程標準化。
12.推進網絡可信體系建設。強化健康醫療數字身份管理，建設全國統一標識的醫療衛生人員和醫療衛生機構可信醫學數字身份、電子實名認證、數據訪問控制信息系統，積極推進電子簽名應用，逐步建立服務管理留痕可溯、診療數據安全運行、多方協作參與的健康醫療管理新模式。
13.加強健康醫療數據安全保障。加快健康醫療數據安全體系建設，建立數據安全管理責任制度，制定標識賦碼、科學分類、風險分級、安全審查規則。制定人口健康信息安全規劃，強化國家、區域人口健康信息工程技術能力，注重內容安全和技術安全，確保國家關鍵信息基礎設施和核心系統自主可控穩定安全。開展大數據平臺及服務商的性、可控性和安全性評測以及應用的安全性評測和風險評估，建立安全防護、系統互聯共享、公民隱私保護等軟件評價和安全審查制度。加強大數據安全監測和預警，建立安全信息通報和應急處置聯動機制，建立健全“互聯網+健康醫療”服務安全工作機制，完善風險隱患化解和應對工作措施，加強對涉及國家利益、公共安全、患者隱私、商業秘密等重要信息的保護，加強醫學院、科研機構等方面的安全防范。
14.加強健康醫療信息化復合型人才隊伍建設。實施國家健康醫療信息化人才發展計劃，強化醫學信息學學科建設和“數字化醫生”培育，著力培育高層次、復合型的研發人才和科研團隊，培養一批有國際影響力的專門人才、學科帶頭人和行業領軍人物。創新專業人才繼續教育形式，完善多層次、多類型人才培養培訓體系，推動政府、高等院校、科研院所、醫療機構、企業共同培養人才，促進健康醫療大數據人才隊伍建設。
三、加強組織實施
（一）強化統籌規劃。建立黨委政府領導、多方參與、資源共享、協同推進的工作格局。國家衛生計生委要綜合統籌、強化實施，各有關部門要密切配合、形成合力，推動重點任務落實。各地區要重視健康醫療大數據應用發展，切實搞好總體規劃、基礎建設、安全監管，確保各項任務措施落到實處。推進健康醫療大數據軍民融合發展，促進軍地健康醫療數據規范銜接、互通共享、協同應用。加強對健康醫療大數據應用發展的指導，強化對技術研發、新業態構建、應用推廣的統籌協調，研究建立專家委員會，組織研究制定發展戰略及相關政策、法規、標準。
（二）抓住重點著力突破。從人民群眾迫切需求的領域入手，重點推進網上預約分診、遠程醫療和檢查檢驗結果共享互認等便民惠民應用。加快推進基本醫保全國聯網和異地就醫結算。支持發展醫療智能設備、智能可穿戴設備，加強疑難疾病等重點方面的研究。選擇一批基礎條件好、工作積極性高、隱私安全防范有保障的地區和領域開展健康醫療大數據應用試點，總結經驗，扎實有序推進。
（三）加大政策扶持力度。研究制定政府支持政策，從財稅、投資、創新等方面對健康醫療大數據應用發展給予必要支持。推廣運用政府和社會資本合作（PPP）模式，鼓勵和引導社會資本參與健康醫療大數據的基礎工程、應用開發和運營服務。鼓勵政府與企事業單位、社會機構開展合作，探索通過政府采購、社會眾包等方式，實現健康醫療大數據領域政府應用與社會應用相融合。充分發揮已設立的有關投資基金作用，充分激發社會資本和民間資本參與熱情，鼓勵創新多元投資機制，健全風險防范和監管制度，支持健康醫療大數據應用發展。
（四）加強政策宣傳普及。加強健康醫療大數據應用發展政策解讀，大力宣傳應用發展的重要意義和應用前景，積極回應社會關切，形成良好社會氛圍。積極引導醫療衛生機構和社會力量參與開展形式多樣的科普活動，宣傳普及健康醫療大數據應用知識，鼓勵開發簡便易行的數字醫學工具，不斷提升人民群眾掌握相關應用的能力和社會公眾健康素養。
（五）推進國際交流合作。有序推進健康醫療大數據應用發展的人才技術交流與合作。鼓勵相關企業和科研單位開展對國際先進技術的引進、消化吸收和再創新，推動我國自主技術與全球同步發展。加大對國際健康醫療大數據應用標準的跟蹤、評估和轉化力度，積極參與國際標準制定，增強相關規則制定的話語權。堅持以我為主、加強監管、確保安全原則，穩步探索國際健康醫療大數據應用發展合作新模式，不斷提升我國健康醫療大數據應用水平、產業核心競爭力和國際化水平。
大數據應用論文:大數據在現代旅游管理中的應用
［摘要］大數據是近年來非常火熱的一個詞匯。大數據的利用可以更好地服務廣大消費者，因而有著極大的應用價值。結合旅游管理工作，探討現代旅游管理實踐中的大數據應用。
［關鍵詞］現代；旅游管理；大數據；服務
隨著近些年來游客們的出行方式越來越多樣化，各種豐富多樣的旅游主題網站、微博、微信等等社交媒體層出不窮，人們在旅游方面生產的數據越來越多。相應的，多種來源收集數據、儲存數據、分析數據的能力也在飛快的發展，在現在旅游管理工作中，大數據的技術能夠應用于多個方面，本文就這一問題進行簡要分析。
1結合大數據內涵，突出旅游價值
總的來說，所謂大數據就是數量特別龐大的數據資料，不能通過已有的軟件工具進行提取、儲存、分析、共享等處理的復雜數據的集合。而對于旅游業來說，其核心內容即旅游服務供應鏈的每一個組成分支，都在連續不斷地持續生產著數據，不論是從提供基礎設施的合作商、提供衣食住行的旅游合作商、介紹旅客的中介商甚至是出行的游客以及管理的旅游部門無一例外，在整個旅游供應鏈中，數據類型的類型眾多并且十分龐大，產生數據的題量大、數據的類型多、數據的流速高且能提供參考價值的數據密度低。對于旅游管理部門來說，合理利用旅游大數據，積極進行數據深度挖掘，對于旅游的可持續發展具有較高的價值，能夠有效地通過人民的出行以點帶面地帶動整個經濟。在我國多個文化產業方向都由十分巨大的經濟潛在價值和應用前景。旅游大數據主要分為兩個主要部分，結構化大數據和非結構化大數據，結構化大數據就是按照已經規定好的格式進行數據的整理，存儲到數據庫中以便能被核心管理系統進行分析。而非結構化的大數據就是指其他類型的數據格式，例如一些辦公文件、文本、圖片、音頻、報表等。非結構化的旅游大數據一般包括旅游景點的監控視頻、社交媒體上的音頻、視頻、出行數據、線上旅游的營銷狀況等。
2利用大數據分析，推動旅游決策
利用旅游大數據可以有效地分析游客的需求，這樣的預測可以更好地幫助旅游運營商設計旅游路線，為推出新的旅游決策提供強有力地依據。究其根本，針對旅游需求的預測不僅僅可以幫助管理局更有目的的規劃旅游決策，制定旅游方案，還可以使得旅游服務鏈上的各個環節銜接得更加緊密，上下協調一致，大大提高旅游業循環效率。旅游需求一般包括以下兩個方面的內容，一方面是旅游者對于旅游過程中享受的硬件設備的要求，另一方面是旅游服務人員等軟件的需求。但是旅游產業是一個較為獨特的工作鏈，首先，旅游設施的建設是一個長期的過程，由于其地理位置的特殊性和所需材料的龐大，必定需要長期的時間和大量的工程技術人員 ；其次，在旅游行業中，季節性十分明顯，并且不具有其他服務行業的可儲存性、無形性等特點，這就造成了旅游行業的不確定因素太多，很容易就造成了成本風險，使得行業內部的競爭變得越來越明顯。因此，利用大數據進行預測未來旅游業發展趨勢是一項非常必要的工作，能夠為整個旅游業指明發展的方向，并在一定程度上降低投資風險。其次，大數據還可以在擬定好的運營方案正式上線之前進行模擬，模擬投入運行時市場可能出現的多種情況，分析其特征和規模，進行有效的市場分析以及定位，預測未來可能會出現的運營狀況，并通過市場分析進行定位，尤其是對于旅游熱門地區來說，對于改變旅游行業規劃晚于市場發展這一現狀有顯著的作用。
3通過大數據特征，優化旅游營銷
當完成了預測任務后，旅游管理部門可以利用大數據對整個旅游市場進行細致的劃分，分析大數據中游客們的基本屬性、需求、共同的行為特征，以及一些特定人群的偏好，例如青少年、老年人等，進行多個角度的分析，從而做到精準定位旅游行業，設計出更具有針對性的旅游項目，以達到大幅度提高旅游業發展的最終目的。具體來說，游客的基本屬性是指性別、年齡、財產狀況以及受教育程度等自身屬性，需求則是旅客們期望的出行方式、熱門出行地點，各個旅游網頁的實時搜索熱度等。對于旅游管理部門來說，可以通過統計各個景區內部的大數據，例如周圍酒店入住情況、景區門票銷售情況等，管理部門可以與網絡營銷平臺、景區做到三方聯合，進行大數據的整理，根據旅客的基本屬性進行資源的預備，應對未來可能出現的龐大客流量和客流需求。管理部門可以與每個景區的監控系統實現網絡互通，以便當發生一些突發緊急事件，如踩踏、堵塞等進行實時監控并及時給出建議和反饋。從整個旅游管理行業的宏觀方向來看，大數據的信息引導往往比其他的理想規劃引導、行政干涉、法律規范等其他調控工具來說更加敏捷迅速，因為大數據具有龐大的數據分析作為先天優勢，能夠較為地幫助旅游業各個環節精準定位。這也說明了，旅游服務行業如果想成長成為一個完整的不可撼動的整體，必須要實現各個環節之間的無縫對接，多個部門同時運作，協調一致，達到旅游大數據信息的共享與合理分配。總之，將大數據的管理思想融入到旅游服務行業中去，是提高旅游管理水平、實現高效旅游的一個有力途徑，但正如事物都有兩面性一樣，大數據也不可避免地會泄露一些游客的個人隱私，導致游客提供的數據不能確保真實性，因此如何攻克這一點，做更的大數據分析是目前旅游市場需要攻克的難題。
作者:高璐 單位:江蘇省南通市旅游局辦公室
大數據應用論文:大數據技術在企業戰略管理的應用
摘要：隨著企業的發展和信息技術的不斷發展，企業逐漸進入了大數據時代。如何對紛繁復雜的數據進行分析，從中找出對企業的發展有用的信息來促進企業的發展在科學技術現代化的今天越來越中重要。企業管理者只有采用先進的科學技術對企業的各項活動進行管理。企業的管理者要根據大數據分析技術進行戰略決策。在現代化科學技術比較發達的今天大數據技術與企業的管理融合是未來的發展趨勢。
關鍵詞：大數據;企業管理戰略;信息技術;大數據時代
大數據的發展改變了社會的生活方式生產方式及企業的管理方式。大數據改變了企業的營銷方式，使企業能夠從繁復的信息中找新的經濟增長點。只有利用好大數據才能夠使企業的核心競爭力適應環境的不斷變化。大數據時代科學技術在企業中的廣泛應用,不斷改變了人類社會的生活方式和生產方式。企業要不斷提高自身對數據的分析能力才能夠提高對數據綜合分析能力。
1大數據時代下的企業管理戰略
1.1企業通過大數據技術的分析進行企業戰略決策
大數據時代的到來企業已經改變了企業原有的生產管理方式。企業已經逐漸通過大數據的分析進行企業戰略決策。企業龐大的信息庫已經不是人力所能夠分析的，企業必須要采用現代化的科學技術進行數據分析提供科學的戰略決策。大數據的分析與數學模型的建立有著千絲萬縷的聯系。企業要提高數據分析的性就要建立更多的數學模型讓數據能夠找到適應的模型。同時數學模型要能夠適應數據的不斷增長和發展。管理者要通過多種數學模型分析數據不斷提高企業的競爭能力。隨著社會的不斷發展企業家都希望通過挖掘數據找到商業的價值，幫助企業快速發展實現利益增長。大數據的分析技術可以使企業發展更加良性化。
1.2大數據分析技術有助于優化企業的戰略決策
大數據推動了企業進行深入的變革，現代的企業逐漸的朝著科技革命和創新管理模式方向發展。企業要提高自身的經濟利益就要對企業內部和外部的環境都進行分析，通過對企業的數據進行預測、分析、規劃和控制等的處理使自身利益得到較大化。針對企業內部和外部的環境因素紛繁復雜、數據眾多，企業必須要通過大數據分析選定合理的戰略方案進行企業管理。企業要利用大數據對周圍的環境進行分析，制定正確的戰略抉擇，的把握企業的信息，合理地組織企業架構，實現企業利益較大化。大數據技術能夠對管理環節和市場需求進行分析，利用大數據建立起相應的數學模型，提供科學的、有利于企業發展的決策。
1.3大數據分析有助于企業決策者進行企業的決策
企業決策者通過大數據進行信息技術分析選擇正確的戰略決策。企業要在大數據分析技術的指導下進行使企業不斷的適應時代的發展。企業在戰略管理抉擇方面對大數據進行分析，不斷對企業的運營和管過程監控評價，不斷的修改原有的方案，使企業慢慢地強大起來。
2大數據在企業管理中的具體應用
2.1數據挖掘與戰略管理
知識的發現過程主要涉及到“數據倉庫，數據選擇，數據清理，數據預先處理，模型選擇”等內容，管理決策發展的過程就是利用假設檢驗將信息轉化為知識的過程。在數據的挖掘方面可以發現很多有趣的數學模型對信息決策非常有用，這些數學模型可以存儲在數據倉庫、數據庫等信息庫中，在解決相關問題是只要調出相關模型就可以了。數據挖掘實施方法論在的應用非常廣泛。這種數據挖掘方式通過提供方法和參考模型，幫助用戶進行數據方面的挖掘。這種方法在企業決策方面的數據挖掘方面運用很普遍。
2.2跨行業標準數據挖掘方法論的主要數據挖掘技術
這種數據挖掘理論涉及到的技術主要有關聯數據技術、分類數據技術、聚類數據技術、時間序列分析技術等。
2.3跨行業標準數據挖掘論的生命周期
跨行業標準數據挖掘論的生命周期主要分為六個階段，主要包括業務理解、數據理解、數據準備、數學模型建立、數據評估、數據等幾個階段。
3利用數據模型進行戰略管理
3.1利用數據技術進行企業的戰略管理
企業利用數據技術進行戰略管理的策略主要有SWOT戰略、差異化競爭戰略、相關聯的多元化戰略、市場預測戰略等。企業的戰略管理主要涉及五個方面的內容，主要包括：企業的愿景和使命，企業的戰略目標，企業的環境分析，企業的戰略制定，企業的戰略實施，企業的戰略評估。
3.2數據管理與企業戰略管理間的映射
關聯規則與SWOT戰略：關聯規則在數據可中的應用非常廣泛，SWOT主要用來對企業的戰略環境進行分析。SWOT是一種分析方法。企業戰略管理運用SWOT這種分析方法來發現組織不同環境因素之間的關系。這兩種分析方法目的都在于能夠發現和理解不同參數之間的關系。
3.3分類和數據差異化戰略
數據庫中的分類是根據數據庫中的一些屬性構造模型，并且使用這種模型分類。戰略管理的差異化策略能夠為不同的客戶提供與其他同行業企業不同的產品和服務。這種策略不僅能夠滿足用戶的需要，還不容易被同行業的產品取代。運用差異化戰略用戶只要根據產品形態上的差異就能夠預測，可以看做是一個分類問題。
3.4聚類與相關多元化
聚類就是把數據按照相似性的要求分成不同的類別。企業管理的多元化戰略主要論述公司在業務競爭上有價值的“戰略匹配關系”。這種新的業務問題可以看作是一個聚類問題。
4大數據技術對決策系統的影響
企業的決策大數據是企業的信息數字化、并對這些數據進行整理和分析。首先企業要按照企業的層級功能建立數據采集系統，從多個維度采集信息。第二，企業推進信息決策的自動化、分算化、前端化。要提高決策的信息指標和科技含量。隨著社會的不斷發展，傳統的決策已經沒有辦法滿足企業快速發展的需要。企業要以網絡技術為基礎，通過大數據分析建立分散的決策模式。在這個復雜的決策環境中決策的時效性對企業管理更為重要，傳統的決策模式已經不能夠適應社會的發展需求，大數據技術為企業帶來了新的決策分析方法。企業要通過決模型的創新，建立適應企業發展的決策模型。
5結束語
隨著大數據技術的不斷發展，社會政府和企也都把大數據作為關注的重點。通過大數據技術對企業進行的管理，為企業提供科學的決策。大數據技術有助于企業綜合實力的提升，有助于企業適應未來的發展。在企業的競爭中人才是最根本的因素。企業要重視人才的培養。
作者:姚欣欣 張峰 孫雷 單位:國網遼寧省電力有限公司盤錦供電公司
大數據應用論文:大數據在物資招標采購管理中的應用
摘要:
大數據在招標采購管理中的應用分為四個主要步驟，分別是:歷史采購診斷、提出大數據應用方向、對大數據應用點進行分析、提出大數據在招標采購管理中的具體實施方案。本文主要針對大數據在物資招標采購管理中的應用進行細致分析。
關鍵詞:
大數據;物資;招標;采購管理;應用;分析;研究
1具體研究思路
由于對大數據在物資管理中的研究尚且處于初級階段，很多的應用理論都比較缺乏，再加上現有的知識體系達不到招標采購大數據的應用需求，所以主要根據當前招標采購管理業務的一些特點和趨勢，將大數據招標采購管理應用細化，分為以下幾個步驟。及時點是對之前歷史保留下來的采購數據進行重新的整合與診斷，對于一些有利用價值的信息要進行充分的挖掘，并對之前那些雜亂的數據信息進行統一整理。第二點就是根據招標采購業務的實際特點，結合實際業務需求的基礎上，提出大數據今后的應用方向。并從這一應用方向中選擇大數據的實際應用點，將其與招標采購業務流程進行實時的連接。第三點是對選擇出來的大數據應用點進行分析，找出其中存在的問題和難點，集中對這些問題和難點進行分析和研究，并對最終研究出來的結果進行評估。第四點是針對當前我國招標采購大數據，對其應用點進行細致的區分和規劃，并根據數據的使用狀況提出大數據在招標采購管理中的具體實施方案。以業務流程分析為主要的輔助依據，以大數據的實際應用為具體導向。具體研究思路如圖1所示。
2研究方法和過程
2.1歷史采購數據的挖掘和診斷
研究人員會根據招標采購業務流程中可能會涉及的業務環節進行詳細的分析，由于每一項業務之間所涵蓋的數據信息都非常豐富，這也為數據采集工作奠定了基礎。將所有歷史采購的數據進行整合，并將零散的物資供應鏈條分成若干類別。對數據的質量進行系統的分析，這樣做也是為了大數據應用點的提出創建堅實的基礎。
2.2大數據在招標采購中的具體應用
隨著整體業務流程場景化的不斷應用，招標采購業務管理的實際水平也會得到極大的提升。除此之外，還可以采用調查分析法來對其進行分析。由于招標采購業務的流程主要包括四個主要范疇。而研究人員選擇其中的幾個大數據的應用點，并將其分為事前和事后兩個時間段來進行分析。具體情況見圖2。在事前階段，研究人員主要通過對大數據的分析，為物資的采購提供相應的數據參考，然后通過對采購物資的分析來不斷優化完善物資的分類方法，再將物資分析與招標分析方法進行有機的整合。除此之外，在對物資的類別和采購方式進行分析之后，就可以讓每個物資品類都可以找到與之相對應的采購方式。在事后階段，研究人員會通過對一系列大數據的分析，先總結出物資采購的相關規律特點，并通過對一些相對比較重點的物資進行報價處理，在了解報價的范圍之后，總結出重點物資的報價規律，判斷他們是否存在違規等現象。
2.3大數據應用點評估
研究人員在對大數據進行定性評估分析時，大數據的分析點都是不同的，所以要求研究人員要充分的了解業務的流程以及數據的梳理情況，從數據分析等多個角度對大數據進行實時評估。在綜合考慮了實際的應用價值之后，再將大數據的分析點進行等級評估。
2.4大數據在招標采購管理中的實施方案
研究人員通過對大數據應用點的分析，分析之后確定大數據應用的設施方案。然后根據優先級的劃分，將大數據的應用分為三個主要實施階段。招標采購業務大數據應用點實施規劃如表1所示。在對大數據的實際應用中，首先要關注的目標就是及時優先級中應用價值高、可行性強的分析點，研究人員就可以以這一分析點作為主要的切入點，這樣就能夠在較短的時間之內實現物資業務管理的水平。而且隨著這一分析點的不斷提升，其業務管理的水平也會有相應的提升。其次需要關注的就是第二優先級中可行性較強的大數據應用點，這一應用點不僅可行性強，而且運用難度也比較適中，適合大范圍使用。而中長期目標就是第三、第四應用點中難度大，運用難度高的大數據應用點。
3結語
大數據在當前社會的發展中所占的比重越來越大。大數據現已成為推動社會經濟發展和產業競爭的主要因素。隨著我國信息化城市建設的不斷發展，對全新能源的開發，使得招標采購管理對大數據應用的需求也是越來越大，大數據理論的應用可以創造社會價值，能夠促進招標采購業務管理的水平，這也是為我國實施大數據戰略提供了堅實的后盾。
作者:李悅 單位:哈爾濱市軌道交通建設辦公室
大數據應用論文:大數據運營管理信息系統應用
編者按：
針對某省運營管理系統存在的數據問題和現狀，中國移動江蘇有限公司網絡部趙恒特撰寫《基于大數據的M運營商運營管理信息系統應用》一文，該文有針對性地提出了Hadoop處理框架和數據集市云化的架構應用，描述了基于大數據平臺的某運營商運管管理信息系統，其內部優化了KPI管理、產品管理、決策管理、生產服務、客戶服務、投訴管理、市場營銷等管理流程，在項目實施過程中形成了統一大數據中心管理模式，打破了部門壁壘和信息鴻溝，效果良好，獲得運營商集團公司科技與業務創新一等獎。可供相關技術人員學習、參考。
摘要：
針對某省運營管理系統存在的基礎數據問題和現狀，有針對性提出了Hadoop處理框架和數據集市云化的架構應用。本文描述了基于大數據平臺的某省運營商運管管理信息系統，在內部優化了包括KPI管理、產品管理、決策管理、生產服務、客戶服務、投訴管理、市場營銷等在內的管理流程，在項目實施過程中形成統一大數據中心管理模式，打破部門壁壘和信息鴻溝，產生了良好的效果，獲得運營商集團公司的科技與業務創新一等獎。
關鍵詞：
大數據；運營商；運營管理；管理信息系統
1大數據運營管理信息系統的實現
大數據運營管理信息系統采用新技術，運營商采用業界先進且成熟的技術，考慮技術產品升級時的平滑度，保障所選的軟硬件具有較長的生命周期，滿足需求，立足應用，構建大數據生態體系。先進成熟技術包括Hadoop處理框架、實時流式數據處理框架等。（1）Hadoop處理框架（見圖2）一個分布式系統架構，充分利用集群的威力高速運算和存儲，提供高傳輸率來訪問、計算已存儲的海量數據；是大數據處理架構的事實標準。部署x86Hadoop平臺，在聚合層存儲海量源數據，并針對海量、非結構化/半結構化數據提供大規模處理的計算能力，在數據資產層存儲離線數據資產，提供高效查詢的資產存儲管理能力。（2）流數據處理框架（見圖3）一種分布式、容錯的實時計算系統，實時處理消息并根據處理結果提供相應的處理機制。部署x86流數據處理平臺，在聚合層對接源系統實時數據接口，實時采集源信息并進行處理與分析；結合數據資產層的數據應用模型、數據應用層的規則引擎及時做出業務目標的響應（實時BI、實時事件觸發式營銷等）。（3）業務規則引擎規則引擎將業務決策從應用程序代碼中分離出來，并使用預定義的語義模塊編寫、解釋業務規則，并根據業務規則做出業務決策。將數據按照一定的業務規則分類，匹配業務系統的數據需求場景；定義事件與流程，面向其他業務平臺將數據中心的能力按照規則主動式提供。（4）數據服務樞紐（見圖5）按照數據開放公共語義模型，將數據資產封裝成共享業務數據模型，形成上層服務；屏蔽系統接口的技術差異，使用ESB統一協調服務運營。實現企業數據中心的數據與應用分離，提高數據安全性與復用性。通過ESB服務樞紐對其他業務系統開放標準化的服務接口，形成系統間的有效互動。（5）數據集市云化架構構建云計算x86資源池，提供按需伸縮的基礎設施架構；承載分布式MPP數據庫系統，提供平滑擴展的強大并行計算能力。利用x86資源池的低成本，提供數據集市的所需要的易擴展、分布式、高并發的數據計算能力；面向應用存儲在線高熱度訪問、海量實時計算的數據。
2大數據運營管理信息系統解決的問題
大數據運營管理信息系統平臺的應用，解決了M運營商原有平臺的相關問題，豐富了大數據的基礎數據源，加強了數據分析能力，通過統一存儲和管理，打破了數據鴻溝，提高了系統效率。
2.1增加網絡數據采集，豐富大數據的基礎數據源
運營商產品包括傳統通信、上網、內容和應用。傳統通信有通話、短彩信、開關機和停復機。用戶上網途徑有3種：2G、3G、4G的手機上網方式；WLAN無線寬帶上網方式；有線寬帶上網方式。內容和應用有手機郵箱、手機游戲、手機視頻、手機音樂、手機電商和應用商店等。通過在相應的網絡上增加網絡信息采集器，實現數據采集。比如：針對通話，可以采集到的信息有主叫號碼、被叫號碼、主叫開始時間、被叫開始振鈴時間、被叫接通時間、主被叫掛機時間、主叫發起呼叫位置、被叫振鈴位置、被叫掛機位置、主叫掛機位置、呼叫轉移號碼、主叫手機類型、被叫手機類型和通話質量。M運營商增加了上述的各種產品的數據采集，每天采集數據量約30TB。這些數據的價值體現在可以用來指導網絡的維護和優化，可以用來提高服務質量，可以通過針對性的營銷提升效果，可以與第三方合作增加數據的挖掘價值。
2.2加強基礎數據分析，生成大數據次級數據字典
通過基礎數據分析，加工生成二級數據豐富數據字典，分析匯總指標體系包含指標3000多個，針對公司各部門各分公司和各業務產品訂制報表500多張。繼續以通話為例，為了指導和考核網絡維護與優化工作，通過對全網所有通話行為的分析，提煉出如下指標：呼叫接續時長=被叫開始振鈴時間-主叫開始時間，加上主叫所在位置聯合分析，可以對所有網絡小區的平均呼叫接續時長進行統計分析，得出需要優化的小區、派發優化任務給維護部門、并可以跟蹤優化效果；同樣呼叫接續時長、主叫位置、主叫手機類型聯合分析，可以得出手機和網絡配合情況，指導問題手機生產商進行手機的質量改進。繼續以通話為例，為了指導和考核營銷部門的優惠購機入網套餐銷售質量，通過對一定時間區間內各個渠道銷售的優惠手機通話分析，提煉出如下指標：渠道銷售終端次月活躍度=Count（主叫號碼&主叫手機類型in渠道a終端銷售庫）/sum（渠道a終端銷售庫）。這樣分析可以對渠道銷售質量進行指導和考核，并能有效發現渠道通過假銷售套取銷售傭金的欺詐行為。
2.3統一存儲和管理，打破數據鴻溝提高系統效率
M運營商的大數據系統當前存儲數據量超過30PB。在統一存儲和數據管理的基礎上，通過聯合關聯，把以前分散在各個信息系統中的數據匯聚拼接出用戶真正的全貌。通過泛在挖掘，把握單個用戶的真正需求，挖掘潛在用戶群的行為特征。系統能力增強的實時應用，能及時地反應到用戶服務上。
作者：趙恒 單位：中國移動江蘇有限公司網絡部
大數據應用論文:大數據應用與高校后勤管理淺談
一、大數據豐富校園生活
每年9月都是高校迎新的日子，隨著信息化手段的進一步發展，目前的高校迎新開始呈現出電子化等特點，不少學校不僅擁有專門的迎新網站，還將微信、APP等移動互聯技術應用到迎新當中，過去繁瑣的報到流程已經簡化為掃一掃條形碼，一切全搞定，有些高校甚至實現了網上選宿舍、手機一卡通等服務，這些電子化應用極大方便了新生報到及融入校園。例如北京郵電大學今年首次嘗試用微信進行迎新，學生通過添加北京郵電大學官方微信賬號，即可享受到校指引地圖、校車查詢、迎新辦理等服務。北郵官方微信賬號專門有一個“校園迎新”欄目，該欄目中有迎新辦理、新生指南、全景引導等多種校園訊息。此外，通過大數據和云計算等手段，還可以實現對人流量的控制。如在浴室、游泳館、自習室等地安裝人流監控設備，出入的人數以及等待的人數都可以在網上或者微信上實時查詢，學生可以根據這些數據來決定是否去洗澡、游泳，以及該去哪個自習室上自習。
二、手機投票提升服務質量
信息系統不僅能夠滿足標準化和精細化管理需求，還可以幫助后勤員工提升服務意識。隨著我國經濟發展和人民生活水平提高，加之大學生群體中獨生子女比率提升，高校后勤服務對象消費觀念更新，對后勤管理的服務質量標準不斷提高，不僅要求吃得飽，還要滿足吃得好;不僅要求住得寬敞，還要滿足住得舒適。因此，不斷提升后勤服務質量成為高校后勤管理的新需求。在傳統模式下，每學期可以請學生為后勤人員進行打分。在信息化條件下，可以采用網上投票等手段。如今，在云計算和大數據的幫助下，還可以利用微博、微信等社交手段提升高校后勤管理服務質量。現在很多服務業都利用微信平臺對用戶進行服務，高校后勤管理部門也可以借鑒這種手段，或者開發相應的手機軟件，使學生可以對后勤服務進行實時投票、投訴、反饋。例如可以每周對各個食堂的菜譜進行投票，食堂可以根據學生的投票結果進行調整。
三、以考促學提高人員素質
可以利用信息化手段對后勤員工進行培訓。隨著各種社交軟件在人們中的普及，可以利用手機等終端對后勤員工進行每周一考，或者每月一考，將后勤管理規范條例等考題以短信、手機軟件、甚至是社交工具的形式發送到后勤員工的手機上。考試并不是目的，而是一種手段。如果員工回答正確，可以有相應的獎勵。如果回答錯誤，則將正確答案發送到員工的手機上，使其加深印象，達到以考促學的目的。
四、餐飲管理提升食堂精細化水平
食堂管理是學校后勤管理的一個重要組成部分，是學校教學、科研、師生生活的重要保障，而且學校食堂是非盈利部門，既不能牟利，還要搞好伙食，不僅吃好，還得健康。然而，在實際食堂管理中存在著很多問題，如食堂管理體制不完善，由于成本原因導致菜品單一、員工素質較低等，這些都制約著食堂的良好發展。信息化能夠幫助企業構建標準化的流程和提升精細化管理水平，同樣信息系統也可以幫助學校食堂實現標準化和精細化管理。以物流配送為例，利用系統進行原材料的配送、出庫、入庫登記、結算，可以加強采購組與各餐廳之間的信息溝通，提高了成本核算和存貨控制的工作效率和性。通過引進餐飲管理系統，可以實現菜譜的標準化、采購流程的標準化、成本核算精細化，從而完善了成本控制、提高了溝通效率、加強了內部管理。同時，方便快捷的數據傳輸和統計功能還可以為領導層做管理決策提供及時、的數字依據。此外，把信息管理系統引進食堂管理中，不僅可以提高食堂的效益，結合市場合理制定食堂的飯、菜價格，而且還可以更好地進行協調，統一管理，不斷優化食堂管理。，高校后勤信息化建設并無標準模式可循，由于各個高校的規模、實力、發展水平不同，加上地區差異，使得我國高校后勤信息化建設的發展程度參差不齊。部分高校的后勤信息化建設還停滯在比較傳統、原始的管理和服務狀態，這種情況多出現于學生數量較少、資金保障不足的高校中。而少數高校的后勤服務管理，已走在信息化的最前沿，將后勤管理和業務集成到統一平臺上，實現了高效的管理和品質的服務；而大部分高校僅停留在局部信息化的層面上，開發或引進如資產管理、公寓管理、采購管理等熱門管理軟件，滿足其最迫切的管理需求。如公寓管理在信息化建設相對起步較快，較多學校應用了公寓管理系統，實現了學生公寓的床位、人員、公寓設備、服務等的動態管理。對此，各個高校可以根據自身需求，找到不同的切入點，為后勤管理引入信息化管理手段。同時，還有兩點需要注意。首先，在思想上，高校后勤管理服務也要順應大勢，樹立移動互聯網思維、創新性思維、人本化思維、精細化思維、簡約化思維、透明化思維、物聯網思維、大數據思維。例如，移動后勤將是高校后勤現代化工作方式的體現。就目前來看，智能手機后勤APP軟件平臺還大有潛力可挖。其次，后勤管理服務創新重在“有點子”，要有思想火花的碰撞和靈感的激發，“想得到”才能“做得到”。
作者：高翊 單位：四川理工學院后勤管理處
大數據應用論文:大數據應用技術和潛在問題研究
大數據應用的技術體系
1.云計算及其編程模型MapReduce
1）云計算簡述:大約從2007年下半年開始，云計算由于其能提供靈活動態的IT平臺，服務質量保障的計算環境以及可配置的軟件服務而成為熱門話題。文獻中給出了云計算的比較完整的定義：云計算一個大規模的由規模經濟驅動的分布式模型，位于其中的抽象的、虛擬的、動態可擴展的、可管理的計算能源、存儲、平臺、服務等通過因特網交付給外圍客戶。由上述云計算的定義我們知道，云計算首先得是大規模的、分布式的，少量的計算處理用不著云計算；其次，它是跟規模經濟相關聯的，比較形象的說法是，云計算資源跟“電”和“水”一樣，是按需收費的，并且是大規模式銷售的，通常在建立數據中心時會考慮成本因素；，它從廣義上說是給客戶的一種服務，可以包括提供存儲、計算等資源。云計算可以按服務的內容和交付形式分為基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）等。在單機芯片集成度已進入極小尺度級別，指令級并行度提升也已接近極限的今天，縱向擴展似乎已經不夠現實，這也遠遠不能滿足大數據處理的要求，而云計算的要求比較寬松的允許異構網絡的橫向擴展，無疑給大數據處理帶來了方便。云計算能為大數據提供強大的存儲和計算能力，可以迅速、方便地為大數據提供服務，另一方面，大數據的處理需求也為云計算提供了更多更好地應用場景。由此，云計算作為大數據的支撐技術而倍受業界關注。
2）MapReduce簡述:關系數據庫作為一門發展了近40年的主流數據管理技術，主要用于聯機事務處理（OLTP）應用、聯機分析處理（OLAP）應用和數據倉庫等，然而擴展性方面的局限使得其在大數據時代遇到了極大障礙。2004年，谷歌公司提出的MapReduce技術，以其利用大規模廉價服務器以達到并行處理大數據的目的而倍受學術界和工業界的關注，廣泛應用于機器學習、數據挖掘等諸多領域。基于MapReduce的大數據分析處理研究也在不斷深入，MapReduce作為一種非關系數據庫的數據管理工具代表，克服了關系數據庫擴展性方面的不足，將計算推向數據也迎合了大數據時代的內在需要，成為大數據處理的基本工具。而Hadoop作為模仿MapReduce而實現的一個云計算開源平臺，目前已成為最為流行的大數據處理平臺。MapReduce對于大數據處理的基本構思是分而治之，將大數據任務分解為多個子任務，將得到的各個子結果組合并成為最終結果。MapReduce對大數據的處理可抽象為兩個主要階段，Map階段對初始的鍵-值（Key/Value）對進行處理，產生一系列的中間結果Key/Value對，然后通過Reduce階段合并所有具有相同Key值的Key/Value對，得到最終結果。MapReduce對數據進行處理的應用思路如圖2所示。
2.大數據獲取技術
每天都有大量數據產生，并且這些數據通過不同的途徑，以不同的形式被接收和記錄。本節將簡單介紹幾種常見的大數據獲取途徑。
（1）傳感器技術:近年來，傳感器技術蓬勃發展，無論是道路交通方面，還是醫療機構方面甚至是個人工作和生活場所，傳感器無處不在，大量的數據源源不斷地被傳感器所接收。可以說，傳感器的迅速普及，為大數據的獲取提供了有力地保障。傳感器技術的快速發展，也促進了傳感器網絡的逐步完善。由于構建傳感器網絡的設備、數據收集、數據存儲等方面的差異性，網絡孤島普遍存在，如何解決異構網絡所帶來的數據共享問題一度成為研究者們面臨的極大挑戰。不過隨后美國國家技術標準局（NIST）和IEEE共同組織了關于制訂智能傳感器接口和連接網絡通用標準的研討會，產生了IEEE1451傳感器/執行器、智能變送器接口標準協議族，試圖解決傳感器市場上總線不兼容的問題。2005年，開放地理空間聯盟（OGC）提出了一種新型的傳感器Web整合框架標準，讓用戶能透過Web的界面來進行節點搜尋、數據獲取及節點控制功能。文獻[12]對無線傳感器網路的路由協議進行了研究，指出多路徑路由發展的趨勢和挑戰，而文獻[13]則從生物學、商業、環境、醫療、工業以及軍事等領域探討無線傳感器的重要用途。
（2）Web2.0技術:“Web2.0”的概念2004年始于出版社經營者O'Reilly和MediaLiveInternational之間的一場頭腦風暴論壇，所謂的Web2.0是指互聯網上的每一個用戶的身份由單純的“讀者”進化為了“作者”以及“共同建設人員”，由被動地接收互聯網信息向主動創造互聯網信息發展。Web2.0伴隨著博客、百科全書以及社交網絡等多種應用技術的發展，大量的網頁點擊與交流促使了大數據的形成，給人類日常生活方式帶來了極大的變革。
（3）條形碼技術:條形碼的使用給零售業帶來了革命性的改變，通過內嵌ID等信息，條形碼在被掃描之后，快速在數據庫中進行ID匹配，便很快就獲知該產品的價格、性能、產商等具體信息，條形碼被廣泛應用于零售商店的收銀以及車站售票等業務中，每天大量的商品銷售記錄通過掃描條形碼而產生。近年來的智能手機的盛行，手機應用如微信中的二維條形碼也隨處可見，文獻[14]中設計了一種應用于手機應用的彩色二維條形碼，改善了用戶對應用程序的感受。
（4）RFID技術:RFID與條形碼相比，擴展了操作距離，且標簽的使用比條形碼容易，攜帶一個可移動的閱讀器便可收集到標簽的信息，被廣泛應用于倉庫管理和清單控制方面。RFID標簽可以分為兩類，一類是被動的，如今被廣泛使用，其造價便宜，但是沒有內部電源，依靠閱讀器的射頻波產生能量，操作距離也很近，因而其適用性也受到了制約；另一類是主動的，其擁有內部電源，因此造價較貴，但是操作距離遠，存儲能力強，因而適用范圍廣，在未來這種標簽會受到普遍歡迎的。學術界在RFID技術的研究上已經取得巨大的進步。較早的工作重心大多集中在對標簽進行搜集的問題上，即盡可能快地在大量標簽中搜集他們的ID，而這方面較大的挑戰是解決多標簽同時競爭較窄的信道引起沖突的問題。研究者們提出了兩類解決思路，即基于ALOHA的協議[15-17]和基于樹的協議[18-20]。而其他的工作專注于標簽評估問題，即使用統計學的方法來評估一個龐大系統中的標簽數目[21-23]。總之，RFID由于具有操作范圍廣泛、性能穩定以及高存儲能力等特性，在工業界中將具有巨大的潛力。
（5）移動終端技術:隨著科學技術的發展，移動終端諸如手機、筆記本、平板電腦等隨處可見，加上網絡的寬帶化發展以及集成電路的升級，人類已經步入了真正的移動信息時代。如今的移動終端已經擁有極強的處理能力，通信、定位以及掃描功能應有盡有，大量的移動軟件程序被開發并應用，人們無時無刻不在接收和發送信息。目前，智能手機等移動設備的數量仍然在迅猛增長中，移動社交網絡也會日益龐大和復雜，海量的數據穿梭其中，針對移動數據的處理也將越來越復雜。
3.文件系統
文件系統是支撐上層應用的基礎，本小節將簡要介紹面向大數據處理的文件系統如谷歌分布式文件系統（GFS），以及一些其他的分布式文件系統。
1）分布式文件系統GFS:谷歌自行開發的文件系統GFS[24]，是一個基于分布式集群的大型的分布式文件系統，它為MapReduce計算框架提供底層數據存儲和數據性。GFS采用廉價普通磁盤，并把磁盤數據出錯視為常態，其自動多數據備份存儲也增加了性。GFS基本構架中，GFSMaster保存了GFS文件系統的3種元數據：命名空間、Chunk與文件名的映射表、Chunk副本的位置信息，前兩個數據通過操作日志提供容錯處理能力，第3個數據存儲在ChunkServer上，可在Master失效時快速恢復Master上的元數據；GFSChunkServer是用來保存大量實際數據的數據服務器。GFS基本工作過程如下：（1）在程序運行前，數據已經存儲在GFS文件系統中，程序執行時應用程序會告訴GFSServer所要訪問的文件名或者數據塊索引是什么。（2）GFSServer根據文件名和數據塊索引在其文件目錄空間中查找和定位該文件或數據塊，并將這些位置信息回送給應用程序。（3）應用程序根據GFSServer返回的具體Chunk數據塊位置信息，直接訪問相應的ChunkServer。（4）應用程序直接讀取指定位置的數據進行計算處理。后來谷歌對GFS進行了改進，并對新版本命名為Colosuss，主要對原有的單點故障、海量小文件存儲等諸多問題進行了修正和改進，使得系統更加安全和健壯。
2）其他文件系統:除了谷歌的GFS，業界其他針對大數據存儲需求的文件系統也層出不窮。Hadoop的文件系統HDFS[25]作為模仿GFS的開源實現，同樣也為Hadoop的底層數據存儲支撐，提供數據的高性和容錯能力，擁有良好的擴展性和高速數據訪問性；SUN公司開發的Lustre[26]是一個大規模的、安全的、具備高可用性的開源集群文件系統，美國能源部在此基礎上實現了新一代的集群系統，顯著提高了輸入輸出速度，已在高校、國家實驗室和超級計算研究中心產生了深遠影響；Facebook推出的針對海量小文件的文件系統Haystack[27]有效地解決了海量圖片存儲問題，它實現多個邏輯文件共享一個物理文件功能，并且增加緩存層，部分元數據直接被加載到了內存。
4.數據庫系統
1）上在索引、數據壓縮、可視化等技術方面的不斷擴展，使其具有了高性能的優勢。但是諸多因素導致了其擴展性面臨嚴峻的挑戰，主要體現在：（1）單機方面，并行數據庫基于高端硬件設計，認為查詢失敗是特例且糾錯復雜，不符合大規模集群失效常態的特性；（2）集群方面，并行數據庫對異構網絡支持有限，各節點性能不均，容易引起“木桶效應”。總之，并行數據庫的擴展性方面的缺陷使其面臨大數據的處理往往力不從心。
2）MapReduce分布式數據庫BigTable:由前述知，并行數據庫由于擴展性方面的缺陷無法勝任大數據的處理工作，以谷歌公司推出的BigTable為代表的未采用關系模型的NoSQL（NotonlySQL）數據庫由此誕生，NoSQL數據庫具有模式自由、簡易備份、接口簡單和支持海量數據等特性，對于大數據的存儲和處理十分有效。谷歌在GFS之上又設計了MapReduce的分布式數據庫BigTable[28]，為應用程序提供了比單純地文件系統更方便、更高層的數據操作能力，BigTable提供了一定粒度的結構化數據操作能力，主要解決一些大型媒體數據（Web文檔、圖片等）的結構化存儲問題。BigTable主要是一個分布式多維表，表中數據通過行關鍵字、列關鍵字和時間戳來進行索引和查詢定位，并且BigTable對存儲在表中的數據不做任何解釋，一律視為字串，具體數據結構的實現由用戶自行定義。BigTable的基本構架如圖3所示，BigTable中的數據均以子表形式保存在子表服務器上，最終以GFS文件形式存儲在GFS文件系統中。客戶端程序直接和子表服務器通信，Chubby服務器完成對子表服務器的狀態監控，主服務器通過查看Chubby服務器目錄來終止出現故障的子服務器并將其數據轉移至其他子服務器。另外，主服務器還完成子表的創建和負載均衡等操作。當然，由于MapReduce將本來應由數據庫管理系統完成的諸如文件存儲格式的設計、模式信息的記錄、數據處理算法的實現等工作轉移給了程序員，從而導致程序員負擔過重。另外，MapReduce是面向非結構化的大規模數據處理的，往往是一次處理，因而同等硬件條件下的性能也比并行數據庫低[29]。
3）數據庫的深層探討：并行數據庫具有高性能的優勢，但擴展性問題阻礙了其在大數據處理上的進一步發展，而MapReduce性能和易用性上提升空間較大，因此目前兩種方案均不理想。業界經過長時間的探討，基本一致認為并行數據庫和MapReduce各取其長，相互融合，也許是一種不錯的道路[30]。由此誕生了并行數據庫主導型、MapReduce主導型以及并行數據庫與MapReduce集成型3類大數據處理數據庫。
（1）并行數據庫主導：型這類數據庫的基本思路是在并行數據庫上增加MapReduce的大數據處理能力，將數據分析過程轉移到數據庫內進行，使得原系統同時獲得SQL的易用性與MapReduce的開放性。但是，并行數據庫的擴展能力與容錯能力并未得到改善，典型的系統如Greenplum[31]、Asterdata[32]等。
（2）MapReduce主導型：這類數據庫的基本思路是利用關系數據庫的SQL接口和模式支持技術改善MapReduce的易用性。通過SQL接口，可以很簡便的完成查詢分析等操作，大大減輕了程序員的負擔，但MapReduce的性能方面仍有待提升，典型的系統如Facebook的Hive[33]和Yahoo！的PigLatin[34]等。
（3）并行數據庫與MapReduce集成型：這類數據庫兼顧并行數據庫與MapReduce的長處，主要分兩種思路：按功能將并行數據庫與MapReduce分別設計到相應的部位以形成一個完整系統，以及整合并行數據庫和MapReduce這兩套完整的系統以構成一個混合系統。及時種思路典型代表是耶魯大學提出的HadoopDB[35]，它將Hadoop作為調度層和網絡溝通層，關系數據庫作為執行引擎，盡可能地將查詢壓入數據庫層處理，Hadoop框架的應用可以獲得較好的容錯性和對異構環境的支持，庫內數據查詢的使用則可獲得關系數據庫的高性能優勢。第二種思路的代表是Vertica數據庫[36]，它擁有兩套獨立完整的系統，Hadoop負責非結構化數據和耗時的批量復雜數據的處理，Vertica負責結構化數據的處理以及高性能的交互式查詢。當然，這些思路仍非理想的方案，例如，HadoopDB喪失了MapReduce較低的預處理和維護代價等，Vertica則依舊存在Vertica擴展性問題和Hadoop的性能問題。因此，在大數據面前，數據庫系統的研究還有很長的路要走，我們在總結傳統的數據庫經驗的同時，還要積極了解新興的數據庫系統，才能更好地促進適應現今大數據發展的優良數據庫的面世。
5.大數據分析技術
用于大數據集的分析方法很多，包括統計學、計算機科學等各個領域的技術。本小節將簡要介紹其中幾種典型的大數據分析技術，當然，這些技術同樣適用于少量數據集的分析，但大數據集環境下的應用無疑會發揮更加明顯的作用。
（1）A/B測試：傳統的A/B測試，是一種把各組變量隨機分配到特定的單變量處理水平，把一個或多個測試組的表現與控制組相比較，進行測試的方式。現在的A/B測試主要用于在Web分析方面，例如通過對比統計新舊網頁的用戶轉化率，來掌握兩種設計的優劣等。大數據時代的到來為大規模的測試提供了便利，提高了A/B測試的性。由于移動設備及技術的迅猛發展，移動分析也逐漸成為A/B測試增長最快的一個領域。
（2）聚類分析聚類分析：
指將物理或抽象的集合分組成為由類似的對象組成的多個類的分析過程。聚類分析是一種探索性的數據挖掘分析方法，不需事先給出劃分的類的具體情況，主要用在商業、生物學、因特網等多個領域中。對于大數據的分析處理，通過聚類可以簡化后續處理過程，并且可以發現其中隱藏的某些規則，充分發揮了大數據的作用。
（3）集成學習：集成學習指的是使用一系列“學習器”進行學習，并使用某種規則把各學習結果進行整合從而獲得比單個“學習器”更好的學習效果的一種機器學習方法。對于大數據的集成學習，可以更好地提煉和把握其中的本質屬性。
（4）神經網絡：神經網絡是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型，它依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，來達到處理信息的目的。神經網絡作為一門新興的交叉學科，是人類智能研究的重要組成部分，已成為腦科學、神經科學、認知科學、心理學等共同關注的焦點。神經網絡對于大數據的并行處理，無疑也是一種比較可行的方式。
（5）自然語言處理：自然語言處理是計算機科學領域與人工智能領域中的一個重要方向，它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。人與計算機的通信交流往往存在很多歧義，如何消除這些歧義，將帶有潛在歧義的自然語言輸入轉換成某種無歧義的計算機內部表示，是自然語言處理的主要問題。大數據時代意味著有大量的知識和推理來完成消除歧義現象的可能，這也給自然語言處理帶來了新的挑戰和機遇。大數據分析技術還有很多，例如模式識別、空間分析、遺傳算法等等，并且研究者們還在不斷地尋找新的更有效地分析方法，另外通過結合多個方法來實現數據分析往往也能達到非常明顯的效果。
6.大數據的可視化
面對海量的數據，如何將其清晰明朗地展現給用戶是大數據處理所面臨的巨大挑戰。無論是學術界還是工業界，對大數據進行可視化的研究從未停止。通過將大數據圖形化、圖像化以及動畫化等展示出來的技術和方法不斷出現，本節將介紹幾種典型的案例。
（1）宇宙星球圖：俄羅斯工程師RuslanEnikeev根據2011年底的互聯網數據，將196個國家的35萬個網站數據整合起來，并根據200多萬個網站鏈接將這些“星球”通過“關系鏈”聯系起來組成了因特網的“宇宙星球圖”[37]。不同顏色代表不同的國家，每個“星球”的大小根據其網站流量來決定，而“星球”距離遠近根據鏈接出現的頻率、強度等決定。類似地，對于具有復雜結構的社交網絡，“宇宙星球圖”同樣也十分適用，可以根據個人的知名度、人與人之間的聯系等進行繪畫星球圖。
（2）標簽云：“標簽云”的設計思路主要是，對于不同的對象用標簽來表示，標簽的排列順序一般依照字典排序，按照熱門程度確定字體的大小和顏色。例如對于某個文檔，出現頻度越高的單詞將會越大，反之越小。這樣，便可以根據字母表順序和字體的大小來對各單詞的具體情況一目了然。文獻[38]通過將地圖上的各個物理位置根據描述的具體程度用“標簽云”表示，使得用戶對各個場所的知名程度有個清晰的認識。
（3）歷史流圖：文獻[39]提出了一種用于可視化文檔編輯歷史的“歷史流圖”，對于一個面向大眾的開放文檔，編輯和查閱都是自由的，用戶可以隨時自由的對文檔進行增加或刪除操作。“歷史流圖”中，橫坐標軸表示時間，縱坐標軸表示作者，不同作者的不同內容對應中間部分不同顏色和長度，隨著時間的推移，文檔的內容不斷變化，作者也在不斷增加中。通過對“歷史流圖”的觀察，很容易看出各人對該文檔的貢獻，當然，除了發現有人對文檔給出有益的編輯外，也存在著一些破壞文檔、刪除內容的人，但總有逐漸被修復回去的規律。像維基百科等的詞條注釋文檔，“歷史流圖”的可視化效果十分明顯。關于大數據可視化的方面努力還有很多，不同的“源數據”有不同的可視化策略，大數據可視化的研究工作仍有待進行下去。
大數據應用所面臨的問題
大數據時代面臨的首要問題是人力和財力問題，IDC分析稱，大數據相關人才的欠缺將會成為影響大數據市場發展的一個重要因素。據調查，僅美國就缺少大約14萬到19萬的具有深層次數據分析技巧的專業技術人員以及150萬針對大數據的經理人。據阿里巴巴稱，雖然其各類業務產生的數據為數據分析創造了非常好的基礎條件，然而卻招聘不到合適的數據科學家而影響了研發進展。高德納公司預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。其中有190萬個工作崗位將在美國，每一個與大數據有關的IT工作，都將在技術行業外部再建3個工作崗位，這將在美國再創建將近600萬個工作崗位。數據科學家是復合型人才，是對數學、統計學、機器學習等多方面知識的綜合掌控，能對數據做出預測性的、有價值的分析。因此，各國對大數據人才的培養工作應當快速有效地著手執行。大數據的接收和管理也需要大量的基礎設施和能源，無論是傳感器還是數據中心的服務器，都需要大量的硬件投入和能源消耗，這也就意味著大數據處理的財力需求極為可觀。如何處理好大數據產生的資金投入比例，也成為了各國和各企業決策者面臨的難題。另外，大數據還將面臨嚴重的安全和隱私問題。首先，隨處可見的傳感器和攝像頭等設備，會監視并記錄人們位置等信息，通過海量數據的分析，便可輕易了解人們的行蹤規律，從而可能給人們帶來生命和財產安全；其次，“云設施”的經濟劃算，推動了僵尸網絡的發展及海量并行處理破解密碼系統的可能性；，由于云計算要求我們放棄自主計算能力，當整個社會的信息，包括個人信息、商業信息都存儲在巨頭們提供的“云”上時，我們只能寄希望于這些巨頭們都是道德高尚的圣人，否則我們將面臨災難性損失。面對這些安全威脅，學術界和工業界也都紛紛提出自己策略。針對基于位置服務的安全性問題，文獻[40]提出了一種k-匿名方法，即將自己與周圍k-1個用戶組成一個范圍集合性對象來請求位置服務，從而模糊了自己的位置。文獻[41]提出的策略是，搜集周圍的k-1個用戶的位置信息，并以其中的某一個的名義發送位置服務請求，從而也達到隱藏坐標的目的。Roy等人將集中信息流控制和差分隱私保護等技術融入云中的數據生成與計算階段，提出了一種隱私保護系統Airavat[42]，防止MapReduce計算過程中將非授權的隱私數據泄露出去，并且支持對計算結果的自動除密。Mowbray等人在數據存儲和使用階段使用一種基于客戶端的隱私管理工具[43]，提供以用戶為中心的信任模型，幫助用戶控制自己的敏感信息在云端的存儲和使用。蘋果最近申請了一項專利，叫做電子分析污染技術，能夠將用戶在蘋果產品上產生的行為數據進行污染和混淆，讓其他廠商獲取不到真正的用戶數據。這類信息安全保護的思路是：當各種加密措施無法徹底保護個人信息時，不如將大量的垃圾信息、錯誤信息充斥在真實有效的信息之中，讓竊取者不得不耗費巨大的成本從中分析。高德納公司分析指出，大數據安全是一場必要的斗爭，并且大數據本身更可用來提高企業安全。因為解決安全問題的前提是，企業必須先確定正常、非惡意活動是啥樣子的，然后查找與之不同的活動；從而，發現惡意活動，基于大數據來建立一個基線標準就很好地達到了這個目的。
，大數據的出現會促使IT相關行業的生態環境和產業鏈的變革。傳統的網絡公司運營模式是在自己的服務器上來管理若干產品和服務，并通過網絡連線提供給用戶終端，產生的數據歸公司獨有。然而，在大數據時代，這種模式已經難以勝任，服務公司往往會選擇租賃第三方的開放平臺來運營自己的業務。這樣，用戶提供數據，服務方處理數據，但數據的實際存儲地卻在第三方。大數據影響的IT產業鏈大致包括數據資源、應用軟件、基礎設施三大部分。數據資源方面，各大信息中心、通信運營商等積極研制和引用大數據技術，挖掘大量數據分析相關人才，數據資源的收集和開發產業逐步完善；應用軟件方面，隨著高性能云平臺的出現，云應用軟件也不斷被開發出來，用戶再也不必煩惱復雜的軟件安裝和配置過程，便可以輕松享受各種網絡應用服務；基礎設施方面，大數據對硬件的依賴，迫使高性能硬盤、低能耗服務器、小巧化個人終端等行業的快速發展。另外，大數據技術的日益成熟也會促使跨行業經營模式的發展。第三方可以將用戶的各種服務請求進行打包，然后利用大數據分析來尋求好的服務商的組合以反饋給用戶。對服務提供方來說，借助第三方可以更好地推銷自己的服務。而對第三方而言，可以獲得大量的分析數據，其中的利益也是可觀的，真正的實現了“雙贏”，同時也使得用戶獲得更好的服務體驗。
結束語
大數據時代挑戰與機遇并存，正確處理好大數據，不僅符合企業的利益，也給人們日常生活帶來極大的便利。本文對大數據的基本概念、處理流程以及相關技術進行了簡要的探討，并分析了大數據可能帶來的一些問題及應對策略。云計算目前是處理大數據的基礎技術，但其在安全和隱私方面的保障工作仍讓不少人感到懷疑，根本原因還是個人和商業的信息都存放在遠端的巨頭們提供的看不見的“云”上。大數據時代已經到來，但是，相應的技術體系和社會保障仍是亟需研究的應用課題。(本文圖略)
本文作者：竇萬春 單位：南京大學 計算機科學與技術系
大數據應用論文:大數據在電子政務中的應用
摘要：
隨著經濟社會和信息科技的快速發展，“互聯網+”已成為當今時代一種新的思維方式，大數據技術引領著各行業的創新發展。通過對大量數據進行分析整理，得出實用信息，可以模擬得出電子政務實際要求場景，加強對社會公眾的服務和對市場主體的監管,推進簡政放權和政府職能轉變,提高政府治理能力，為打造服務型政府、智慧型政府提供技術支撐。
關鍵詞：
大數據；電子政務領域；互聯網技術
當今社會移動互聯網、云計算等技術的發展迅猛，政府相關事務也逐漸朝著大數據方向發展。大數據技術針對大量復雜數據的分析、存儲、處理工作具有便捷度高的優勢。政府發展建設中，重大決策需要建立在大數據信息基礎之上進行分析，避免傳統依靠經驗、直覺等方法進行判斷。大數據技術的應用改變了傳統政府管理模式，借助大數據技術可以實現政府部門、社會公眾之間的信息共享，便于綜合性信息管理平臺的建立。
1大數據技術概述
1.1主要特點
及時,處理數據量大。大數據是當下社會發展的必然趨勢，各行業工作中每日處理數據量不斷增加，如果僅借助傳統管理方法無法保障高效、準時的要求，大數據技術應運而生。第二,不同類型數據的處理。大數據技術處理對象包括大量簡單的基礎數據，隨著技術的不斷進步，目前已逐步實現了對網頁、文本、XML、語音、圖像等非結構化數據的分析整合。第三,處理速度快。大數據技術可快速處理不同類型的數據，速度優勢十分明顯。此外，大數據技術的應用具有高價值、低密度的特點。針對部分零散、無規律性數據在短期內進行分析，并挖掘出數據內部潛在信息，便于政府部門研究、決策等工作的順利進行，提高政府管理和服務工作的時效性和科學性。
1.2大數據技術的介紹
大數據技術處理對象主要是常規軟件無法分析的數據，借助大數據技術進行相關數據的分析、存儲和處理，實現深層次數據挖掘管理，包括：大數據挖掘技術、分布式數據庫以及分布式軟件系統的集合和云計算處理。首先，數據的采集。大數據技術可以在采集數據的基礎上進行責任的異構，在分布式的數據源中進行數據的抽取和采集，然后再經過篩選、轉換以及集成，加載到相應的數據庫中，為政務數據挖據和分析打下堅實的基礎。其次，數據的存取。數據的存取過程是對關系數據庫以及非結構性數據量中的數據進行的存取，其中包含SQL、NOSQL等等。再次，基礎架構以及數據處理。在基礎架構的過程中，通過云計算的架構能夠進行云儲存的搭載，并且儲存分布式元件等等。數據的處理主要是對數據進行加工和處理，其中包含了對原始數據的整理和計算，編輯與分析等等。，數據的統計和挖掘。通過聚類分析、卡方分析以及距離等分析上，可以對數據進行統計分析，另外，其他常見的方法還有對應分析和多元分析。數據的挖掘技術主要是對在現有數據當中對一些圖形文件、視頻文件和音頻文件等等通過數據挖掘技術使用的各種算法進行的計算。這樣的計算所起到的作用是對未來進行的效果預測，以此實現高級別數據的分析需求，在數據挖據技術的使用過程中，需要有分類、預估以及相關性的描述和聚類等。
2大數據在電子政務領域的應用
2.1加強對大數據的搜集管理
電子政務是依靠著信息時代的進步慢慢發展起來的，所以它更需要大數據的應用。在收集時，要把范疇確立好，在電子政務有關的經濟文化、環境農業等等方便進行收集。掌握好收集方法，采用不同的數據源用不同的方法。采取一定的收集制度，把需要的數據用最快的方式進行收集，保障信息真實，不斷進行更新。每個種類的數據對應相應的分類實施管理。
2.2建立信息共享交換平臺
利用大數據技術，對各個政府部門以及社會群體所收集的信息進行分類和篩選，通過加工、分析和整合建設電子政務大數據信息共享交換平臺，提供信息承載服務和數據交換服務。在大數據的基礎上，信息共享交換平臺可以實現政府部門之間的橫向和縱向的信息集合，在跨地區、跨部門的條件下也能進行業務方面的交流和溝通，促進業務協同的開展。依托信息共享交換平臺，制定信息資源共享的統一目錄以及標準，產生服務社會公眾的開放性數據，有利于促進社會資源的有效開發和利用，為政府間跨層次的交流提供保障，也為社會管理、公共服務和宏觀調控提供數據支撐。
2.3大數據下電子政務決策系統的應用
在大數據技術的支持下，因為有較強大的信息數據存儲能力和較為突出的信息數據挖掘能力，并且信息的分析處理的作用力也非常強，這樣政府就可以從各個部門所收集的海量數據中提取出有用的信息進行分析和處理，以此提升政府的決策力度，提升決策的精準性和科學性，使政府在社會化管理工作的預警能力上有突出的表現，起到解決決策成本以及促進政府精細化管理的目的。
2.4建立保護數據安全的防護體系
大數據技術及應用蓬勃發展，大數據數量和價值快速攀升，與此同時，大數據安全威脅也將輻射到各行各業，因此應盡快建立一套保障政府數據安全的防護體系。加快推進數據安全保護立法進程，制定關于數據開放共享和跨境流動監管的法律條款，將工業互聯網、云計算等新技術新應用場景下的數據保護納入法律調整范疇。出臺國家數據安全保護戰略，積極參與國際規則的制定，提升我國在數據保護領域的話語權。加強數據安全保護技術攻關，加快數據安全監管支撐技術研究，提升針對敏感數據泄露、違法跨境數據流動等安全隱患的監測發現與處置能力。健全數據安全標準體系和評估體系，強化數據安全相關檢測與評估，推動開展數據跨境流動安全評估。
3結束語
本文針對大數據在電子政務領域中的應用進行了分析，提出大數據技術特點、優勢和應用范圍。信息化是當今世界經濟和社會發展的大趨勢，信息化水平已成為衡量一個國家和地區現代化水平的重要標志。我國政府部門應把握機遇，注重頂層設計，逐步推動大數據等新興技術的應用，積極培育政府大數據相關的應用創新模式，從而提高政府各部門的協同辦公效率和為民辦事效率，提升政府社會治理能力和公共服務能力。
作者:黃冬 單位:國家新聞出版廣電總局信息中心
大數據應用論文:大數據時代中計算機軟件技術的應用
摘要：
進入信息化的新時期，計算機技術正在融入各行業生產以及日常生活，在此前提下也體現了良好的實效性。相比于傳統模式而言，建立于大數據基礎上的計算機技術有助于提升整個的信息傳輸效果，同時也在根源上消除了信息傳輸中的各種阻礙。由此可見，大數據本身具有高增速性、多樣性以及大容量的特征，運用大數據用來處理海量信息有助于減少成本并且提高綜合效能。面對大數據的新時期背景，針對計算機軟件的相關技術措施也應當加以改進，探究完善技術運用的具體思路。
關鍵詞：
計算機軟件技術；大數據時代；具體應用
與傳統技術模式相比而言，大數據模式適合用來處理更大的數據容量，在此基礎上也突顯了高增速的特征。面對多樣化的信息處理與數據處理，運用大數據的模式更加符合現階段的信息化背景[1]。在此過程中，計算機軟件應當起到關鍵性與核心性的價值，對此有必要綜合考慮多樣的技術措施，依照因地制宜的思路來提升計算機在各個領域中運用的實效性。作為各個行業的企業而言，也應當密切結合大數據來洞察現階段的市場形勢，在此基礎上獲得精準度與豐富性更強的數據與信息。
1基本的技術類型
進入大數據的新時期，建立于大數據基礎上的計算機軟件相關技術正在逐步獲得改進。運用大數據技術，有利于緊密結合用戶針對大數據的真實需求，進而依照因地制宜的基本原則來開展技術運用。具體而言，與大數據密切相關的計算機軟件基本技術應當包含如下：首先是虛擬化的技術。從本質上講，虛擬化技術指的是管理虛擬資源，在此前提下優化配置各項資源以及數據信息。由此可見，虛擬化技術有助于消除過高的信息處理成本，針對信息處理的實效性也進行了提升，進而在較大限度內保障了靈活性[2]。其次是與信息安全有關的軟件技術。面對大數據的新時期背景，各種類型的數據并不是孤立的，而是具有特定的內在聯系。受到這種影響，系統內的某些數據一旦遭受了威脅，那么很可能將會干擾整個系統，進而威脅到最根本的數據安全。由此可見，針對軟件系統有必要設置多方位的安全保障，通過這種方式來保障集群數據本身的安全性。信息安全技術的宗旨就在于保障信息安全，近些年來，與大數據密切相關的多種信息技術都獲得了相應的改進，這種現狀有利于保障信息傳輸流程的安全性，同時也消除了潛在的漏洞以及風險。對于各個行業而言，應當密切結合自身的基本特征來健全安全管理，致力于推行網絡化的數據管理，確保數據存儲與數據分析中的實效性以及真實性。第三類是云存儲。相比于單一的存儲模式，云存儲密切結合了各個單元，在此前提下用來存儲不同類型的數據。因此可以得知，云存儲技術具備較強的協同性能，密切結合了多樣化的信息存儲[3]。面對大數據的背景，云存儲更加適合用來保存海量信息，進而方便了實時性的數據存儲以及信息傳輸。從整個大數據的角度來講，云存儲應當構成其中的核心與關鍵，借助此類方式來存儲實時性的數據。
2具體技術運用
在現階段的軟件中包含了預測軟件，運用此類軟件通常可以用來預測特定階段的客源狀況與企業發展趨勢。因此從信息通信角度來講，技術人員通過運用SPSS或者IBM的軟件就可以完成預測，針對潛在的客源以及市場形勢進行了多方位的推測。從目前的市場現狀來看，通訊行業中的很多企業已開始嘗試著運用此類軟件來整理客戶信息，進而擴大了實時性的信息互動平臺。經過多方位的信息歸納與信息整理，企業就能判斷特定時間段內的客源狀況，然后依照因地制宜的基本思路來選擇適合本企業的營銷對策。目前的狀態下，通信領域以及其他行業的企業都在面臨激烈競爭。企業如果要突顯自身具備的綜合優勢，那么前提就在于借助多樣化的通信手段及通信措施。針對實時性的客戶資料，企業可以借助大數據提供的手段來收集必要信息，進而完成多方位的樣本抽樣、數據開發以及信息處理。經過多方位的信息分析，企業就能運用特定的手段來提供自身所需的客源開發方案，同時也有利于從根源上消除市場中的隱患和威脅。大數據時代更加關注最根本的信息安全。然而實質上，各種類型的軟件都很可能存在特定的安全漏洞，對此有必要運用適當的措施來加以彌補。針對軟件有必要加裝適當的安全防控，在虛擬環境中保障最基本的數據安全。一旦發現了隱患或者安全風險，企業就要致力于迅速消除隱患。在必要的時候，企業還可以運用模型化的手段來歸納用戶需求，提升信息分析的精準度。從本質上講，大數據運用于信息處理的措施有利于消除數據處理中的過高成本，從而密切結合了數據分析、信息存儲與數據采集。企業如果能選擇適當的措施和技術手段，就可以從根源上消除數據處理的過高成本，對于信息處理的實效性也進行了提高。面對大數據的新時期，計算機軟件技術具備了更廣的運用空間，這種技術也有利于提升大數據處理的實效性。截至目前，與大數據密切相關的軟件處理技術正在不斷獲得改進，然而仍然有待加以完善。為此，各種類型企業及其技術人員還需要歸納經驗，針對不同類型的信息處理都應當選擇不同的模式，進而提升數據與信息處理的整體效果。
作者:劉長銀 侯學艷 侯艷權 姚越 單位:國網黑龍江省電力有限公司七臺河供電公司
大數據應用論文:企業成本控制中大數據的應用
摘要：
在產品信息管理平臺上，運行標配清單系統，可有效控制電站設備的制造成本。根據標配清單系統的運行要求，各部門按照職責和分工，將企業的產品信息錄入標配清單中，通過對標配清單的合理配置，可完成產品信息的最終整合。在業務流程上，實現了產品信息的無紙化流轉和信息共享。通過對標配清單系統的更新升級，為制造企業的成本控制，提供了有效和的數據支撐。
關鍵詞：
電站；設備；成本；控制；大數據；系統；標配；清單
0概述
隨著市場競爭的日趨激烈，對于電站設備制造企業而言，提高電站設備的品牌意識和產品質量，合理地進行成本控制就顯得尤為重要。工欲善其事必先利其器，欲實時控制企業的制造成本，可利用現有的信息管理平臺，開發和完善標配清單系統，成為企業成本管控的有效措施。
1產品信息的收集
由于企業生產電站設備的種類眾多，大致可將產品分為汽機設備和鍋爐輔機設備，還有些大型設備，需根據電廠的裝機容量及電廠的系統布置進行設計和制造。因存在各種產品，各類產品的信息均不相同，所以，產品的制造信息較為繁雜。加強產品制造成本的信息管理，可快速地確定各項產品的成本。在市場競標階段，也能及時地報出合理的市場價格。為了提升產品在市場上的競爭力，實時收集和遴選產品的成本信息，已成為一個急需要解決的問題。
2原系統內的信息收集
以往，針對產品成本信息的收集和整理，常采用較為傳統方法，主要依據各部門的EXCEL表格錄入，再由財務部門進行匯總和整理后，最終完成產品的成本分析。這種信息收集方法，使整個數據統計的周期很冗長，數據的更新較為滯后。由于各部門統計的文件格式不一致，使信息錄入更為繁復，且所收集的信息也不完整，即使最終完成了相關產品的成本匯總分析，也將錯過市場競標的時機。同時，因各項產品數據信息的獨立性太強，在系統內，無法實現有效的相互對比。
3大數據的信息收集和標配清單
如今，社會已進入大數據時代。大數據技術的戰略意義，不僅在于掌握龐大的數據信息，而在于數據的專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的加工能力。通過數據加工，實現數據的綜合利用和增值服務。數據管理成為企業的核心競爭力，將直接影響企業的財務表現。數據管理和應用的持續發展，可戰略性地規劃與運用數據資產，必將成為現代企業管理的核心。標配清單正是采用這種理念而誕生的產物。標配清單引入了大數據管理的概念，并在企業內部開展了標配清單的推進工作。針對標配清單的結構和工作流程，需開發一套標配清單的運行系統，旨在通過使用標配清單，將企業的成本管控做得更精細和更。同時，將傳統數據庫升級到大數據庫，應用大數據的管理方法，替代傳統的數據庫管理方式。原先，每個產品均有自己的數據庫，但數據與數據之間的關聯度不大，無法橫向比較，也缺乏明確的指向。因此，首先需確定數據模式，并對所有產品類型進行分類，確定每一類產品的典型數據，建立起每一類產品的標配清單，然后，將所有產品的數據進行了歸納，形成一個大的數據庫，并利用標配清單系統，對這些數據進行加工處理。數據處理時，需遵循多個原則。
（1）市場導向原則
標配清單系統的建立和應用，應以企業制訂的戰略目標和提高產品盈利能力為導向，以盈利為最終目標，根據企業的實際業務流程和成本分解情況，以數據分析為依據，從企業的成本管控能力和市場競爭的要求出發，結合企業發展的總體戰略思路進行標配清單系統的設計和應用。
（2）覆蓋原則
標配清單系統將打破傳統成本的管控模式，突破了以往成本數據均集中在財務部門的局限。在標配清單成本的歸集過程中，通過市場銷售、設計、工藝、采購、計劃物流、制造、基建裝備、質保等部門的全程參與，打通供應鏈的整個過程，覆蓋各條線的成本，同時也需覆蓋企業生產的所有產品。
（3）分層分類原則
不同產品的市場競爭策略和加工方式均不相同。對于不同類型、不同競爭策略、不同成本歸集方式的產品，需采用分層分類的方法進行對比分析。既要考慮各類產品成本的共性，凝練和消除重復性的數據處理工作，還應充分考慮各類產品成本的特性。對于影響較大的成本項目，還應進行專項分析和重點管控，才能細致地推進降本增效工作。
（4）標桿對比原則
在應用標配清單系統時，因市場物品的價格變動，常需進行系統的升版工作，所以應注重物品的對標工作。在標配清單系統的升版過程中，注意與歷史成本的對標，才能地體現成本價格波動情況，體現降本改進的成果，也可明確成本管控的后續改進方向。另外，通過與競爭對手的分項對標，能更為方便地尋找企業產品所處的價格區域，便于分析產品價格上的競爭力，提升了企業的綜合管理能力。對于制造企業而言，管理改進措施是否切實有效，能否落實在產品降本增效的工作中，是標配清單系統進行考核的重點。對標國內外企業，學習和借鑒競爭對手的先進理念，是提升企業盈利能力的重要途徑。而各項降本增效措施的效果，需要在標配清單升版過程中，體現在新舊版本的實際成本差額上。因此，在橫向對標提供的降本增效思路基礎上，重點定期對標各類產品自身的歷史數據，分析降本實施情況，以標配清單為抓手，落實各類降本增效措施。
（5）動態追蹤原則
在標配清單系統中，各項成本均應及時體現在系統內，時時體現各項降本增效措施的效果。標配清單內的各項成本數據，還應動態地反映市場變化。標配清單系統的計算方式和成本匯總模型，應與當前成本的實際情況相對應，從而保障數據分析的有效性。根據數據處理的原則，建立了由各業務條線參與、全流程管控，財務部門匯總的成本數據庫。同時，以IT系統作為支持和保障系統，建立了最終為項目和市場銷售部服務的組織框架結構。根據財務成本分析原理，確定了關鍵成本的組成要素。在系統中，將成本分為直接材料、直接人工和制造費用三大模塊。產品成本包含了原材料、輔助材料、備品配件、配套件、人工成本、工藝外協費用，還包括了經銷、運輸費用、質保材料和檢查費用、各類易耗品、制造費用、組裝費、技術提成費等成本項目。
4標配清單系統的功能和界面
進入標配清單系統時，僅需在指定的NAS文件夾上點擊，即可登陸。系統自動辨認登陸人員的工號和部門，并賦予該人員相對應的權限。標配清單系統可實現清單項目成本的錄入和查詢、預算項目成本錄入和查詢，產品成本項目報表的輸出等功能。登陸系統后，利用系統軟件的各項功能，可對成本數據進行統計和報表輸出。標配清單系統的各項功能和主界面，如圖1所示。實施標配清單系統后，還將涉及后續的日常維護和升版工作。各項基礎數據由各部門進行分類維護，需對已導入系統的基礎數據進行校核，確保數據的性，理清各項數據的關聯性，及時反映預算與實際執行情況的偏差，并將數據存儲于SQL數據庫。數據維護的頁面，如圖2所示。目前，通過標配清單系統的運行，已大大方便了各部門對產品數據的實時讀取。經過大量的數據積累和匯總，在產品的投標報價到投料預算階段，再到最終成本核算階段，均可在標配清單系統內，完成各段時期實際成本的測算。在標配清單模式下，價格數據被定期更新，消除了重復詢價。當投標方案變更時，對數據即時進行升版處理，數據變動的范圍清晰明了，且留存的數據便于今后查詢和對比。當產品數據變動后，標配清單的導出界面，如圖3所示。通過標配清單系統的運行，將預算管理和降本管理相結合，切實有效地摸清了主要產品的成本現狀，實現了成本信息歸集和成本的實時體現，為后續的降本增效工作奠定了基礎，開拓了新的思路。對各類產品的成本基礎、成本要素進行拆分和填報，根據標準化的數據模型，建立了系統數據庫，數據模型結合了產品的成本特性，可應用于項目投標報價、預算編制和追蹤。目前，在標配清單系統中，已有數據超過20萬條。通過標配清單的及時升版、更新以及新舊版本的對比，可有效地反饋出由價格變動、技術優化、工藝改進、管理改革等降本手段所帶來的實際效果。
5標配清單系統的運行
運用標配清單系統軟件后，可實現企業生產數據錄入格式的標準化，提高了產品數據的性，提升了企業成本管控的工作效率。產品標配清單的創建或更新，需由多個部門共同配合才能完成。首先，創建或更新標配清單的流程，由財務部門在系統中發起，技術部結合市場銷售部和財務部意見，綜合考慮市場需求、產品功能特性和成本特點，篩選典型項目和典型圖號，編制了一系列標配清單。技術部對各類產品的標配清單進行細化和分解，形成了一份細化到部組件（部分已至零件）的標準化清單。各部門在技術部提供的標配清單設計基礎上，對各類成本數據進行細化和補充，最終形成完整的標配清單數據。運行系統產生的報表，包含了產品的信息內容和各部門的分工職責，如表1所示。
6結語
目前，標配清單系統是一個獨立的項目子系統，主要為財務成本信息服務。未來，將實現與其他管理信息平臺的對接，共享財務成本信息，實現業務流程信息的無紙化流轉。根據采購計劃，實現采購訂單審批的信息化，同時，簡化了預算控制的核價審批流程。通過預算和項目執行計劃，合理預測未來物料的需求，提高采購和議價的能力。同時，各部門也可根據自身數據匯總需求，開發相關的標配清單和預算項目報表，代替部門的臺賬或數據匯總表，真正實現數據從被動到主動、再到自動的過渡，從而真正實現大數據管理，提升企業在市場競爭中的核心競爭力。
作者:朱建偉 單位:上海電氣電站設備有限公司電站輔機廠
大數據應用論文:大數據在人力資源管理中的應用分析
摘要：大數據是人力資源管理工作優化的重點，依據現階段大數據時展情況為基礎，結合近年來人力資源管理工作特點，分析大數據時代背景下人力資源管理工作的方向。
關鍵詞：大數據；人力資源；管理；應用；實踐
一、大數據的分析
1990 年，比爾恩門及時次提出大數據的理念，其主要是說在革新網絡搜索引擎的過程中，進行批量處理或者是研究的大量信息數據集。目前一般是指包含的信息資源較大、信息類型較多、以往的信息系統工具無法獲取相關的內容、管理和處理的數據集。其中不擔包含了信息的體量，還包含信息資源的解決速度。大數據技術的戰略意義并不在于掌控更多的信息資源，而是對這些具備含義的信息資源實施專業化處理。因此，若是將大數據比作一種產業，那么這種產業獲取效益的重點就是提升信息資源的處理能力，依據加工達到信息資源的增值。從技術層面上分析，大數據與云計算之間的關系就像是一枚硬幣的正反兩面。大數據無法根據一臺計算機處理信息資源，一定要結合分布式架構對大量信息資源實施分布式的處理，這就需要結合云計算的分布式處理、分布式信息系統與云儲備等。
二、大數據在企業中的應用
大數據的帶來促使各項資源得到整合，以此出現了新的人群和新的模式，并且在實際發展中逐漸成為企業發展的重要因素。由此，企業的決定也將對信息資源的發掘和研究作為重點信息。數據的價值在于將有效的信息在正確的時間交于正確的應用者手中，難點在于有效區別沒有價值的信息和有意義的信息資源。在應用信息資源的過程中，大部分應用群體只是簡單地整合信息資源，從而為企業治理規劃工作提供有效的依據，對于需要保存的信息進行處理，并沒有將其作為戰略轉型的工具。由此，只有依據對信息資源戰略的整體回報實施總結和分析，企業才可以更好面對大數據帶來的挑戰，掌控有價值信息資源的機遇。在實際發展的過程中，需要應用工具對信息資源實施深入的分析和研究，明確其中存在的價值和機遇。同時，還要深入了解企業外界環境，設計和整合企業發展方案。以此為基礎，結合創新能力、個性化服務等特點在競爭激烈的市場環境中占據重要的地位。
三、大數據時代人力資源管理需要明確的問題
人力資源管理的目標是人，可定量程度要低于依據制度、流程、產品、資產等構成的物，因此人力資源管理的價值難以被實際評估、人力資源的專業性也無法被認可。但是大數據的應用，有效的解決了這一問題，其中主要分為以下幾點：及時，大數據的應用促使人力資源的選擇、育人、應用等工作，達到了可檢測、可記錄、可研究、可優化等方面的科學管理要求，人力資源管理工作的專業性能也得到了提升。第二，大數據促使人力資源部門成為推廣戰略的重要部門，企業在實際發展的過程中逐漸認識到人力資源部門的重要性。第三，大數據促使人力資源整體構成出現變化，整體構成在人才價值提升和轉變的基礎觀念下，結合龐大的大數據平臺與技術，達到資源共享。同時，大數據在給人力資源管理工作帶來發展機會的過程中，也提出了嚴格的挑戰，也就是如何構建大數據系統，如何對接人力資源管理與大數據信息技術，這樣就對人力資源管理工作人員提出了更高的要求。（一）正確掌控大數據在人力資源管理工作中的應用現階段，隨著人力資源管理理論與管理實踐不斷的推廣，在實際企業發展的過程中需要重視大數據的作用。大數據有助于人力資源管理的理論知識、工作技巧以及技能等變得更為科學化。在大數據的影響下，云計算技術的人力資源服務成為其管理工作的重點目標，有助于突破傳統意義上人力資源管理存在的約束，注重掌控信息資源的真實性、整體性以及性，可以正確應用并且轉變成為提升企業工作效益、設計人才價值的終端服務成品，促使更多的企業開始應用和推廣大數據技術，實施品質的人才資源管理工作。（二）及時轉變人才資源角色大數據的出現，引導人力資源工作可以結合品質的技術平臺實施標準化、整體化的信息處理，促使人力資源管理工作更為高效和主動，這樣有助于提升人力資源管理工作效率和質量。人力資源管理工作依據經驗主義變得更加合理，這樣人力資源管理工作人員也將承擔更多的審查和決定工作，面對不斷變化的環境和企業戰略，因此人力資源部門需要提升自身的洞察力，設計與企業戰略相同的人力資源方案，從而為企業的發展提供更為品質的人才保障。（三）正確應用人力資源大數據的成果在企業招聘中，需要應用大數據獲取更多的人才信息，促使企業更為深入了解候選者的情況，解決企業職位與候選者之間存在的問題。在企業工作人員培訓的過程中，不但要向企業工作人員宣傳大數據知識，還要注重培育企業工作人員獲取、研究、解決以及整合信息資源的能力，提升企業工作者對工作拓展的洞察力和工作水平。在人才檢測過程中，需要結合大數據技術對人才績效考察、人才選拔分類實施分析，明確其中存在的整體信息，優化存在的問題，為決策者提供信息資源之間存在的關系，以此實施的人才檢測工作。
四、結束語
總而言之，大數據的到來為人力資源管理工作提供了無數的可能性，但這些可能性中也包含了非常多的機遇和挑戰，因此在實際管理的過程中要結合大數據理念。依據大數據引導人力資源管理工作對信息資源實施研究和整合，促使企業對工作人員表現能力的研究更為客觀和科學，這樣有助于提升人力資源在企業中的地位，從而在實際發展中，促使人力資源為企業未來的發展奠定充實的基礎。
作者:蒲嘉霖 單位:江西工程學院
大數據應用論文:大數據在人力資源管理中的應用
【內容摘要】人力資源管理是企業經營管理的重要組成部分，對企業提高管理水平和構建核心競爭優勢意義重大。大數據時代既是機遇，也是挑戰，企業應用大數據是人力資源管理轉型升級的必然選擇。在人力資源管理領域，大數據主要用于幫助企業進行人力資源決策，預測人員需求，開展招聘和人才測評，隨著數據處理技術不斷成熟，大數據將用于人力資源管理的更多領域，提升企業人力資源管理水平。
【關鍵詞】大數據;人力資源;企業人力資源管理
21世紀，網絡信息技術的迅猛發展不僅加速了信息的產生和傳遞，也帶來了數據量的急劇增加。文字、圖片、音頻、視頻等不同形式的信息交織在一起，構成了一個龐雜的數據迷宮，大數據則是探索迷宮寶藏的重要工具，幫助使用者發現隱藏在復雜數據中的奧秘。與此同時，在知識經濟背景下，人力資源管理被寄予厚望，企業管理者不斷將新技術和新方法引入人力資源管理，以提高管理效果。谷歌、騰訊等經驗豐富互聯網企業已經著手探索大數據在人力資源管理領域的應用，試圖憑借數據優勢打造獨特、持久的人才競爭力。
一、大數據與人力資源管理
近十多年來，大數據相關研究如雨后春筍般涌現，引發社會各界廣泛討論。目前學術界尚未形成關于大數據的定義，通常認為大數據由巨型數據集組成，這些數據集龐大而且復雜，難以通過標準的統計分析軟件對數據進行分析［1］。大數據的特點可以概括為“4V”:即volume(體量龐大)、variety(形態復雜)、velocity(生成速度快)和value(價值巨大但密度很低)，這些特點決定了應用大數據必須同時具備快速獲取數據的能力、強大的數據處理能力和敏銳的數據洞察能力。大數據如旋風般席卷了人們的工作和生活，改變了各行各業的管理模式和工作方式。對人力資源管理者來說，大數據時代是千載難逢的歷史機遇，通過運用大數據帶來的新思維和工具能為人力資源管理工作提供便利并推動變革［2］。人力資源管理信息化手段(eHR)將從根本上轉變人力資源管理者的業務職能，推動戰略性人力資源管理發展［3］。學者們逐漸在人力資源管理的相關研究中引入大數據的概念和思維，創新人力資源管理方式。唐魁玉(2014)認為社會正在步入“大數據人力資源管理”階段，可以將大數據的管理思維和方法運用到特殊人才招聘、培訓與開發，以及績效管理測評和勞資關系處理等問題上，促進用人制度的信息化和科學化［4］。盡管如此，一部分學者仍持保守態度，認為在企業實踐中，由于部門博弈、HR恐懼和領導思路等問題人力資源管理很難擁抱大數據［5］。
二、企業人力資源管理應用大數據的必要性及可行性
(一)企業人力資源管理應用大數據的必要性。
現階段企業人力資源管理正面臨職能與角色的轉換，一方面，大數據背景下企業經營方式、信息傳遞機制、組織結構均發生重大轉變，要求人力資源管理與時俱進，變革管理模式，為各業務部門提供個性化解決方案;另一方面，傳統的人力資源管理在實際運用中暴露出決策不科學，組織信息冗雜，辦事效率低下等弊端，亟待采取創新手段整合信息資源，簡化工作流程，提高決策科學性。大數據以海量數據為基礎，運用統計分析方法進行預測、分析、評價等活動，恰恰能夠滿足人力資源管理者的迫切需求。
(二)企業人力資源管理應用大數據的可行性。
1．數據量大、來源。
人力資源管理部門是企業人事信息的集散地，員工檔案、部門職位、培訓記錄、績效考核、薪資待遇等資料均由人力資源部門收集、保管和使用，數據來源，獲取方便，稍加處理即可使用。
2．人才涌現、路徑廣泛。
在時代潮流的呼喚下，社會涌現出一批專業的大數據人才和大數據公司，并且數量呈持續增長的趨勢，企業可通過多種途徑接軌大數據。
3．觀念普及、接納度高。
近年來大數據的概念被廣泛宣傳，利用大數據進行人力資源管理的企業越來越多，無論是企業管理者還是普通員工都對大數據充滿了好奇，有較強的接納意愿。
三、企業人力資源管理應用大數據的主要挑戰及對策
(一)數據量不足。
無論是多么大型的企業，能獲取的數據量都是有限的，很難與大數據以TB為單位的龐大體量相提并論，這種數據的不性會引起預測偏差，影響決策效果。然而，雖然單個企業并不擁有大數據，卻可以通過設置網絡接口的方式導入外部數據或者購買數據研究成果，間接與大數據“接軌”。
(二)數據處理技術限制。
作為網絡信息時代的前沿技術，應用大數據離不開專業的數據專家和經驗豐富的數據處理技術。對中小企業來說，由企業內部進行數據處理在經濟上和技術上都存在困難，因而催生了一系列人力資源顧問機構和外包機構，這些機構憑借其專業性為企業提供高質量的數據服務和解決方案，成效顯著。
(三)數據安全問題。
企業收集到的信息越多，安全保密性就越重要。企業、員工和客戶的相關信息一旦被不法分子獲取，將帶來不可估量的后果，輕則影響部門、員工間的和諧，給客戶造成困擾，重則泄露商業機密，引發重大損失。為此，企業要建立完善的數據管理制度，構建強效保護措施，防止數據泄露、誤用和濫用，保障數據安全。
四、大數據在人力資源管理中的典型應用
經過一段時期的摸索和發展，大數據在人力資源管理中應用范圍逐漸擴大，在人力資源決策，人員需求預測和人才招聘、甄選等方面發揮了巨大作用。
(一)大數據支撐企業人力資源決策。
人力資源決策貫穿企業人力資源管理的整個過程，無論是人力資源規劃的確定和崗位職責的確認，還是決定是否要進行新一輪人員招聘或調整員工薪酬、福利，都需要進行人力資源決策。大數據技術極大地推進了HR－BI(HumanResourceBusinessIntelli-gence，即人力資源商業智能)的發展，幫助人力資源管理者作出科學決策。HR－BI是利用商業智能處理人力資源數據并提供決策支持的系統［6］，這個系統匯集企業所有人員、業務、政策相關數據，利用其強大的統計、分析功能為企業招聘、培訓、績效評估等事務提供決策建議，促進人力資源決策從“經驗+直覺”模式向“事實+數據”模式轉型，更好地支持業務發展。
(二)大數據預測企業人員需求。
經濟全球化使世界經濟環境急劇變化，企業隨時都面臨新的機遇和挑戰，發展的不確定性越來越大，這種不確定性導致企業難以預測業務發展方向及人員需求，一旦發生主營業務轉變的情況將面臨巨大的人才缺口，錯失發展良機。大數據的應用有效改善了這種情況。一方面，利用大數據技術能有效分析未來行業趨勢，使企業結合自身戰略目標的調整轉變業務重點，明確中長期人才需求，做好人才儲備工作;另一方面，人力資源部門通過對往年崗位信息的分析可以得到人員供給、需求變化趨勢，預測短期內的人員需求，及時通過招聘、調崗等策略平衡人員供給與需求。
(三)大數據協助企業招聘。
隨著人力資本在企業中戰略地位不斷提升，員工招聘的重要性日益凸顯。企業為了擴大招聘范圍，通常會與招聘網站合作，在網站上職位信息吸引求職者。招聘網站匯集了海量求職者和招聘單位信息，憑借專業的數據處理技術，能夠快速篩選出與崗位需求最匹配的求職者，提高招聘效率。近年來，社交網絡招聘成為新的發展趨勢，由于社交網絡近乎真實地反映了求職者的興趣愛好、價值觀念、人脈關系等企業平時難以獲得的信息，能搜尋到與企業文化、愿景最契合的潛在求職者，頗受企業青睞。大街網、Linkin是這種形式的典型代表。
(四)大數據提高人才測評性。
人才測評是企業進行人員甄選的重要一環，測評性決定了企業人力資本的質量。通過對企業以往數據建模分析，尤其是對高勝任力員工的專業技能、學歷背景、性格特征、離職原因等因素的綜合分析，大數據能幫企業判斷出哪些員工有離職傾向，哪些員工更有可能取得職業上的成功，從而選用、提拔和留住最的人才。數據越充實，評估的性越高。實力雄厚的企業通常自建測評中心，聘請數據專家主導模型構建和結果評價，中小企業則可以通過與人力資源顧問機構合作的方式享受專業測評服務。
五、大數據在人力資源管理中進一步應用的空間
盡管目前大數據在人力資源管理中的應用取得了一定的成果，但這些只是大數據的冰山一角，大數據在人力資源管理中還有非常廣闊的應用空間，潛力巨大。比如，員工績效與領導風格、工作環境、薪資條件之間存在密切聯系，利用數據模型將這些復雜信息層層分解，就能明確何種風格的領導方式更能激發員工斗志，什么樣的辦公環境能使員工更舒適的工作，采用哪種薪資結構、福利待遇更能激勵員工，從而推動企業進行相應調整，使員工以飽滿的熱情和十足的動力投入到工作中，為企業帶來更多價值。又比如，每每提到大數據，通常會認為只與企業管理者相關，而無關普通員工。但事實上，作為大量數據信息的提供者和傳遞者，普通員工也應當成為數據成果的受益者。在企業中推廣大數據可以逐步解放基層人力資源管理人員，使他們從報表分析、文件歸檔等基礎性工作中解脫出來，并且通過標準化、規模化的網絡自助服務簡化工作流程，提高員工工作效率。
六、結語
大數據的發展給企業人力資源管理帶來了新的機遇，對人力資源管理轉型升級意義重大。大數據技術不斷成熟，未來將應用于人力資源管理的更多領域，推動人力資源管理實現戰略性變革。但是企業的管理者應當明確，大數據僅僅是一種輔助性工具，并不能替代管理者在企業中的決策作用，隨著大數據在人力資源管理中應用層次不斷加深，將有更多問題和挑戰等待企業管理者去思考和應對。
作者:張鈺 單位：中國海洋大學管理學院
