敦煌，是一個傳承的夢

博大而精深，浩瀚而深廣

2018?東軟解決方案論壇（NSF）走進敦煌

作為本次解決方案論壇最受關注的平行論壇之一 ——“數據 智能 驅動新時代”平行論壇座無虛席。

東軟平臺產品事業(yè)本部基礎軟件事業(yè)部咨詢總監(jiān)毛軍老師誠摯分享了題為《激活數據資產 融合場景賦能》的數據智能應用實踐案例及平臺產品在大數據方面的解決方案。

下面，就將本次演講干貨第一時間分享給大家。

01

如果說人類的進步在于不斷突破創(chuàng)新，那么下一個創(chuàng)新的推動引擎就是數據。數據已經成為重要資源和戰(zhàn)略資產，大數據不僅帶來思維上的變更，同時也給人們帶來生活上變革。有了大數據支持，政府管理工作會高效、精準、科學，金融行業(yè)大數據正在創(chuàng)新經濟模式，促進資源有效配置，激活市場活力，企業(yè)基于大數據可以改善經營性決策、個性化營銷，甚至可以改變企業(yè)的商業(yè)模式。

這一切看起來很美好，但是數據作為一種資源，在“沉睡”的時候很難創(chuàng)造價值。打個比方，沉眠的數據如同深藏地下的礦藏，沒有被發(fā)掘時毫無價值，只有被發(fā)現，被開采，被提煉，被加工成為成品融入于各生活場景才能真正發(fā)揮價值。因而我們可以得出一個結論，大數據的本質并不在于“大”而在于“用”，數據價值的挖掘在于融合具體業(yè)務場景，通過場景驅動大數據落地。

無論是來自于 IDC 的大數據調查報告，還是《中國大數據白皮書》及 Gartner 分析，都將重點指向了數據應用。

02

數據應用的場景多種多樣，不同的行業(yè)有不同的應用場景。這樣看來，要想推動落地、發(fā)揮價值還有不小的難度。而東軟對各行業(yè)的業(yè)務有多年的積累，我們能歸納出通用的應用范式和應用場景，這樣就極大的簡化了這個問題域。

這些范式主要包括數據集成共享、敏捷 BI 分析、數據超級檢索、多維動態(tài)分析。

1.數據集成共享：信息流動和分享的范圍越大，創(chuàng)造的價值就越高，數據集成共享解決的即是數據開放共享的問題，加速數據流轉。

2.敏捷BI分析：可視化是對于大數據應用效果直觀展示，它降低了數據分析門檻，不懂復雜的數學公式也可以快速發(fā)現問題。

3.數據超級檢索：搜索已經成為人們獲取新知，探索未知的重要手段，同樣在大數據海洋中，提供靈活、即席的查詢檢索是必然。

4.多維動態(tài)分析：在大數據應用中，多維分析是大數據體現智能、展現魅力所在，挖掘數據，提煉真知，形成決策。

03

數據的應用離不開技術的支撐，通過對以上的通用范式提供技術保障，我們可以把這些范式應用在不同的數據場景中，帶來源源不斷的不可窮盡的價值。

所以我們可以歸納為，要應用好數據，就需要“數據+技術+場景”，怎么理解？數據是原材料，是基礎，技術是加工工具，負責提煉、加工，最終融合到各類應用場景賦予數據生命和智慧。

下面來看看幾個行業(yè)的大數據應用場景。

04

對于 金融行業(yè) 來說，一個典型的業(yè)務場景是用戶通過移動端進行支付，其背后數據流轉的過程需要經過銀行的前置系統(tǒng)，渠道系統(tǒng)，與第三方系統(tǒng)結算，最后與銀行記賬核心交互?？梢钥闯鲆粋€交易過程在背后涉及多個系統(tǒng)，一旦中間有差錯需要通過日志排查多個系統(tǒng)。然而對某金融機構來說，原有的日志處理系統(tǒng)不能勝任自動化基于日志定位排錯，原因在于每個系統(tǒng)日志單獨存儲，格式不統(tǒng)一，無法關聯(lián)，造成出錯時人工排查為主，并附以額外的監(jiān)控手段，成本及人工均耗費較大。

因此，建立全新統(tǒng)一的日志數據分析平臺提上日程，新系統(tǒng)定位目標是實現一分鐘發(fā)現問題、五分鐘定位問題、十分鐘解決問題。一分鐘發(fā)現問題，主要涉及交易監(jiān)控，應用監(jiān)控，任務監(jiān)控，健康檢查；五分鐘定位問題，主要涉及交易查找，報錯定位，業(yè)務流排錯；十分鐘解決問題，主要涉及構建專家知識庫，做到故障自愈，智能回答。

針對上述提到問題癥狀，我們詳細論證，提供對癥方案：

1.改—針對現有日志格式不統(tǒng)一，風格各異的現象，制定統(tǒng)一日志規(guī)范。

2.替—采用大數據存儲，提供集中、海量存儲能力。

3.聚—通過23個采集節(jié)點高速采集日志，實現每天日增量1TB日志數據的采集，每秒吞吐量最高可達17萬條。

4.智—基于大數據智能分析日志數據，自動關聯(lián)排查故障。

政府大數據 也是當前建設熱點，政府由于職能需求，保有大量的各行業(yè)數據。國家對于如何利用這些數據，發(fā)揮政府主體數據價值，從2015年相繼提出“大數據發(fā)展行動綱要”，“政府數據開放”，“互聯(lián)網+政務”等政策文件，大力推動政府大數據發(fā)展。

不僅是政策在驅動，一股內部自我改進的驅動力也呼喚大數據技術。各類問題困擾著政府大數據的實施，主要有:

1.首先是當前在各級政府機構內及機構間，存在著“部門墻”問題，數據由于“安全”，“只能遠觀”等理由，不能有效共享與交換；

2.其次有些機構有一定的數據共享基礎，但共享開放多為靜態(tài)文本，更新不及時

3.最后數據質量堪憂，缺少統(tǒng)一管理，以政務服務為例，同樣的服務在不同的機構中，名稱、內容格式都不盡相同，導致在協(xié)同服務，辦件數據交換困難。

對此，按照“互聯(lián)網+政務”建設的要求，在 2018 年底各省級要建成省級政務資源共享交換平臺，同時構建政務信息資源目錄。以某省為例，構建升級數據共享交換平臺連接各政府機構，提供數據交換通道；同時基于政務信息資源目錄系統(tǒng)梳理信息資源目錄，開放政府數據，對外共享。目前接入系統(tǒng)部門數量 90 余個，梳理數據資源目錄 2.2 萬個，開放提供目錄信息項達 30 萬余個，日均服務調用 500 余次，惠及 7000余萬群眾與企業(yè)。

公安行業(yè) 中，由于信息化、互聯(lián)網化不斷發(fā)展，新的犯罪形式如網絡犯罪、電信詐騙等，對于治安防控提出了嚴重的挑戰(zhàn)。如何根據舉報線索，快速的在十億級數據中查出嫌疑人的身份、住址、從業(yè)、背景、軌跡、違法犯罪等信息？如何從交通視頻信息、通話等碎片化無序的信息中抓住蛛絲馬跡，分析出嫌疑人的行為軌跡？

大數據平臺可解答上述疑問，平臺全面采集和整合海量數據，對數據進行處理、分析、深度挖掘，發(fā)現數據的內在規(guī)律，為預防、打擊犯罪提供強有力的支撐。

以某地市的智慧公安項目為例，既有的基礎信息不能適應新的治安防控需要；黨政機關、重點部位、主要路口、公共復雜場所等視頻監(jiān)控資源，與各部門、各警種業(yè)務資源數據無法結合；警員不能實時、直觀地了解和掌握監(jiān)控區(qū)域的治安動態(tài)，難以及時發(fā)現、處理各類突發(fā)事件、群體事件，無法有效支撐公安“大情報”戰(zhàn)略。對此大數據平臺建設重點圍繞信息集成整合，信息實戰(zhàn)運用。數據整合層面采集2區(qū)5縣18個委辦局數據，范圍包括視頻數據、社會面數據、互聯(lián)網數據、警務系統(tǒng)數據，統(tǒng)一標準，嚴控質量，形成專項主題庫，如類案庫、輿情庫等等，為進一步數據運用提供唯一標準數據來源。上層應用數據分析平臺提供超級檔案，超級檢索能力，可秒級在億條數據中自動聚合人員、案件相關數據，形成案情、嫌疑人全面畫像；可根據人員視頻、運營商手機信令等，抽取位置信息，根據時間先后，勾勒重點人員軌跡。

在 教育行業(yè)，教育部推動“三通兩平臺”建設多年，各級教育機構、教育行政部門已有相關教育資源平臺和教育管理平臺，但當前系統(tǒng)數據無法有效互通互融，造成一定的信息孤島的現象，很多統(tǒng)計信息需要人工采集、逐級上報，如統(tǒng)計留守兒童信息、統(tǒng)計人才流失和人才引進效果、可以支持的貧困補助等。

除了解決數據連通共享問題，某省教育廳進一步提出了整合教育教學資源和公共服務，面向全省提供統(tǒng)一服務能力平臺。通過構建教育能力開放平臺，整合 7 個國家系統(tǒng)和 16 個省級自建系統(tǒng)數據和能力，連通省市兩級教育能力，打造集能力抽取、能力整合、能力拓展、能力開放、能力調用、能力運營為一體的開放性平臺，進行能力全生命周期管理，實現省廳和各地市教育機構能力聚合，全方位提供能力支撐與運營。平臺以“數據”為核心，把數據封裝成能力，實現數據共享、資源整合和資源的最大化利用，把大量繁瑣耗時的人工查詢轉向實時自助的查詢方式，提高工作人員工作效率。

智能制造 是落實“中國制造2025”規(guī)劃綱要的一個重要抓手，而工業(yè)大數據是實現智能制造的基礎與必要條件；沒有工業(yè)大數據，智能化就只能是紙上談兵。在制造領域有大量的設備，現代化工業(yè)制造生產線安裝有數以千計的小型傳感器，來探測溫度、壓力、熱能、振動和噪聲，每隔幾秒就收集一次數據，利用這些數據可以實現很多形式的分析，包括設備診斷、用電量分析、能耗分析、質量事故分析（包括違反生產規(guī)定、零部件故障）等。

以某設備制造廠商為例，生產的關鍵設備廣泛用于軍事、民用設施。當前面臨的問題是在設備銷售維保期間，如果設備發(fā)生較難處理故障，由于引進國外技術因而需要協(xié)調海外專家，成本較高，而且此成本在維保期內由企業(yè)承擔，每年此項花費近百萬。為改變現狀，計劃構建物聯(lián)網大數據平臺，采集設備的運行狀態(tài)，包括電壓、電流、油壓、水溫、轉速等參數，實時監(jiān)控狀態(tài)，感知波動異常，提前預警；除了監(jiān)控，對于設備健康、設備壽命預測是減少維保期費用重要手段，根據使用負載度、投產時間、故障頻次綜合評估其可靠性；根據能耗和做功比評估性能，進而提前識別做功不足，故障空轉等現象，做到大病早防，小病早治。通過大數據平臺，企業(yè)產出的設備維保期大故障率降低40%，維修費用節(jié)省過半。

對于 醫(yī)療行業(yè) 來說，精細化運營，全局工作評估基于大數據分析方式來做。

一個大中型醫(yī)院擔負著繁重的醫(yī)療、科研任務，以及繁雜的事務性工作，院長必須時刻與各科室保持密切的聯(lián)系。隨著醫(yī)院信息化建設逐步深化醫(yī)院積累了大量數據，挖掘這些數據并通過可視化技術展現，有助于醫(yī)院決策層及時發(fā)現并解決問題。

作為醫(yī)院的決策中心，其工作效率、工作質量關系到醫(yī)院的社會效益和經濟效益。在以往多部門系統(tǒng)分立的情況下，難免有因數據量大，界面雜亂分化，以至于出現不能全面及時理解全院情況，不能高效指導醫(yī)院各部門協(xié)調工作的情況。

通過醫(yī)院院長查詢系統(tǒng)，對各部門的資料信息統(tǒng)一管理、統(tǒng)計。分析查詢各個科室病人數、醫(yī)生工作量、護士工作量及特種科室人員工作量等情況，以及在院、出院或住院未結病人情況，醫(yī)院的財務收支狀況，藥品價格、報銷、報缺等情況。提高院長掌握信息的及時度和準確度，幫助院長對醫(yī)療、財務、人事各部門的信息提供動態(tài)的查詢并提供輔助決策支持。

房地產 正從黃金時期進入到白銀時期，房地產商從過去的粗放經營轉向精細化經營，大數據分析正在幫助地產行業(yè)在土地開發(fā)、小區(qū)規(guī)劃、商鋪規(guī)劃發(fā)揮巨大作用。

另一方面，國家對于房產調控、規(guī)范愈加嚴格，大量房產市場消費者由于高房價轉而選擇租賃房屋。但是當前的房屋租賃市場缺乏行業(yè)統(tǒng)一規(guī)范，房源信息數據缺乏管理，信息不準確，租金不透明，住房租賃企業(yè)良莠不齊，亟需統(tǒng)一管理平臺整合資源，加強管理，統(tǒng)一服務。對此某省規(guī)劃構建住房租賃服務平臺，圍繞住房租賃數據打造“一網一中心一平臺”的格局：

一張數據交換網覆蓋各住房租賃企業(yè)，實現房源信息的匯集；

一個基礎數據中心，編訂全省房地產業(yè)務基礎數據標準，省、市、縣三級按職責分別采集、存儲和管理房地產數據；

一個服務平臺，實現房屋租賃備案監(jiān)管，統(tǒng)計分析及輔助決策；同時也為公安、房產提供入住人口信息及房產信息，便于社會治安防控及房產管理。

05

以上各行的大數據智能應用案例，能夠快速落地，就需要成型的產品作為支撐。這些案例均是基于SaCa Data Integration,SaCa DataInsight,SaCa DataViz，SaCa API Management 大數據平臺套件有機配合完成。

從數據到應用，從懵懂到智能，大數據平臺套件針對性的提供了端到端的能力支撐。

在萬物互聯(lián)的時代，數據來源多種多樣，數據格式各異，數據平臺可采集來自于數據庫的、文本的、存在于頁面的、應用 API 的等多種來源數據。

采集到數據的還不能立刻用于分析，還有很多的噪聲數據，錯誤數據，數據平臺提供清洗、過濾、轉換、治理，保障數據標準和高質量，奠定大數據分析準確的基石。

面向海量數據提供數據湖存儲方案能力，根據實際業(yè)務綜合搭配關系型存儲、列式存儲、鍵值存儲，可應對日增量 TB 級數據。

基于全集合分布式檢索技術，提供海量數據秒級檢索，并可基于函數命令靈活組合檢索條件；可實時監(jiān)控數據，實現歷史數據關聯(lián)分析和數據挖掘。

最終數據應用分析的結果，通過可視化手段展現，業(yè)務人員可以實現與數據直接對話，既可以宏觀鳥瞰，也可查看剖面某一維度數據，繁簡由人。

東軟大數據產品在經過多年在領域的深耕，積累了大量的實戰(zhàn)經驗、技術能力，取得了國家、省級多個重要賽會的獎項，同時沉淀大量的專利資產，成為客戶的放心選擇。

總結來看我們認為大數據最重要的是應用，數據智能是數據結合技術在具體場景的運用，而東軟在二十多年服務于各行業(yè)客戶過程，積累大量的業(yè)務場景，可以幫助企業(yè)準確找到大數據落地點，并提供配套解決方案，幫助大數據真正落地揚塵。