敦煌，是一個傳承的夢

博大而精深，浩瀚而深廣

2018?東軟解決方案論壇（NSF）走進敦煌

作為本次解決方案論壇最受關注的平行論壇之一 ——“數(shù)據(jù) 智能 驅動新時代”平行論壇座無虛席。

東軟平臺產(chǎn)品事業(yè)本部基礎軟件事業(yè)部咨詢總監(jiān)毛軍老師誠摯分享了題為《激活數(shù)據(jù)資產(chǎn) 融合場景賦能》的數(shù)據(jù)智能應用實踐案例及平臺產(chǎn)品在大數(shù)據(jù)方面的解決方案。

下面，就將本次演講干貨第一時間分享給大家。

01

如果說人類的進步在于不斷突破創(chuàng)新，那么下一個創(chuàng)新的推動引擎就是數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為重要資源和戰(zhàn)略資產(chǎn)，大數(shù)據(jù)不僅帶來思維上的變更，同時也給人們帶來生活上變革。有了大數(shù)據(jù)支持，政府管理工作會高效、精準、科學，金融行業(yè)大數(shù)據(jù)正在創(chuàng)新經(jīng)濟模式，促進資源有效配置，激活市場活力，企業(yè)基于大數(shù)據(jù)可以改善經(jīng)營性決策、個性化營銷，甚至可以改變企業(yè)的商業(yè)模式。

這一切看起來很美好，但是數(shù)據(jù)作為一種資源，在“沉睡”的時候很難創(chuàng)造價值。打個比方，沉眠的數(shù)據(jù)如同深藏地下的礦藏，沒有被發(fā)掘時毫無價值，只有被發(fā)現(xiàn)，被開采，被提煉，被加工成為成品融入于各生活場景才能真正發(fā)揮價值。因而我們可以得出一個結論，大數(shù)據(jù)的本質并不在于“大”而在于“用”，數(shù)據(jù)價值的挖掘在于融合具體業(yè)務場景，通過場景驅動大數(shù)據(jù)落地。

無論是來自于 IDC 的大數(shù)據(jù)調查報告，還是《中國大數(shù)據(jù)白皮書》及 Gartner 分析，都將重點指向了數(shù)據(jù)應用。

02

數(shù)據(jù)應用的場景多種多樣，不同的行業(yè)有不同的應用場景。這樣看來，要想推動落地、發(fā)揮價值還有不小的難度。而東軟對各行業(yè)的業(yè)務有多年的積累，我們能歸納出通用的應用范式和應用場景，這樣就極大的簡化了這個問題域。

這些范式主要包括數(shù)據(jù)集成共享、敏捷 BI 分析、數(shù)據(jù)超級檢索、多維動態(tài)分析。

1.數(shù)據(jù)集成共享：信息流動和分享的范圍越大，創(chuàng)造的價值就越高，數(shù)據(jù)集成共享解決的即是數(shù)據(jù)開放共享的問題，加速數(shù)據(jù)流轉。

2.敏捷BI分析：可視化是對于大數(shù)據(jù)應用效果直觀展示，它降低了數(shù)據(jù)分析門檻，不懂復雜的數(shù)學公式也可以快速發(fā)現(xiàn)問題。

3.數(shù)據(jù)超級檢索：搜索已經(jīng)成為人們獲取新知，探索未知的重要手段，同樣在大數(shù)據(jù)海洋中，提供靈活、即席的查詢檢索是必然。

4.多維動態(tài)分析：在大數(shù)據(jù)應用中，多維分析是大數(shù)據(jù)體現(xiàn)智能、展現(xiàn)魅力所在，挖掘數(shù)據(jù)，提煉真知，形成決策。

03

數(shù)據(jù)的應用離不開技術的支撐，通過對以上的通用范式提供技術保障，我們可以把這些范式應用在不同的數(shù)據(jù)場景中，帶來源源不斷的不可窮盡的價值。

所以我們可以歸納為，要應用好數(shù)據(jù)，就需要“數(shù)據(jù)+技術+場景”，怎么理解？數(shù)據(jù)是原材料，是基礎，技術是加工工具，負責提煉、加工，最終融合到各類應用場景賦予數(shù)據(jù)生命和智慧。

下面來看看幾個行業(yè)的大數(shù)據(jù)應用場景。

04

對于 金融行業(yè) 來說，一個典型的業(yè)務場景是用戶通過移動端進行支付，其背后數(shù)據(jù)流轉的過程需要經(jīng)過銀行的前置系統(tǒng)，渠道系統(tǒng)，與第三方系統(tǒng)結算，最后與銀行記賬核心交互?？梢钥闯鲆粋€交易過程在背后涉及多個系統(tǒng)，一旦中間有差錯需要通過日志排查多個系統(tǒng)。然而對某金融機構來說，原有的日志處理系統(tǒng)不能勝任自動化基于日志定位排錯，原因在于每個系統(tǒng)日志單獨存儲，格式不統(tǒng)一，無法關聯(lián)，造成出錯時人工排查為主，并附以額外的監(jiān)控手段，成本及人工均耗費較大。

因此，建立全新統(tǒng)一的日志數(shù)據(jù)分析平臺提上日程，新系統(tǒng)定位目標是實現(xiàn)一分鐘發(fā)現(xiàn)問題、五分鐘定位問題、十分鐘解決問題。一分鐘發(fā)現(xiàn)問題，主要涉及交易監(jiān)控，應用監(jiān)控，任務監(jiān)控，健康檢查；五分鐘定位問題，主要涉及交易查找，報錯定位，業(yè)務流排錯；十分鐘解決問題，主要涉及構建專家知識庫，做到故障自愈，智能回答。

針對上述提到問題癥狀，我們詳細論證，提供對癥方案：

1.改—針對現(xiàn)有日志格式不統(tǒng)一，風格各異的現(xiàn)象，制定統(tǒng)一日志規(guī)范。

2.替—采用大數(shù)據(jù)存儲，提供集中、海量存儲能力。

3.聚—通過23個采集節(jié)點高速采集日志，實現(xiàn)每天日增量1TB日志數(shù)據(jù)的采集，每秒吞吐量最高可達17萬條。

4.智—基于大數(shù)據(jù)智能分析日志數(shù)據(jù)，自動關聯(lián)排查故障。

政府大數(shù)據(jù) 也是當前建設熱點，政府由于職能需求，保有大量的各行業(yè)數(shù)據(jù)。國家對于如何利用這些數(shù)據(jù)，發(fā)揮政府主體數(shù)據(jù)價值，從2015年相繼提出“大數(shù)據(jù)發(fā)展行動綱要”，“政府數(shù)據(jù)開放”，“互聯(lián)網(wǎng)+政務”等政策文件，大力推動政府大數(shù)據(jù)發(fā)展。

不僅是政策在驅動，一股內部自我改進的驅動力也呼喚大數(shù)據(jù)技術。各類問題困擾著政府大數(shù)據(jù)的實施，主要有:

1.首先是當前在各級政府機構內及機構間，存在著“部門墻”問題，數(shù)據(jù)由于“安全”，“只能遠觀”等理由，不能有效共享與交換；

2.其次有些機構有一定的數(shù)據(jù)共享基礎，但共享開放多為靜態(tài)文本，更新不及時

3.最后數(shù)據(jù)質量堪憂，缺少統(tǒng)一管理，以政務服務為例，同樣的服務在不同的機構中，名稱、內容格式都不盡相同，導致在協(xié)同服務，辦件數(shù)據(jù)交換困難。

對此，按照“互聯(lián)網(wǎng)+政務”建設的要求，在 2018 年底各省級要建成省級政務資源共享交換平臺，同時構建政務信息資源目錄。以某省為例，構建升級數(shù)據(jù)共享交換平臺連接各政府機構，提供數(shù)據(jù)交換通道；同時基于政務信息資源目錄系統(tǒng)梳理信息資源目錄，開放政府數(shù)據(jù)，對外共享。目前接入系統(tǒng)部門數(shù)量 90 余個，梳理數(shù)據(jù)資源目錄 2.2 萬個，開放提供目錄信息項達 30 萬余個，日均服務調用 500 余次，惠及 7000余萬群眾與企業(yè)。

公安行業(yè) 中，由于信息化、互聯(lián)網(wǎng)化不斷發(fā)展，新的犯罪形式如網(wǎng)絡犯罪、電信詐騙等，對于治安防控提出了嚴重的挑戰(zhàn)。如何根據(jù)舉報線索，快速的在十億級數(shù)據(jù)中查出嫌疑人的身份、住址、從業(yè)、背景、軌跡、違法犯罪等信息？如何從交通視頻信息、通話等碎片化無序的信息中抓住蛛絲馬跡，分析出嫌疑人的行為軌跡？

大數(shù)據(jù)平臺可解答上述疑問，平臺全面采集和整合海量數(shù)據(jù)，對數(shù)據(jù)進行處理、分析、深度挖掘，發(fā)現(xiàn)數(shù)據(jù)的內在規(guī)律，為預防、打擊犯罪提供強有力的支撐。

以某地市的智慧公安項目為例，既有的基礎信息不能適應新的治安防控需要；黨政機關、重點部位、主要路口、公共復雜場所等視頻監(jiān)控資源，與各部門、各警種業(yè)務資源數(shù)據(jù)無法結合；警員不能實時、直觀地了解和掌握監(jiān)控區(qū)域的治安動態(tài)，難以及時發(fā)現(xiàn)、處理各類突發(fā)事件、群體事件，無法有效支撐公安“大情報”戰(zhàn)略。對此大數(shù)據(jù)平臺建設重點圍繞信息集成整合，信息實戰(zhàn)運用。數(shù)據(jù)整合層面采集2區(qū)5縣18個委辦局數(shù)據(jù)，范圍包括視頻數(shù)據(jù)、社會面數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、警務系統(tǒng)數(shù)據(jù)，統(tǒng)一標準，嚴控質量，形成專項主題庫，如類案庫、輿情庫等等，為進一步數(shù)據(jù)運用提供唯一標準數(shù)據(jù)來源。上層應用數(shù)據(jù)分析平臺提供超級檔案，超級檢索能力，可秒級在億條數(shù)據(jù)中自動聚合人員、案件相關數(shù)據(jù)，形成案情、嫌疑人全面畫像；可根據(jù)人員視頻、運營商手機信令等，抽取位置信息，根據(jù)時間先后，勾勒重點人員軌跡。

在 教育行業(yè)，教育部推動“三通兩平臺”建設多年，各級教育機構、教育行政部門已有相關教育資源平臺和教育管理平臺，但當前系統(tǒng)數(shù)據(jù)無法有效互通互融，造成一定的信息孤島的現(xiàn)象，很多統(tǒng)計信息需要人工采集、逐級上報，如統(tǒng)計留守兒童信息、統(tǒng)計人才流失和人才引進效果、可以支持的貧困補助等。

除了解決數(shù)據(jù)連通共享問題，某省教育廳進一步提出了整合教育教學資源和公共服務，面向全省提供統(tǒng)一服務能力平臺。通過構建教育能力開放平臺，整合 7 個國家系統(tǒng)和 16 個省級自建系統(tǒng)數(shù)據(jù)和能力，連通省市兩級教育能力，打造集能力抽取、能力整合、能力拓展、能力開放、能力調用、能力運營為一體的開放性平臺，進行能力全生命周期管理，實現(xiàn)省廳和各地市教育機構能力聚合，全方位提供能力支撐與運營。平臺以“數(shù)據(jù)”為核心，把數(shù)據(jù)封裝成能力，實現(xiàn)數(shù)據(jù)共享、資源整合和資源的最大化利用，把大量繁瑣耗時的人工查詢轉向實時自助的查詢方式，提高工作人員工作效率。

智能制造 是落實“中國制造2025”規(guī)劃綱要的一個重要抓手，而工業(yè)大數(shù)據(jù)是實現(xiàn)智能制造的基礎與必要條件；沒有工業(yè)大數(shù)據(jù)，智能化就只能是紙上談兵。在制造領域有大量的設備，現(xiàn)代化工業(yè)制造生產(chǎn)線安裝有數(shù)以千計的小型傳感器，來探測溫度、壓力、熱能、振動和噪聲，每隔幾秒就收集一次數(shù)據(jù)，利用這些數(shù)據(jù)可以實現(xiàn)很多形式的分析，包括設備診斷、用電量分析、能耗分析、質量事故分析（包括違反生產(chǎn)規(guī)定、零部件故障）等。

以某設備制造廠商為例，生產(chǎn)的關鍵設備廣泛用于軍事、民用設施。當前面臨的問題是在設備銷售維保期間，如果設備發(fā)生較難處理故障，由于引進國外技術因而需要協(xié)調海外專家，成本較高，而且此成本在維保期內由企業(yè)承擔，每年此項花費近百萬。為改變現(xiàn)狀，計劃構建物聯(lián)網(wǎng)大數(shù)據(jù)平臺，采集設備的運行狀態(tài)，包括電壓、電流、油壓、水溫、轉速等參數(shù)，實時監(jiān)控狀態(tài)，感知波動異常，提前預警；除了監(jiān)控，對于設備健康、設備壽命預測是減少維保期費用重要手段，根據(jù)使用負載度、投產(chǎn)時間、故障頻次綜合評估其可靠性；根據(jù)能耗和做功比評估性能，進而提前識別做功不足，故障空轉等現(xiàn)象，做到大病早防，小病早治。通過大數(shù)據(jù)平臺，企業(yè)產(chǎn)出的設備維保期大故障率降低40%，維修費用節(jié)省過半。

對于 醫(yī)療行業(yè) 來說，精細化運營，全局工作評估基于大數(shù)據(jù)分析方式來做。

一個大中型醫(yī)院擔負著繁重的醫(yī)療、科研任務，以及繁雜的事務性工作，院長必須時刻與各科室保持密切的聯(lián)系。隨著醫(yī)院信息化建設逐步深化醫(yī)院積累了大量數(shù)據(jù)，挖掘這些數(shù)據(jù)并通過可視化技術展現(xiàn)，有助于醫(yī)院決策層及時發(fā)現(xiàn)并解決問題。

作為醫(yī)院的決策中心，其工作效率、工作質量關系到醫(yī)院的社會效益和經(jīng)濟效益。在以往多部門系統(tǒng)分立的情況下，難免有因數(shù)據(jù)量大，界面雜亂分化，以至于出現(xiàn)不能全面及時理解全院情況，不能高效指導醫(yī)院各部門協(xié)調工作的情況。

通過醫(yī)院院長查詢系統(tǒng)，對各部門的資料信息統(tǒng)一管理、統(tǒng)計。分析查詢各個科室病人數(shù)、醫(yī)生工作量、護士工作量及特種科室人員工作量等情況，以及在院、出院或住院未結病人情況，醫(yī)院的財務收支狀況，藥品價格、報銷、報缺等情況。提高院長掌握信息的及時度和準確度，幫助院長對醫(yī)療、財務、人事各部門的信息提供動態(tài)的查詢并提供輔助決策支持。

房地產(chǎn) 正從黃金時期進入到白銀時期，房地產(chǎn)商從過去的粗放經(jīng)營轉向精細化經(jīng)營，大數(shù)據(jù)分析正在幫助地產(chǎn)行業(yè)在土地開發(fā)、小區(qū)規(guī)劃、商鋪規(guī)劃發(fā)揮巨大作用。

另一方面，國家對于房產(chǎn)調控、規(guī)范愈加嚴格，大量房產(chǎn)市場消費者由于高房價轉而選擇租賃房屋。但是當前的房屋租賃市場缺乏行業(yè)統(tǒng)一規(guī)范，房源信息數(shù)據(jù)缺乏管理，信息不準確，租金不透明，住房租賃企業(yè)良莠不齊，亟需統(tǒng)一管理平臺整合資源，加強管理，統(tǒng)一服務。對此某省規(guī)劃構建住房租賃服務平臺，圍繞住房租賃數(shù)據(jù)打造“一網(wǎng)一中心一平臺”的格局：

一張數(shù)據(jù)交換網(wǎng)覆蓋各住房租賃企業(yè)，實現(xiàn)房源信息的匯集；

一個基礎數(shù)據(jù)中心，編訂全省房地產(chǎn)業(yè)務基礎數(shù)據(jù)標準，省、市、縣三級按職責分別采集、存儲和管理房地產(chǎn)數(shù)據(jù)；

一個服務平臺，實現(xiàn)房屋租賃備案監(jiān)管，統(tǒng)計分析及輔助決策；同時也為公安、房產(chǎn)提供入住人口信息及房產(chǎn)信息，便于社會治安防控及房產(chǎn)管理。

05

以上各行的大數(shù)據(jù)智能應用案例，能夠快速落地，就需要成型的產(chǎn)品作為支撐。這些案例均是基于SaCa Data Integration,SaCa DataInsight,SaCa DataViz，SaCa API Management 大數(shù)據(jù)平臺套件有機配合完成。

從數(shù)據(jù)到應用，從懵懂到智能，大數(shù)據(jù)平臺套件針對性的提供了端到端的能力支撐。

在萬物互聯(lián)的時代，數(shù)據(jù)來源多種多樣，數(shù)據(jù)格式各異，數(shù)據(jù)平臺可采集來自于數(shù)據(jù)庫的、文本的、存在于頁面的、應用 API 的等多種來源數(shù)據(jù)。

采集到數(shù)據(jù)的還不能立刻用于分析，還有很多的噪聲數(shù)據(jù)，錯誤數(shù)據(jù)，數(shù)據(jù)平臺提供清洗、過濾、轉換、治理，保障數(shù)據(jù)標準和高質量，奠定大數(shù)據(jù)分析準確的基石。

面向海量數(shù)據(jù)提供數(shù)據(jù)湖存儲方案能力，根據(jù)實際業(yè)務綜合搭配關系型存儲、列式存儲、鍵值存儲，可應對日增量 TB 級數(shù)據(jù)。

基于全集合分布式檢索技術，提供海量數(shù)據(jù)秒級檢索，并可基于函數(shù)命令靈活組合檢索條件；可實時監(jiān)控數(shù)據(jù)，實現(xiàn)歷史數(shù)據(jù)關聯(lián)分析和數(shù)據(jù)挖掘。

最終數(shù)據(jù)應用分析的結果，通過可視化手段展現(xiàn)，業(yè)務人員可以實現(xiàn)與數(shù)據(jù)直接對話，既可以宏觀鳥瞰，也可查看剖面某一維度數(shù)據(jù)，繁簡由人。

東軟大數(shù)據(jù)產(chǎn)品在經(jīng)過多年在領域的深耕，積累了大量的實戰(zhàn)經(jīng)驗、技術能力，取得了國家、省級多個重要賽會的獎項，同時沉淀大量的專利資產(chǎn)，成為客戶的放心選擇。

總結來看我們認為大數(shù)據(jù)最重要的是應用，數(shù)據(jù)智能是數(shù)據(jù)結合技術在具體場景的運用，而東軟在二十多年服務于各行業(yè)客戶過程，積累大量的業(yè)務場景，可以幫助企業(yè)準確找到大數(shù)據(jù)落地點，并提供配套解決方案，幫助大數(shù)據(jù)真正落地揚塵。