隨著我國(guó)科學(xué)技術(shù)水平的不斷發(fā)展, 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用, 我國(guó)已經(jīng)步入了大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)背景下, 各種繁雜的數(shù)據(jù)層出不窮, 一時(shí)難以掌握其基本特征及一般規(guī)律, 這也給企業(yè)的運(yùn)營(yíng)數(shù)據(jù)分析工作增添了不小的難度。在大數(shù)據(jù)的背景下, 基于大數(shù)據(jù)前沿技術(shù)構(gòu)建企業(yè)運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)受到越來(lái)越多的企業(yè)的重視, 在具體的數(shù)據(jù)分析工作中, 也起到了越來(lái)越重要的作用。

運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)建設(shè)，首先要滿足ERP系統(tǒng)上線以來(lái)日益增長(zhǎng)的數(shù)據(jù)分析需求，快速掌握業(yè)務(wù)狀況，發(fā)現(xiàn)業(yè)務(wù)問(wèn)題與偏差，促進(jìn)管理改進(jìn)，利用準(zhǔn)確、及時(shí)的信息制定業(yè)務(wù)決策。其次，迎接大數(shù)據(jù)時(shí)代企業(yè)面對(duì)的諸多內(nèi)外部挑戰(zhàn)，從不斷加速產(chǎn)生的大量數(shù)據(jù)中攫取有價(jià)值信息，發(fā)現(xiàn)和創(chuàng)造新的商業(yè)機(jī)會(huì)；優(yōu)化企業(yè)業(yè)務(wù)流程，控制風(fēng)險(xiǎn)、提高效益。本次項(xiàng)目摒棄傳統(tǒng)的數(shù)據(jù)分析平臺(tái)建設(shè)模式，將運(yùn)營(yíng)數(shù)據(jù)分析與大數(shù)據(jù)平臺(tái)建設(shè)相結(jié)合，打破不同應(yīng)用系統(tǒng)、信息來(lái)源的界限，對(duì)海量數(shù)據(jù)進(jìn)行有效組織、存儲(chǔ)，加以分析并轉(zhuǎn)化為有價(jià)值信息。

平臺(tái)建設(shè)將以展現(xiàn)整體業(yè)務(wù)現(xiàn)狀和服務(wù)決策層為主要目標(biāo)，以ERP系統(tǒng)的數(shù)據(jù)為核心，結(jié)合系統(tǒng)外部已獲取的產(chǎn)品運(yùn)維數(shù)據(jù)，實(shí)現(xiàn)相關(guān)業(yè)務(wù)數(shù)據(jù)展現(xiàn)和數(shù)據(jù)透明化。在技術(shù)實(shí)現(xiàn)上，采取先進(jìn)的大數(shù)據(jù)應(yīng)用技術(shù)作為企業(yè)整體數(shù)據(jù)管理的基礎(chǔ)結(jié)構(gòu)，借助云計(jì)算數(shù)據(jù)處理與應(yīng)用模式的廣泛運(yùn)用，為公司處理日益增長(zhǎng)的海量數(shù)據(jù)，實(shí)現(xiàn)高效、可擴(kuò)展的低成本解決方案。深化和拓展公司商業(yè)智能和知識(shí)服務(wù)能力，提高經(jīng)營(yíng)決策效率，實(shí)現(xiàn)從“業(yè)務(wù)驅(qū)動(dòng)”到“數(shù)據(jù)驅(qū)動(dòng)”的轉(zhuǎn)變。

一、建設(shè)目標(biāo)：

運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)旨在規(guī)劃和建設(shè)以Hadoop為核心的大數(shù)據(jù)平臺(tái)，采取分布式的基礎(chǔ)架構(gòu)，開發(fā)大數(shù)據(jù)應(yīng)用管理工具；以企業(yè)ERP系統(tǒng)數(shù)據(jù)作為分析基礎(chǔ)，利用大數(shù)據(jù)技術(shù)集成應(yīng)用系統(tǒng)外部的產(chǎn)品運(yùn)維及服務(wù)數(shù)據(jù)，結(jié)合公司戰(zhàn)略目標(biāo)，經(jīng)營(yíng)指標(biāo)及上級(jí)控制指標(biāo)，建立分析模型，對(duì)企業(yè)財(cái)務(wù)、銷售、生產(chǎn)、采購(gòu)、庫(kù)存等關(guān)鍵指標(biāo)進(jìn)行分析，實(shí)現(xiàn)數(shù)據(jù)可視化展示，通過(guò)數(shù)據(jù)分析發(fā)現(xiàn)從銷售到生產(chǎn)執(zhí)行過(guò)程中的問(wèn)題，層層追溯和挖掘找出原因，逐步加強(qiáng)業(yè)務(wù)數(shù)據(jù)的真實(shí)體現(xiàn)，深入分析，聚焦業(yè)務(wù)洞察力，從而增強(qiáng)信息透明度，提升決策及管理數(shù)據(jù)的真實(shí)性,實(shí)效性,一致性,為決策層提供可視化管理與決策信息，進(jìn)一步提高決策層對(duì)于業(yè)務(wù)數(shù)據(jù)的關(guān)注度，推動(dòng)提升公司信息化應(yīng)用（基礎(chǔ)數(shù)據(jù)及業(yè)務(wù)操作規(guī)范性、業(yè)務(wù)數(shù)據(jù)真實(shí)性、完整性）。建立完善的運(yùn)營(yíng)數(shù)據(jù)后臺(tái)管理系統(tǒng)，實(shí)現(xiàn)對(duì)分析展示系統(tǒng)的用戶訪問(wèn)、業(yè)務(wù)操作及系統(tǒng)運(yùn)行狀態(tài)監(jiān)控等進(jìn)行有效管控。

二、關(guān)鍵技術(shù)：

（一）總體架構(gòu)

運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)架構(gòu)設(shè)計(jì)需要遵循穩(wěn)定性、安全性、通用性、靈活性、可擴(kuò)展性等設(shè)計(jì)原則，旨在建立統(tǒng)一的運(yùn)營(yíng)管理數(shù)據(jù)架構(gòu)體系，為未來(lái)多系統(tǒng)的數(shù)據(jù)集成提供處理平臺(tái)。整體架構(gòu)設(shè)計(jì)如下圖所示：

圖1 總體架構(gòu)

整體架構(gòu)按數(shù)據(jù)處理流向設(shè)計(jì)，自下向上分成五個(gè)部分，依次是數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)與治理、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析、數(shù)據(jù)分析結(jié)果可視化以及數(shù)據(jù)處理過(guò)程中的任務(wù)調(diào)度管理部分。

（二）關(guān)鍵技術(shù)

運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)要求滿足數(shù)據(jù)處理采集、存儲(chǔ)、計(jì)算、應(yīng)用，能夠同時(shí)滿足PB級(jí)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的快速處理需求。其關(guān)鍵技術(shù)如下：

（1）平臺(tái)整體架構(gòu)采用虛擬化云計(jì)算及分布式計(jì)算架構(gòu)設(shè)計(jì)，主要分基礎(chǔ)設(shè)施層、支撐軟件層、安全保障體系、服務(wù)保障體系組成；

（2）實(shí)現(xiàn)基于Hadoop的大數(shù)據(jù)開發(fā)和運(yùn)行環(huán)境；

（3）實(shí)現(xiàn)基于大數(shù)據(jù)的HDFS分布式文件系統(tǒng)存儲(chǔ)；針對(duì)于小文件優(yōu)化的分布式文件系統(tǒng)；

（4）充分考慮公司未來(lái)的數(shù)據(jù)增長(zhǎng)，滿足海量數(shù)據(jù)存儲(chǔ)需求；

（5）實(shí)現(xiàn)基于Hive數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)集市建設(shè)分析；

（6）實(shí)現(xiàn)基于Hbase的快速響應(yīng)數(shù)據(jù)存儲(chǔ)支撐；

（7）實(shí)現(xiàn)基于Oozie的數(shù)據(jù)分析Job配置管理；

（8）提供面向非結(jié)構(gòu)化數(shù)據(jù)的NoSql數(shù)據(jù)庫(kù)服務(wù)功能；

（9）提供行業(yè)業(yè)務(wù)數(shù)據(jù)的大數(shù)據(jù)分析引擎；根據(jù)公司業(yè)務(wù)需求及數(shù)據(jù)特點(diǎn)，提供Spark分析計(jì)算框架，確保數(shù)據(jù)的并行計(jì)算和實(shí)時(shí)分析以及系統(tǒng)的響應(yīng)效率；

（10）提供機(jī)器冷數(shù)據(jù)（非業(yè)務(wù)數(shù)據(jù)）的數(shù)據(jù)分析引擎和算法工具；

（11）提供基于HTML5等技術(shù)的系統(tǒng)頁(yè)面設(shè)計(jì)和展示；基于Echart、D3、Jquery等開源軟件實(shí)現(xiàn)豐富的圖表展現(xiàn)；

（12）能提供大數(shù)據(jù)云化服務(wù)平臺(tái)，封裝數(shù)據(jù)接口服務(wù)和大數(shù)據(jù)分析云服務(wù)以及大數(shù)據(jù)讀寫存儲(chǔ)云服務(wù)；

三、運(yùn)營(yíng)分析：

通過(guò)整合企業(yè)內(nèi)部核心業(yè)務(wù)數(shù)據(jù)與外部產(chǎn)品數(shù)據(jù)，基于運(yùn)營(yíng)分析平臺(tái)匯總分析，最終輸出如圖3-1所示的分析匯總結(jié)果：

圖2 運(yùn)營(yíng)分析

圖2左上板塊呈現(xiàn)了企業(yè)營(yíng)收及利潤(rùn)數(shù)據(jù)，包括企業(yè)應(yīng)收及回款，助于企業(yè)決策層了解企業(yè)財(cái)務(wù)狀態(tài)。

圖2右上板塊呈現(xiàn)了企業(yè)營(yíng)銷數(shù)據(jù)，包括企業(yè)合同簽訂、市場(chǎng)各板塊銷售等，助于企業(yè)決策層了解企業(yè)營(yíng)銷狀態(tài)，針對(duì)各板塊銷售占比高低不同制定相應(yīng)的營(yíng)銷策略。

圖2左中板塊呈現(xiàn)了企業(yè)生產(chǎn)數(shù)據(jù)，包括生產(chǎn)訂單的交付、資金占用等，助于企業(yè)決策層了解企業(yè)生產(chǎn)狀態(tài)，提供改進(jìn)生產(chǎn)過(guò)程、提高生產(chǎn)效率的決策依據(jù)，如針對(duì)交付晚點(diǎn)的訂單，研究如何提高正點(diǎn)率；如對(duì)于資金占用額度大的訂單、資金周轉(zhuǎn)天數(shù)多的如何加快資金周轉(zhuǎn)效率等。

圖2右中板塊呈現(xiàn)了企業(yè)采購(gòu)及庫(kù)存數(shù)據(jù)，包括采購(gòu)正點(diǎn)、庫(kù)存資金積壓等情況，助于企業(yè)決策層了解企業(yè)采購(gòu)及庫(kù)存狀態(tài)，提供改進(jìn)采購(gòu)過(guò)程、降低庫(kù)存積壓的決策依據(jù)，如針對(duì)采購(gòu)到貨晚點(diǎn)的情況，研究如何提高正點(diǎn)率；如對(duì)于庫(kù)存積壓較大生產(chǎn)要素如何降低庫(kù)存、加快庫(kù)存資金周轉(zhuǎn)等。

圖2左下板塊呈現(xiàn)了企業(yè)產(chǎn)品故障數(shù)據(jù)，助于企業(yè)決策層了解企業(yè)產(chǎn)品的故障狀態(tài)， 對(duì)于占比較高的故障類別、排名靠前的故障產(chǎn)品型號(hào)，可以研究制定改進(jìn)生產(chǎn)工藝，降低產(chǎn)品故障率的方法。

圖2右下板塊呈現(xiàn)了企業(yè)質(zhì)量損失數(shù)據(jù)，助于企業(yè)決策層了解企業(yè)因產(chǎn)品質(zhì)量問(wèn)題導(dǎo)致的經(jīng)濟(jì)損失的狀態(tài)，對(duì)于因質(zhì)量問(wèn)題導(dǎo)致經(jīng)濟(jì)損失額度較高異常月份，可以形成重點(diǎn)關(guān)注。

綜上所述，通過(guò)直觀生動(dòng)的展現(xiàn)方式，采用不同顏色的預(yù)警和異常提示，以整體視角呈現(xiàn)企業(yè)運(yùn)營(yíng)狀況，為企業(yè)決策提供直觀、數(shù)據(jù)化的有力參考依據(jù)。運(yùn)營(yíng)數(shù)據(jù)分析平臺(tái)是建設(shè)一套卓越的企業(yè)經(jīng)營(yíng)管理決策支持系統(tǒng)，深化數(shù)據(jù)應(yīng)用，為滿足公司現(xiàn)階段的管理要求及未來(lái)業(yè)務(wù)發(fā)展的需求，提升公司整體信息化水平，進(jìn)一步促進(jìn)企業(yè)未來(lái)的快速發(fā)展。

四、參考文獻(xiàn)：

1、《制造企業(yè)ERP深化應(yīng)用評(píng)價(jià)指標(biāo)體系構(gòu)建及綜合評(píng)價(jià)》 企業(yè)經(jīng)濟(jì)  經(jīng)營(yíng)謀略 （2013年06期） 王婷； 陳曉；

2、《基于SAP BW系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)——數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在電力企業(yè)ERP中的應(yīng)用》遼寧工程技術(shù)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版) （2014年02期） 陳頻；劉松先；

3、《大數(shù)據(jù)挖掘技術(shù)在企業(yè)ERP中的應(yīng)用研究》

當(dāng)代經(jīng)濟(jì) （2018年02期） 陳頻； 劉松先；

全拓?cái)?shù)據(jù)研發(fā)中心簡(jiǎn)介：

北京全拓聯(lián)合數(shù)據(jù)科技有限公司作為國(guó)家信息中心數(shù)字中國(guó)研究院常務(wù)副理事長(zhǎng)單位，圍繞國(guó)家安全與經(jīng)濟(jì)發(fā)展大局，積極探索政府、社會(huì)機(jī)構(gòu)、企業(yè)協(xié)同采集數(shù)據(jù)、匯聚數(shù)據(jù)、加工數(shù)據(jù)、開放數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)的市場(chǎng)化模式，共同拓展市場(chǎng)化增值服務(wù)，全力打造業(yè)界領(lǐng)先的大數(shù)據(jù)分析平臺(tái)。

全拓?cái)?shù)據(jù)研發(fā)中心作為公司技術(shù)創(chuàng)新體系的核心，按照培育一流技術(shù)創(chuàng)新能力的要求整合研發(fā)資源，探索并建立系統(tǒng)化的研發(fā)投入機(jī)制，主要負(fù)責(zé)新技術(shù)引進(jìn)消化、技術(shù)與產(chǎn)品創(chuàng)新、應(yīng)用提煉與升級(jí)、行業(yè)政策前瞻性研究。研發(fā)中心團(tuán)隊(duì)專業(yè)、嚴(yán)謹(jǐn)、高效、團(tuán)結(jié)、經(jīng)驗(yàn)豐富，在海量結(jié)構(gòu)與非結(jié)構(gòu)化數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、大規(guī)模并行計(jì)算、數(shù)據(jù)挖掘分析、自然語(yǔ)言處理等領(lǐng)域擁有豐富的研發(fā)經(jīng)驗(yàn)，在金融、電商、電子政務(wù)及制造業(yè)等行業(yè)積累了多年的咨詢與實(shí)施經(jīng)驗(yàn)。自研發(fā)中心設(shè)立以來(lái)通過(guò)不斷持續(xù)的自主創(chuàng)新、自主研發(fā)和產(chǎn)學(xué)研相結(jié)合，在金融、汽車、教育以及快消行業(yè)獲得豐富的技術(shù)成果，得到行業(yè)和客戶的廣泛認(rèn)可。