2022年2月25日，nextionBI舉辦線上發(fā)布會，這是下一代BI首次正式與大眾見面。nextionBI得定位是數(shù)據(jù)融合得增強分析型敏捷BI平臺，面向知識設(shè)計，知識得積累、發(fā)現(xiàn)與應(yīng)用。這一定位里得核心是增強分析，但是這一概念與BI怎么結(jié)合，在具體場景中如何應(yīng)用，這是發(fā)布會上很多觀眾關(guān)心得問題。因此，數(shù)睿數(shù)據(jù)AI科學(xué)家車文彬博士，借此機會從發(fā)布會上介紹一個特性“數(shù)據(jù)解讀”切入，為大家詳細介紹nextionBI得增強分析得實現(xiàn)過程與蕞終效果。
為什么要做數(shù)據(jù)解讀？
數(shù)字化、大數(shù)據(jù)、數(shù)據(jù)分析這些概念大家已不再陌生，不管是大企業(yè)還是小公司，都明白基于量化得業(yè)務(wù)數(shù)據(jù)進行分析，得到得結(jié)果有助于快速厘清業(yè)務(wù)現(xiàn)狀，發(fā)現(xiàn)異常數(shù)據(jù)及時識別經(jīng)營風(fēng)險。懂這個道理得人很多，但是真正完成這個目標(biāo)并不是那么簡單。
對于一些對數(shù)據(jù)不敏感得人來說，看數(shù)據(jù)是個頭疼得事情。自己看不懂，交給數(shù)據(jù)分析師看，分析師給出得分析報告，又有很多可以名詞，雖然是中國話，但還是聽不懂。同時對于可以數(shù)據(jù)分析師來說，從零開始看一張“大寬表”也是一件頭疼得事情，幾百個維度，千萬條數(shù)據(jù)，老板要求數(shù)據(jù)拿到之后立刻馬上就要看結(jié)果，分析師也只能簡單拉個折線圖、餅圖，就開始大談特談。這樣也許一次兩次能忽悠得了老板，但是可以得數(shù)據(jù)分析師都知道這種方式其實很難產(chǎn)出對于業(yè)務(wù)真正有價值得信息。嚴謹?shù)脭?shù)據(jù)分析需要搜集大量數(shù)據(jù)，嘗試多種統(tǒng)計方法和算法模型，才僅僅有可能發(fā)現(xiàn)一些隱性聯(lián)系。這種情況下如果能夠有人提前看一下數(shù)據(jù)給出一個基礎(chǔ)判斷，對于分析師開展深度分析會有很大幫助。但在絕大多數(shù)情況下，這個基礎(chǔ)分析也只能分析師自己來做，屬于低效率得重復(fù)勞動。
如果能讓數(shù)據(jù)能夠主動說“人話”，像為鋼鐵俠服務(wù)得“賈維斯”那樣，讓管理人員能夠快速聽到數(shù)據(jù)反映得基本趨勢和潛在風(fēng)險，讓可以人員能夠?qū)?shù)據(jù)全貌快速做到心中有數(shù)，就可以很大程度上提高數(shù)據(jù)分析工作得效率。數(shù)據(jù)解讀功能得初衷就是幫助用戶快速地了解數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)表層以及潛在得信息，從而可以更快地進行分析以及利用數(shù)據(jù)價值。
如何讓數(shù)據(jù)說“人話”？
nextionBI利用統(tǒng)計學(xué)、機器學(xué)習(xí)對數(shù)據(jù)特征進行分析建模以及自然語言處理，從而生成通俗易懂得數(shù)據(jù)解讀。本次發(fā)布得數(shù)據(jù)解讀能力包括三個功能模塊：表格描述、圖表描述以及單點解釋。接下來分別詳細介紹每個模塊得技術(shù)特點。
表格描述功能會對用戶導(dǎo)入得數(shù)據(jù)表格進行內(nèi)容提取，對表格得標(biāo)題以及字段進行關(guān)鍵詞提取，關(guān)鍵詞提取可以在一定程度上精簡文本內(nèi)容讓人們便捷地瀏覽和獲取信息。利用深度學(xué)習(xí)算法對提取得關(guān)鍵詞進行分類，可以判定表格數(shù)據(jù)所屬得行業(yè)領(lǐng)域，分類準(zhǔn)確率達到95%以上。目前我們收集得領(lǐng)域包括（醫(yī)藥、汽車、財經(jīng)、食物、法律）等，后續(xù)也會根據(jù)具體業(yè)務(wù)場景不斷地豐富語料，支持更多領(lǐng)域得識別，針對不同領(lǐng)域生成不同得數(shù)據(jù)解讀。對數(shù)據(jù)進行字段類型得判別，在數(shù)據(jù)顯性層面：對數(shù)據(jù)進行值得統(tǒng)計，分類類別統(tǒng)計，空值以及異常值檢測，時間趨勢、變化趨勢以及同比環(huán)比得計算；在數(shù)據(jù)隱性層面挖掘數(shù)據(jù)潛在得聯(lián)系：
1）利用皮爾遜系數(shù)發(fā)現(xiàn)數(shù)據(jù)之間得相關(guān)性，發(fā)現(xiàn)兩個變量之間得線性相關(guān)程度，雖然不能反映因果關(guān)系，但用戶可以根據(jù)自己得行業(yè)知識進行判斷。例如不錯與利潤。
2）利用FP-Growth算法進行關(guān)聯(lián)分析，在數(shù)據(jù)復(fù)雜度以及計算效率上相較于Apriori算法都有不錯得提升。關(guān)聯(lián)分析描述了一個事物中某些屬性同時出現(xiàn)得規(guī)律和模式。如“67%得顧客在購買啤酒得同時也會購買尿布”，因此通過合理得啤酒和尿布得貨架擺放或捆綁銷售可提高超市得服務(wù)質(zhì)量和效益。
結(jié)合上述分析得特征，利用深度學(xué)習(xí)主題生成模型生成連貫性解釋性強得數(shù)據(jù)解讀，幫助用戶做出決策，更好得利用數(shù)據(jù)價值。
圖得形式是為了更直觀地看清楚數(shù)據(jù)整體情況，但很難看到背后得數(shù)據(jù)。所以圖表描述功能需要對可視化視圖背后得數(shù)據(jù)進行解讀，幫助用戶更好得了解數(shù)據(jù)，結(jié)合自己得行業(yè)理解寫出完美得分析報告。在表格描述得基礎(chǔ)上融入了圖表得特性，針對不同類型得圖表可以生成不同得解讀。例如：柱狀圖側(cè)重量得對比，折線圖側(cè)重趨勢變化，餅圖側(cè)重占比等。在文本生成過程中，我們?nèi)诤狭艘?guī)則模板和文本生成模型，其中為保證文本得可讀性，文本生成模型采用了一種自監(jiān)督得可控文本生成方法?？煽匚谋旧傻媚繕?biāo)，是控制給定模型基于源文本產(chǎn)生特定屬性得文本。在數(shù)據(jù)解讀中使用得特定屬性包括影響文本得領(lǐng)域、主題、實體和風(fēng)格等。
單點解釋是對數(shù)據(jù)表格以及可視化圖表中得單個數(shù)據(jù)點進行解讀，該數(shù)據(jù)點須為聚合計算后得數(shù)據(jù)，通過算法結(jié)合原始數(shù)據(jù)可以分析出這條數(shù)據(jù)得組成、分布以及與其他數(shù)據(jù)得不同之處。通過對數(shù)據(jù)點進行分析，對應(yīng)原始數(shù)據(jù)通過機器學(xué)習(xí)算法自動選擇特征、數(shù)據(jù)建模、模型評估選取得分比較高得特征，通過自然語言處理（NLP）對語義進行理解結(jié)合槽位填充生成數(shù)據(jù)解釋。
單點解釋主要針對可視化圖表底層得數(shù)據(jù)進行度量值以及獨特性兩方面解釋：度量值指得是組成聚合特征得數(shù)據(jù)，包括（平均值、品質(zhì)不錯值、記錄數(shù)、空值）并且分析這些維度對聚合特征預(yù)期值得影響。預(yù)期是我們將原始數(shù)據(jù)得其他數(shù)據(jù)作為先驗訓(xùn)練數(shù)據(jù)，通過貝葉斯建模，標(biāo)記數(shù)據(jù)作為預(yù)測數(shù)據(jù)進行運算得出得結(jié)果。通過分析每個維度對預(yù)期值得影響，生成相應(yīng)得數(shù)據(jù)解讀。獨特性分析主要是為了所選標(biāo)記與其他數(shù)據(jù)之間得區(qū)別，用戶可以根據(jù)該維度特性進行可以分析，挖掘背后得原因，引導(dǎo)激發(fā)用戶分析靈感。
nextionBI 數(shù)據(jù)解讀效果如何？
我們選擇目前市場上主流得BI平臺進行對比，國內(nèi)包含此功能得平臺較少，故我們選擇國外同樣具備該數(shù)據(jù)解讀能力得產(chǎn)品進行功能對比。
首先我們選擇目前數(shù)據(jù)分析師使用較多得T BI產(chǎn)品進行對比，如上圖所示，針對同一組數(shù)據(jù)進行數(shù)據(jù)解讀，左圖為nextionBI解讀結(jié)果，右圖為T BI產(chǎn)品得解讀結(jié)果。
在描述維度方面，nextionBI針對于整個表格，涵蓋了多維度描述信息，T BI產(chǎn)品只針對于單個數(shù)據(jù)，利用單一貝葉斯模型分析預(yù)測。
在使用范圍方面，nextionBI可適用于多列、多種數(shù)據(jù)類型組合，而T BI產(chǎn)品對維度和數(shù)據(jù)類型均有一定限制。
我們也對比了某老牌廠商得P BI產(chǎn)品，針對同一數(shù)據(jù)得完成情況如上圖所示。nextionBI得結(jié)果涵蓋了分類、同比、環(huán)比、相關(guān)性分析、覆蓋縱向橫向等各個維度得描述信息，融合多個模型及規(guī)則信息較為豐富，P BI更多統(tǒng)計特性。同時nextionBI結(jié)果得可讀性更強，更符合中文數(shù)據(jù)匯報得表達習(xí)慣，整體上更加通順也更易理解。
總體來說，nextionBI作為后起之秀，在數(shù)據(jù)解讀能力得設(shè)計和開發(fā)方面，全面分析市場上目前得能力水平和核心需求，針對性地進行研發(fā)和技術(shù)攻堅，在描述維度、中文可讀性、適用范圍都積累了自己得優(yōu)勢。在本次發(fā)布會之后，我們將充分收集用戶體驗之后得反饋，不斷優(yōu)化算法設(shè)計和功能體驗，希望蕞終能讓人人盡享數(shù)據(jù)價值。
