通付盾風險監測預警平臺利用流計算引擎優勢,為風控服務保駕護航
在互聯網時代背景下,金融消費者聚集的高度碎片化數據,規模在不斷增加,金融機構和企業可以運用這些數據進行計算、加工和判斷,推動金融行業智能風控的落地形成。因而當今的智能風控側重大數據、算法和計算能力,強調數據間的相關關系。
通付盾大數據安全團隊持續專註大數據計算與存儲技術領域,在大數據安全技術的反復研究與摸索比較中發現,壹款基於海量數據處理的高性能計算引擎至關重要,在這壹點上,流計算引擎有著無可比擬的優勢,而大多數計算引擎基於批處理系統,雖然具備海量數據處理能力,但在時效性上有明顯滯後性,無法滿足當前金融大數據實時計算需求。
以金融風控反欺詐為例,部署"流計算引擎"的通付盾風險監測預警平臺能夠基於海量風險數據,實時進行復雜風控模型及策略計算,高效輸出風控結果的智能風控系統,性能明顯優於傳統的智能風控平臺。
要解開流計算引擎的性能優越性之謎,需要從流計算的技術原理本身說起。
流計算秉承壹個基本理念,即數據的價值隨著時間的流逝而降低,如用戶點擊流。因此,當事件出現時就應該立即進行處理,而不是緩存起來進行批量處理。為了及時處理流數據,就需要壹個低延遲、可擴展、高可靠的處理引擎。對於壹個流計算系統來說,它應達到如下需求:
1)高性能
2)海量式
3)實時性
4)分布式
5)易用性
6)可靠性
相較於傳統靜態數據,技術人員利用數據挖掘和OLAP分析工具從靜態數據中找到對企業有價值的信息,流數據的處理對應不同的計算模式:實時計算。
實時計算壹般針對海量數據進行的,壹般要求為秒級,而通付盾大數據安全團隊目前所采用的流計算引擎,針對海量數據的實時計算能力已經達到毫秒級,關鍵技術在於引擎的流計算能力:
(1) 與批量計算那樣慢慢積累數據不同,流式計算將大量數據平攤到每個時間點上,連續地進行小批量的進行傳輸,數據持續流動,計算完之後就丟棄。
(2) 批量計算是維護壹張表,對表進行實施各種計算邏輯。流式計算相反,必須先定義好計算邏輯,提交到流失計算系統,這個計算作業邏輯在整個運行期間是不可更改的。
(3) 計算結果上,批量計算對全部數據進行計算後傳輸結果,流式計算每次小批量計算後,結果可以立刻投遞到在線系統,做到實時化展現。
正式如此,與傳統采用關系型數據庫采集金融大數據的方式進行風險預警相比,采用流計算技術的通付盾智能風控預警平臺具備以下幾大優點:
1)預置海量風控模型,智能識別業務場景風險類型,快速匹配並推送風控策略,提高風控效率;
2)支持實時、準實時、離線等多種風控模式,實現萬級吞吐量毫秒級響應,為實時交易保駕護航;
3)風險大盤實時預警,及時感知風險態勢,靈活調整風控策略,提高風控時效性;
不僅如此,基於"流計算引擎"的通付盾風險監測預警平臺利用大數據、人工智能等先進技術,有效整合反欺詐技術如設備指紋、終端威脅感知、數據治理、態勢感知等技術,構建面向不同場景的智能風控策略,既滿足監管機構對金融業務風險防控的相關要求,又滿足了金融企業創新業務有效開展的需求。
當前在大數據發展方向上,機器學習正在逐漸從批處理、離線學習向實時處理的方向發展,實時化正在變成壹種趨勢,實現感知、分析、判斷、決策等功能的大數據智能系統都需要流式大數據實時處理平臺的支撐;此外,流式大數據實時處理可以為大數據驅動的深度學習提供計算框架支撐。
流式計算在內容方面對金融與科學計算當中的數據進行更快運算和分析的需求,將成為下壹代計算引擎。通付盾大數據安全團隊希望能夠利用流計算研發成果,打造真正智能化的風險監測預警平臺,服務更多企業客戶。