發布日期:2016-11-19 09:53:26 作者:華騰信息
(作者:范婷婷 來源:網絡大數據)
我說過,要給你們發送獨家的雙11數據干貨,側寫了阿里數據人雙11成交數字背后所付出的努力。盡情盡興,再出發!
阿里數據,加油!(哎呦,再寫下去又要哭了~)
11月11日,0點剛過了52秒,深圳大運體育中心內一塊400平米的曲面數據大屏上,就跳出了10億這個數字,它代表著雙11的實時交易額,在不到一分鐘的時間里就刷新了紀錄,比前一年早了20秒。
此后,這個數字不斷被刷新,50億、100億、191億、571億、912億、1000億,以及代表最后成交額的1207億。
數字是全世界最好理解的信息,但是數字背后往往有很復雜的邏輯,交易額的背后體現的實際是一個巨大的生態體系,由阿里巴巴數據技術及產品部負責把這一天所有的成交匯總成一個舉世矚目的數字。
作為阿里巴巴數據技術及產品部的高級技術專家王鵬說, “雙11對我們來說不是一個終點,而是一個起點”,這個時間點成為了數據團隊每年的里程碑,因為這一天的高峰,都將成為今后的平峰。這十分符合阿里的名言,“今天最好的表現,是明天最低的要求”。
距離馬云第一次發表“人類正從IT時代走向DT(數據技術Data Technology)時代”這個觀點已經過去兩年多,DT已經滲透到阿里生態中的各個業務和場景。
1、大家都在看的雙11大屏
2013年的天貓雙11,媒體大屏第一次出現在阿里巴巴園區的報告廳里,當時零點過去不到一分鐘,大屏上的銷售總額就過億了,全場所有媒體都發出驚呼,同時手中的鍵盤啪啪作響,把這個數據第一時間傳達給自己的受眾。
在往年的雙11報道中,數據無疑是傳播得最好最快的內容,數據的可視化對于大部分關注雙11的人來說,就是最好的興奮劑。但是數據既是媒體面對公眾時的抓手,也是天貓雙11面向社會大眾的抓手。
“大屏第一年出來,無論是媒體還是商家,都覺得很爽,因為數據非常直接地讓所有人感知到了雙11的能量?!蓖貔i認為大屏最初解決了信息對稱的問題,以往無論是消費者還是商家,他們只知道自己的交易情況,但是不能實時了解全社會的銷售情況以及其他品牌的銷售情況。
第一年的大屏數據差不多要一分鐘更新一次,前年可以實現15秒更新一次,去年提升到5秒,王鵬表示,今年做到更快,大家能夠看到的數據幾乎就是實時的。
為了雙11當天數據呈現的快捷、準確,數據團隊早在今年7月份就開始全力投入到雙11的數據項目中?!昂芏嗳擞X得我們那么早啟動就是為了雙11,其實這要分兩方面看,一是確實我們做技術的升級是更好地服務雙11,但另一方我們需要靠雙11的峰值來檢驗我們的成果,因為沒有任何場景會比雙11更復雜,我們要為未來做好技術儲備?!?王鵬把雙11視為每年的大考,同時是為下一年奠基。
從技術提升的層面來說,給大家分享一個小的創新:可測試大屏工具。王鵬告訴記者,雙11業務的復雜,在數據的邏輯上也存在復雜的不可模擬性,雖然我們盡量根據業務理解和數據經驗來模擬業務邏輯,但是在去年雙11,我們還是比較人肉地在整個鏈路上去造測試環境,測試數據,流程長、成本高,在有限的時間里我們能cover的場景也是有限的,不過,今年我們通過可測試大屏工具,在服務端增加了一個mock插件,能快速的模擬任何時間的任何數據表現,同時可以模擬任何環境的故障對大屏的影響等等,更重要的是我們可以在任何時間靈活地完成測試。
2、 邏輯跟著業務走
在今年的媒體數據大屏中,除了最重要的總成交額,王鵬表示大家可以重點關注這幾塊數據,“一是我們會展現平臺‘買全球賣全球’能力的數據信息,二是展現區域化的交易,三是垂直平臺業務的成交能力,包括今年重點展現的農村淘寶等,此外就是展現平臺本身的技術能力,包括對菜鳥、客服、支付、技術創新等中臺能力的展現。”
其實數據大屏展現的模塊,與阿里在今年年初提出的“全球化、農村、大數據和云計算為核心的三大戰略”是契合的,這塊屏幕就是這一年來對阿里整體戰略實踐的解讀。
每年雙11都會有新的玩法帶給大家更驚艷的購物體驗,玩法的多樣性、復雜性都會對我們提出更高的要求:尤其是當流量、交易量達到高峰的時候,如何在完成更復雜的數據邏輯處理的基礎上,依然保障數據處理的效率。
2009年的第一次雙11,交易峰值僅為400筆/每秒,支付峰值僅為200筆/每秒,而今年雙11開場的第一個小時,就涌入1.2億用戶,阿里的交易系統也創造了每秒交易峰值17.5萬筆,每秒支付峰值12萬筆的新紀錄,八年增長了數百倍。
同樣對于數據團隊來說,壓力最大的也是11號凌晨,即雙11到來前的一個小時,前十分鐘壓力最大,必須要在高峰的時候既要保證數據邏輯的正確,又要保證數據處理的效率?!翱高^第一個小時,這一整天基本就能抗住了。”而如果說第一分鐘的壓力來自交易筆數的并發量,那么最后一分鐘的壓力在于最終數據的準確度。“我們要考慮任何的環境不穩定帶來的數據抖動,來保證最后時刻的數據,和你將來回過頭看的離線數據是一樣的?!?br />
3、 壓力下的決斷:“你們不要手抖”
“你們不要手抖”,是王鵬時常掛在嘴邊的一句話,作為技術人員,點鼠標的時候要慎重果斷。但是即使是王鵬這樣經歷了大風大浪的人,依然充滿了對數據的敬畏,對于他來說,數據的迷人住處也在于它的不可控?!氨热缃衲暧泻芏鄡热莼耐娣?,包括晚會的時候,我們不確定什么時間點會產生流量峰值。”
去年第一屆雙11晚會時,王鵬就被驚出一身汗,“晚會對我們來說是第一次嘗試,經驗也不足,我們預估達到流量峰值的時間提前了1個小時,剛開始的幾秒鐘還是挺慌的,還好做的預案比較完善?!?br />
盡管在雙11前已經做了無數次壓力測試,但是王鵬表示,復演的過程與真實的情況永遠存在差異,所以在雙11之前,“我們內心其實都還挺恐慌的”,不過只要前十分鐘一過,團隊所有人都淡定了。
為了應對各種不確定性,數據團隊做了幾百條預案,雖然可能最后大部分都不會觸發,但團隊想了很多可能出現的突發狀況,比如說交易量超過峰值,平臺要怎么去應對。
今年的整個數據系統,王鵬表示采用了“三鏈路”保障體系,“目前日常情況下,我們是雙鏈路,一個鏈路有問題的話,不到一秒的時間就能切換到另一個鏈路上,不過今年因為交易場景的增加,所以我們升級了自己保障的能力,針對媒體大屏有單獨的鏈路來保障?!?br />
在操作層面,今年也有很多升級,主要集中在自動化能力的提升上面:比如今年的鏈路一鍵切換,屏蔽掉人為操作的所有中間環節,用王鵬的話來說,“手抖一下也不會壞事”。以及今年的大屏遠端監控工具,在任何地點都可以通過技術指標的波動來第一時間識別大屏的性能和穩定性風險。
4、 數據產品的三個戰場
阿里巴巴數據技術及產品部資深總監朋新宇告訴記者,數據團隊主要有三個戰場,一個是面向媒體的數據大屏,一個是面向商家端的數據大屏,一個是面向平臺內部各業務小二的數據大屏。雖然這些針對不同用戶的數據可視維度不同,但是共用一個數據公共層。
“比如像商家端的數據大屏,最早是起到店鋪數據實時監測的作用,逐步生出了團隊激勵、多個子品牌的數據同步顯示的需求,以及到今天還有社會分享、對外披露的需求。”所以今年,生意參謀推出的升級版雙11作戰大屏上,不僅能實時展示店鋪支付金額、支付件數等核心經營數據,還將實時、同屏呈現店鋪所在行業排名、競店排行、店內熱銷商品榜、店鋪買家畫像等更多內容,可以滿足商家對數據可視化的多維度訴求。
而小二端能看到的數據信息就更加豐富了,“我們說阿里是一個數據化運營的公司,那么在這背后必須有一套非常完善的數據化運營體系,就以雙11為例,從前期的預熱、預售到活動當天再到事后的復盤、物流,這中間會產生非常多的數據要參與到整個運營中來?!?br />
王鵬告訴記者,在阿里內部,不同小二看到的數據直播廳是不同的,“針對不同業務線和場景,我們有30個直播館為大家提供不同的數據抓手,和對外的大屏不同的是,它的內容會更加豐富。”