Ⅰ 大數據在金融行業的應用與挑戰
大數據在金融行業的應用與挑戰
A 具有四大基本特徵
金融業基本是全世界各個行業中最依賴於數據的，而且最容易實現數據的變現。全球最大的金融數據公司Bloomberg在1981年成立時「大數據」概念還沒有出現。Bloomberg的最初產品是投資市場系統（IMS），主要向各類投資者提供實時數據、財務分析等。
隨著信息時代降臨，1983年估值僅1億美元的Bloomberg以30%股份的代價換取美林3000萬美元投資，先後推出Bloomberg Terminal、News、Radio、TV等各類產品。1996年Bloomberg身價已達20億美元，並以2億美元從美林回購了10%的股份。2004年Bloomberg在紐約曼哈頓中心建成246米摩天高樓。到2008年次貸危機，美林面臨崩盤，其剩餘20%的Bloomberg股份成為救命稻草。Bloomberg趁美林之危贖回所有股份，估值躍升至225億美元。2016年Bloomberg全球布局192個辦公室，擁有1.5萬名員工，年收入約100億美元，估值約1000億美元，超過同年市值為650億美元的華爾街標桿高盛。
大數據概念形成於2000年前後，最初被定義為海量數據的集合。2011年，美國麥肯錫公司在《大數據的下一個前沿：創新、競爭和生產力》報告中最早提出：大數據指大小超出典型資料庫軟體工具收集、存儲、管理和分析能力的數據集。
具體來說，大數據具有四大基本特徵：
一是數據體量大，指代大型數據集，一般在10TB規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量。
二是數據類別大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據。
三是處理速度快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。數據處理遵循「1秒定律」，可從各種類型的數據中快速獲得高價值的信息。
四是數據的真實性高，隨著社交數據、企業內容、交易與應用數據等新數據源的興起，傳統數據源的局限被打破，信息的真實性和安全性顯得極其重要。
而相比其他行業，金融數據邏輯關系緊密，安全性、穩定性和實時性要求更高，通常包含以下關鍵技術：數據分析，包括數據挖掘、機器學習、人工智慧等，主要用於客戶信用、聚類、特徵、營銷、產品關聯分析等；數據管理，包括關系型和非關系型數據、融合集成、數據抽取、數據清洗和轉換等；數據使用，包括分布式計算、內存計算、雲計算、流處理、任務配置等；數據展示，包括可視化、歷史流及空間信息流展示等，主要應用於對金融產品健康度、產品發展趨勢、客戶價值變化、反洗錢反欺詐等監控和預警。
B 重塑金融行業競爭新格局
「互聯網+」之後，隨著世界正快速興起「大數據+」，金融行業悄然出現以下變化：
大數據特徵從傳統數據的「3個V」增加到「5個V」。在數量（Volume）、速度（Velocity）、種類（Variety）基礎上，進一步完善了價值（Value）和真實性（Veracity），真實性包括數據的可信性、來源和信譽、有效性和可審計性等。
金融業按經營產品分類變為按運營模式分類。傳統金融業按經營產品劃分為銀行、證券、期貨、保險、基金五類，隨著大數據產業興起和混業經營的發展，現代金融業按運營模式劃分為存貸款類、投資類、保險類三大類別。
大數據市場從壟斷演變為充分市場競爭。全球大數據市場企業數量迅速增多，產品和服務的差異增大，技術門檻逐步降低，市場競爭日益激烈。行業解決方案、計算分析服務、存儲服務、資料庫服務和大數據應用成為市場份額排名最靠前的五大細分市場。
大數據形成新的經濟增長點。Wikibon數據顯示，2016年，全球大數據硬體、軟體和服務整體市場增長22%達到281億美元，預計到2027年，全球在大數據硬體、軟體和服務上的整體開支的復合年增長率為12%，將達到大約970億美元。
數據和IT技術替代「重復性」業務崗位。數據服務公司Eurekahedge通過追蹤23家對沖基金，發現5位對沖基金經理薪金總額為10億美元甚至更高。過去10年，靠數學模型分析金融市場的物理學家和數學家「寬客」一直是對沖基金的寵兒，其實大數據+人工智慧更精於此道。高盛的紐約股票現金交易部門2000年有600名交易員而如今只剩兩人，其任務全由機器包辦，專家稱10年後高盛員工肯定比今天還要少。
美國大數據發展走在全球前列。美國政府宣稱：「數據是一項有價值的國家資本，應對公眾開放，而不是將其禁錮在政府體制內。」作為大數據的策源地和創新引領者，美國大數據發展一直走在全球最前列。自20世紀以來，美國先後出台系列法規，對數據的收集、發布、使用和管理等做出具體的規定。2009年，美國政府推出Data.gov政府數據開放平台，方便應用領域的開發者利用平台開發應用程序，滿足公共需求或創新創業。2010年，美國國會通過更新法案，進一步提高了數據採集精度和上報頻度。2012年3月，奧巴馬政府推出《大數據研究與開發計劃》，大數據迎來新一輪高速發展。
英國是歐洲金融中心，大數據成為其領先科技之一。2013年，英國投資1.89億英鎊發展大數據。2015年，新增7300萬英鎊，創建了「英國數據銀行」data.gov.uk網站。2016年，倫敦舉辦了超過22000場科技活動，同年，英國數字科技投資逾68億英鎊，而收入則超過1700億英鎊。另外，英國統計局利用政府資源開展「虛擬人口普查」，僅此一項每年節省5億英鎊經費。
C 打造高效金融監管體系
大數據用已發生的總體行為模式和關聯邏輯預測未來，決策未來,作為現代數字科技的核心，其靈魂就是——預測。
偵測、打擊逃稅、洗錢與金融詐騙
全球每年因欺詐造成的經濟損失約3.7萬億美元，企業因欺詐受損通常為年營收額的5%。全球最大軟體公司之一美國SAS公司與稅務、海關等政府部門和全球各國銀行、保險、醫療保健等機構合作，有效應對日益復雜化的金融犯罪行為。如在發放許可之前，通過預先的數據分析檢測客戶是否有過行受賄、欺詐等前科，再確定是否發放借貸或海關通關。SAS開發的系統已被國際公認為統計分析的標准軟體，在各領域廣泛應用。英國政府利用大數據檢測行為模式檢索出200億英鎊的逃稅與詐騙，追回了數十億美元損失。被福布斯評為美國最佳銀行的德克薩斯資本銀行（TCBank），不斷投資大數據技術，反金融犯罪系統與銀行發展同步，近3年資產從90億美元增至210億美元。荷蘭第三大人壽保險公司CZ依靠大數據對騙保和虛假索賠行為進行偵測，在支付賠償金之前先期阻斷，有效減少了欺詐發生後的司法補救。
大數據風控建立客戶信用評分、監測對照體系
美國注冊舞弊審核師協會（ACFE）統計發現，缺乏反欺詐控制的企業會遭受高額損失。美國主流個人信用評分工具FICO能自動將借款人的歷史資料與資料庫中全體借款人總體信用習慣相比較，預測借款人行為趨勢，評估其與各類不良借款人之間的相似度。美國SAS公司則通過集中瀏覽和分析評估客戶銀行賬戶的基本信息、歷史行為模式、正在發生行為模式（如轉賬）等，結合智能規則引擎（如搜索到該客戶從新出現的國家為特有用戶轉賬，或在新位置在線交易等），進行實時反欺詐分析。
美國一家互聯網信用評估機構通過分析客戶在Facebook、Twitter等社交平台留下的信息，對銀行的信貸和投保申請客戶進行風險評估，並將結果出售給銀行、保險公司等，成為多家金融機構的合作夥伴。
D 數據整合困難
應用經濟指標預測系統分析市場走勢
IBM使用大數據信息技術成功開發了「經濟指標預測系統」，該系統基於單體數據進行提煉整合，通過搜索、統計、分析新聞中出現的「新訂單」等與股價指標有關的單詞來預測走勢，然後結合其他相關經濟數據、歷史數據分析其與股價的關系，從而得出行情預測結果。
追蹤社交媒體上的海量信息評估行情變化
當今搜索引擎、社交網路和智能手機上的微博、微信、論壇、新聞評論、電商平台等每天生成幾百億甚至千億條文本、音像、視頻、數據等，涵蓋廠商動態、個人情緒、行業資訊、產品體驗、商品瀏覽和成交記錄、價格走勢等，蘊含巨大財富價值。
2011年5月，規模為4000萬美元的英國對沖基金DC Markets，通過大數據分析Twitter的信息內容來感知市場情緒指導投資，首月盈利並以1.85%的收益率一舉戰勝其他對沖基金僅0.76%的平均收益率。
美國佩斯大學一位博士則利用大數據追蹤星巴克、可口可樂和耐克公司在社交媒體的圍觀程度對比其股價，證明Facebook、Twitter和 Youtube上的粉絲數與股價密切相關。
提供廣泛的投資選擇和交易切換
日本個人投資理財產品Money Design在應用程序Theo中使用演算法+人工智慧，最低門檻924美元，用戶只需回答風險承受水平、退休計劃等9個問題，就可使用35種不同貨幣對65個國家的1.19萬只股票進行交易和切換，年度管理費僅1%。Money Design還能根據用戶投資目標自動平衡其賬戶金額，預計2020年將超過2萬億美元投資該類產品。
利用雲端資料庫為客戶提供記賬服務
日本財富管理工具商Money Forward提供雲基礎記賬服務，可管理工資、收付款、寄送發票賬單、針對性推送理財新項目等，其軟體系統連接並整合了2580家各類金融機構的各類型帳戶，運用大數據分析的智能儀表盤顯示用戶當前財富狀況，還能分析用戶以往的數據以預測未來的金融軌跡。目前其已擁有50萬商家和350萬個體用戶，並與市值2.5萬億美元的山口金融集團聯合開發新一款APP。
為客戶定製差異化產品和營銷方案
金融機構迫切需要掌握更多用戶信息，繼而構建用戶360度立體畫像，從而對細分客戶進行精準營銷、實時營銷、智慧營銷。
一些海外銀行圍繞客戶「人生大事」，分析推算出大致生活節點，有效激發其對高價值金融產品的購買意願。如一家澳大利亞銀行通過大數據分析發現，家中即將誕生嬰兒的客戶對壽險產品的潛在需求最大，於是通過銀行卡數據監控准媽媽開始購買保胎葯品和嬰兒相關產品等現象，識別出即將添丁的家庭，精準推出定製化金融產品套餐，受到了客戶的積極響應，相比傳統的簡訊群發模式大幅提高了成功率。
催生並支撐人工智慧交易
「量化投資之王」西蒙斯被公認為是最能賺錢的基金經理人，自1988年創立文藝復興科技公司的旗艦產品——大獎章基金以來，其憑借不斷更新完善的大數據分析系統，20年中創造出35%的年均凈回報率，比索羅斯同期高10%，比股神巴菲特同期高18%，成為有史以來最成功的對沖基金，並於1993年基金規模達2.7億美元時停止接受新投資。在美國《Alpha》雜志每年公布的對沖基金經理排行榜上，西蒙斯2005年、2006年分別以15億美元、17億美元凈收入穩居全球之冠，2007年以13億美元位列第五，2008年再以25億美元重返榜首。
推動金融產品和服務創新
E 面臨三大挑戰
目前，全球各行業數據量的增長速度驚人，在我國尤其集中在金融、交通、電信、製造業等重點行業，信息化的不斷深入正在進一步催生更多新的海量數據。
據統計，2015年中國的數據總量達到1700EB以上，同比增長90%，預計到2020年這一數值將超過8000EB。以銀行業為例，每創收100萬元，銀行業平均產生130GB的數據，數據強度高踞各行業之首。但在金融企業內部數據處於割裂狀態，業務條線、職能部門、渠道部門、風險部門等各個分支機構往往是數據的真正擁有者，缺乏順暢的共享機制，導致海量數據往往處於分散和「睡眠」狀態，雖然金融行業擁有的數據量「富可敵國」，但真正利用時卻「捉襟見肘」。
數據安全暗藏隱患
大數據本質是開放與共享，但如何界定、保護個人隱私權卻成為法律難題。大數據存儲、處理、傳輸、共享過程中也存在多種風險，不僅需要技術手段保護，還需相關法律法規規范和金融機構自律。多項實際案例表明，即使無害的數據大量囤積也會滋生各種隱患。安全保護對象不僅包括大數據自身，也包含通過大數據分析得出的知識和結論。在線市場平台英國Handshake.uk.com就嘗試允許用戶協商個人數據被品牌分享所得的報酬。
人才梯隊建設任重道遠
人才是大數據之本。與信息技術其他細分領域人才相比，大數據發展對人才的復合型能力要求更高，需要掌握計算機軟體技術，並具備數學、統計學等方面知識以及應用領域的專業知識。
Ⅱ 主力密碼有必要買嗎
主力密碼是否必要購買完全取決於投資者實際情況。
主力密碼是針對關注主力資金用戶打造的，由金融中心演算法，擬合計算出每隻股票的主力控盤度，主力堅決度，主力進場動能，主力獲利度，量價背離度，從五個維度出發根據歷史大數據回測計算出主力的意圖是什麼，幫助用戶判斷該股票是否有主力在活躍，應該買入還是賣出。
(2)大數據演算法買股票擴展閱讀
主力密碼是一款能夠降低用戶投資門檻的收費功能，適用關注主力資金動態的用戶，但其實意義不大，投資者可根據自身情況選擇。
產品特色指標：主力控盤度、主力堅決度、主力進場動能、主力獲利度以及量價背離度。
產品策略：根據歷史大數據回測計算主力的意圖，幫助用戶判斷該股票是否有主力在活躍，應該買入還是賣出，投資者可作為參考。
每日收盤時根據當天的數據更新，大家可以參考數據在下一交易日進行決策操作。不僅可以看市場主力的信號池，還可以專注在自選股里，查看自選股的主力信號，監控主力進場、出場時機，抓住投資機會。在「市場主力信號」頁面里，分別列示主力進場、主力加倉、主力減倉及主力離場四種情況下有哪些股票符合，並且展示出何時入選、最新價格及漲跌幅表現。
當個股出現主力進場信號時，做多力量大概率增強；當個股出現主力離場信號時，減弱效應可能有所提升。
主力密碼基於上海證券交易所、深圳證券交易所等公開信息建立策略選股模型，請投資者在訂閱相關策略前理解具體機制，避免發生模型策略與您預想不一致的情況。主力密碼信息僅供參考，不構成具體投資建議，不作為您買入和賣出的操作建議。市場有風險，投資需謹慎。