㈠ 銀行數據倉庫體系實踐（18）--數據應用之信用風險建模
信用風險
銀行的經營風險的機構，那在第15節也提到了巴塞爾新資本協議對於銀行風險的計量和監管要求，其中信用風險是銀行經營的主要風險之一，它的管理好壞直接影響到銀行的經營利潤和穩定經營。信用風險是指交易對手未能履行約定契約中的義務而給銀行造成經濟損失的風險。典型的表現形式包括借款人發生違約或信用等級下降。借款人因各種原因未能及時、足額償還債務/銀行貸款、未能履行合同義務而發生違約時，債權人或銀行必將因為未能得到預期的收益而承擔財務上的損失。
那如何來表示某個交易對手的信用情況呢，一般使用信用等級或信用評分來來表示，等級越低或評分越低，發生違約的概率會增加。這個信用評分主要應用在客戶的貸前和貸後管理中，貸前是指客戶貸款申請階段，銀行受理客戶貸款申請時會根據客戶提交的信息、人行徵信、其它數據源按一定的規則計算出一個違約概率和風險評分或信用等級。再根據這個評分或評級來確定客戶的授信額度和利率。計算出的評分或評級越高，違約概率越低，比如在進行個人貸前評分時主要關注以下5方面：
（1）People：貸款人狀況，包括歷史還款表現、當前負債情況、資金飢渴度等；
（2）Payment：還款來源，如基本收入、資產水平、月收支負債比、無擔保總負債等；
（3）Purpose：資金用途，如消費、買房，需要規避貸款資金用於投資或投機性質較高領域，如股票和數字貨幣；
（4）Protection：債權確保，主要是看是否有抵押物或擔保，需要看抵押物用途、質量、價格等關鍵要素；
（5）Perspective：借款戶展望，從地域、行業、人生階段等考察穩定性及潛力；
貸後是指客戶借款後銀行持續跟進客戶的信用情況，如果發現信用評分降低或者某些指標達到風險預警指標的閾值，說明風險升高，則會進行凍結額度甚至提前進行貸款收回。特別是對於逾期客戶。
風險建模步驟
在進行信用評估時如何選擇客戶屬性、如何確定評分或評級規則呢？這就需要進行風險建模，通過分析歷史數據來確定哪些特徵或指標對客戶的違約相關性大，可以了解客戶的還款能力以及還款意願。並通過一定方法來建立評分和評級的規則。那風險建模主要分為以下步驟：
（1）業務理解：主要評估當前現狀、確定業務目標，選擇建模方法，比如需要進行XX貸款產品的貸前評分模型並確定準入規則，建模方式比如為評分卡，評分應用為基於評分確定貸款准入規則以及額度和利率規則，同時需要確定分析數據的好客戶和壞客戶標准，如逾期90天以上為壞客戶；
（2）數據理解：首先需要准備建模的樣本數據，如抽取近2年的獲得類似產品的客戶相關信息以及根據好客戶和壞客戶標准確定的結果。並針對業務數據進行業務含義理解、對數據進行收集、探索，了解每個變數的數據質量、缺失情況，數據分布等。比如對於客戶在人行的徵信數據、客戶在銀行的存款、理財等信息、以及客戶申請填寫的家庭、房產信息、外部獲得的客戶教育、司法等相關信息進行業務理解和數據分布、質量的探索，對缺失值比例過大的變數或准確性不高的變數進行剔除，同時也要確定對於樣本數據中哪些數據進行建模，哪些數據進行驗證。
（3）數據准備：主要對數據進行預處理和指標加工，指標加工指基於基礎數據進行指標加工，如最近1個月的徵信查詢次數，最近1年的逾期次數等，數據預處理主要工作包括對每一個變數進行數據清洗、缺失值處理、異常值處理、數據標准化等，主要目的是將獲取的原始數據轉變成可用於建模的結構化數據。
比如對於連續變數，就是要尋找合適的切割點把變數分為幾個區間段以使其具有最強的預測能力，也稱為「分箱」。例如客戶年齡就是連續變數，在這一步就是要研究分成幾組、每組切割點在哪裡預測能力是最強的。分箱的方法有等寬、等頻、聚類（k-means）、卡方分箱法、單變數決策樹演算法（ID3、C4.5、CART）、IV最大化分箱法、best-ks分箱法等。如果是離散變數，每個變數值都有一定的預測能力，但是考慮到可能幾個變數值有相近的預測能力，因此也需要進行分組。
通過對變數的分割、分組和合並轉換，分析每個變數對於結果的相關性，剔除掉預測能力較弱的變數，篩選出符合實際業務需求、具有較強預測能力的變數。檢測變數預測能力的方法有：WOE(weight of Evidence) 、IV(informationvalue)等。
（4）分析建模：即對於篩選出來的變數以及完成好壞定義的樣本結果。放入模型進行擬合。如評分卡一般採用常見的邏輯回歸的模型，PYTHON、SAS、R都有相關的函數實現模型擬合。以下是生成的評分卡的例子。
（5）評估及報告：即通過驗證樣本對模型的預測進行校驗。評估模型的准確性和穩健性，並得出分析報告。常用的方法有ROC曲線、lift提升指數、KS(Kolmogorov-Smirnov)曲線、GINI系數等。
（6）應用：對模型進行實際部署和應用，如基於評分進行客戶准入和產生額度，並在貸款系統進行模型部署，自動對申請客戶進行評分。
（7）監測：建立多種報表對模型的有效性、穩定性進行監測，如穩定性監控報表來比較新申請客戶與開發樣本客戶的分值分布，不良貸款分析報表來評估不同分數段的不良貸款，並且與開發時的預測進行比較，監控客戶信貸質量。隨著時間的推移和環境變化，評分模型的預測力會減弱，所以需要持續監控並進行適當調整或重建。
在信用風險建模中，目前評分卡建模還是主要的方式，除了申請評分（A卡（Application score card））還有B卡（Behavior score card）行為評分卡、C卡（Collection score card）催收評分卡。B卡主要進行客戶貸後管理，如何進行風險預警，C卡進行催收管理，確定如何催收以及催收方式和時間點。信用風險模型中還有一個是反欺詐模型，它主要是識別假冒身份、虛假信息、批量薅羊毛等欺詐行為。隨著機器學習和大數據的發展，其它的一些建模方式如決策樹、深度神經網路也越來越多的應用到了風險建模中。
信用風險模型是數據倉庫支持的重要數據應用之一，在風險建模分析階段，數據倉庫是建模樣本數據以及衍生指標加工的主要提供者，業務人員一般在自助分析平台進行數據分析和建模，模型建立完成並部署後，會基於數據倉庫數據進行模型效果的監控。在貸後管理中，風險集市也會進行貸後指標的加工。另外風險模型以及預警中會經常使用到外部數據，這部分數據也是通過數據倉庫進行對接、加工和存儲。
㈡ 數據挖掘的國內外研究現狀
摘要：隨著網路、資料庫技術的迅速發畏以及資料庫管理系統的廣泛應用，人們積累的數據越來越多。數據挖掘(Data Mining)就是從大量的實際應用數據中提取隱含信息和知識，它利用了資料庫、人工智慧和數理統計等多方面的技術，是一類深層次的數據分析方法。
關鍵詞：數據挖掘；知識；分析；市場營銷；金融投資
隨著網路、資料庫技術的迅速發展以及資料庫管理系統的廣泛應用，人們積累的數據越來越多。由此，數據挖掘技術應運而生。下面，本文對數據技術及其應用作一簡單介紹。
一、數據挖掘定義
數據挖掘(Data Mining)就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。它是一種新的商業信息處理技術，其主要特點是對商業資料庫中的大量業務數據進行抽取、轉換、分析和其他模型化處理，從中提取輔助商業決策的關鍵性數據。簡而言之，數據挖掘其實是一類深層次的數據分析方法。從這個角度數據挖掘也可以描述為：按企業制定的業務目標，對大量的企業數據進行探索和分析，揭示隱藏的、未知的或驗證已知的規律性，並進一步將其模型化的先進有效的方法。
二、數據挖掘技術
數據挖掘技術是人們長期對資料庫技術進行研究和開發的結果，代寫論文其中數據倉庫技術的發展與數據挖掘有著密切的關系。大部分情況下，數據挖掘都要先把數據從數據倉庫中拿到數據挖掘庫或數據集市中，因為數據倉庫會對數據進行清理，並會解決數據的不一致問題，這會給數據挖掘帶來很多好處。此外數據挖掘還利用了人工智慧(AI)和統計分析的進步所帶來的好處，這兩門學科都致力於模式發現和預測。資料庫、人工智慧和數理統計是數據挖掘技術的三大支柱。由於數據挖掘所發現的知識的不同，其所利用的技術也有所不同。
1．廣義知識。指類別特徵的概括性描述知識。根據數據的微觀特性發現其表徵的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識，反映同類事物的共同性質，是對數據的概括、精煉和抽象。廣義知識的發現方法和實現技術有很多，如數據立方體、面向屙性的歸約等。數據立方體的基本思想是實現某些常用的代價較高的聚集函數的計算，諸如計數、求和、平均、最大值等，並將這些實現視圖儲存在多維資料庫中。而面向屬性的歸約是以類SQL語言來表示數據挖掘查詢，收集資料庫中的相關數據集，然後在相關數據集上應用一系列數據推廣技術進行數據推廣，包括屬性刪除、概念樹提升、屬性閾值控制、計數及其他聚集函數傳播等。
2．關聯知識。它反映一個事件和其他事件之間依賴或關聯的知識。如果兩項或多項屬性之間存在關聯，那麼其中一項的屬性值就可以依據其他屬性值進行預測。最為著名的關聯規
則發現方法是Apriori演算法和FP—Growth演算法。關聯規則的發現可分為兩步：第一步是迭代識別所有的頻繁項目集，要求頻繁項目集的支持率不低於用戶設定的最低值；第二步是從頻繁項目集中構造可信度不低於用戶設定的最低值的規則。識別或發現所有頻繁項目集是關聯規則發現演算法的核心，也是計算量最大的部分。
3．分類知識。它反映同類事物共同性質的特徵型知識和不同事物之間的差異型特徵知識。分類方法有決策樹、樸素貝葉斯、神經網路、遺傳演算法、粗糙集方法、模糊集方法、線性回歸和K—Means劃分等。其中最為典型的分類方法是決策樹。它是從實例集中構造決策樹，是一種有指導的學習方法。
該方法先根據訓練子集形成決策樹，如果該樹不能對所有對象給出正確的分類，那麼選擇一些例外加入到訓練子集中，重復該過程一直到形成正確的決策集。最終結果是一棵樹，其葉結點是類名，中間結點是帶有分枝的屙性，該分枝對應該屙性的某一可能值。
4．預測型知識。它根據時間序列型數據，由歷史的和當前的數據去推測未來的數據，也可以認為是以時間為關鍵屬性的關聯知識。目前，時間序列預測方法有經典的統計方法、神經網路和機器學習等。1968年BoX和Jenkins提出了一套比較完善的時間序列建模理論和分析方法，這些經典的數學方法通過建立隨機模型，進行時間序列的預測。由於大量的時間序列是非平穩的，其特徵參數和數據分布隨著時間的推移而發生變化。因此，僅僅通過對某段歷史數據的訓練，建立單一的神經網路預測模型，還無法完成准確的預測任務。為此，人們提出了基於統計學和基於精確性的再訓練方法，當發現現存預測模型不再適用於當前數據時，對模型重新訓練，獲得新的權重參數，建立新的模型。
5．偏差型知識。它是對差異和極端特例的描述，揭示事物偏離常規的異常現象，如標准類外的特例、數據聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發現，並隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。
三、數據挖掘流程
數據挖掘是指一個完整的過程，該過程從大型資料庫中挖掘先前未知的、有效的、可實用的信息，代寫畢業論文並使用這些信息做出決策或豐富知識。數據挖掘的基本過程和主要步驟如下：
過程中各步驟的大體內容如下：
1．確定業務對象，清晰地定義出業務問題。認清數據挖掘的目的是數據挖掘的重要一步，挖掘的最後結構不可預測，但要探索的問題應該是有預見的，為了數據挖掘而挖掘則帶有盲目性，是不會成功的。
2．數據准備。(1)數據選擇。搜索所有與業務對象有關的內部和外部數據信息，並從中選擇出適用於數據挖掘應用的數據。(2)數據預處理。研究數據的質量，進行數據的集成、變換、歸約、壓縮等．為進一步的分析作準備，並確定將要進行的挖掘操作的類型。(3)數據轉換。將數據轉換成一個分析模型，這個分析模型是針對挖掘演算法建立的，這是數據挖掘成功的關鍵。
3．數據挖掘。對所得到的經過轉換的數據進行挖掘。除了完善和選擇合適的挖掘演算法外，其餘一切工作都能自動地完成。
4．結果分析。解釋並評估結果。其使用的分析方法一般應視挖掘操作而定，通常會用到可視化技術。
5．知識同化。將分析所得到的知識集成到業務信息系統的組織結構中去。
四、數據挖掘的應用
數據挖掘技術從一開始就是面向應用的。目前在很多領域，數據挖掘都是一個很時髦的詞，尤其是在如銀行、電信、保險、交通、零售(如超級市場)等商業領域。
1．市場營銷。由於管理信息系統和P0S系統在商業尤其是零售業內的普遍使用，特別是條形碼技術的使用，從而可以收集到大量關於用戶購買情況的數據，並且數據量在不斷激增。對市場營銷來說，通過數據分析了解客戶購物行為的一些特徵，對提高競爭力及促進銷售是大有幫助的。利用數據挖掘技術通過對用戶數據的分析，可以得到關於顧客購買取向和興趣的信息，從而為商業決策提供了可靠的依據。數據挖掘在營銷業上的應用可分為兩類：資料庫營銷(database markerting)和貨籃分析(basket analysis)。資料庫營銷的任務是通過互動式查詢、數據分割和模型預測等方法來選擇潛在的顧客，以便向它們推銷產品。通過對已有的顧客數據的辱淅，可以將用戶分為不同級別，級別越高，其購買的可能性就越大。貨籃分析
是分析市場銷售數據以識別顧客的購買行為模式，例如：如果A商品被選購，那麼B商品被購買的可能性為95％，從而幫助確定商店貨架的布局排放以促銷某些商品，並且對進貨的選擇和搭配上也更有目的性。這方面的系統有：Opportunity Ex-plorer，它可用於超市商品銷售異常情況的因果分析等，另外IBM公司也開發了識別顧客購買行為模式的一些工具(IntdligentMiner和QUEST中的一部分)。
2．金融投資。典型的金融分析領域有投資評估和股票交易市場預測，分析方法一般採用模型預測法(如神經網路或統計回歸技術)。代寫碩士論文由於金融投資的風險很大，在進行投資決策時，更需要通過對各種投資方向的有關數據進行分析，以選擇最佳的投資方向。無論是投資評估還是股票市場預測，都是對事物發展的一種預測，而且是建立在對數據的分析基礎之上的。數據挖掘可以通過對已有數據的處理，找到數據對象之間的關系，然後利用學習得到的模式進行合理的預測。這方面的系統有Fidelity Stock Selector和LBS Capital Management。前者的任務是使用神經網路模型選擇投資，後者則使用了專家系統、神經網路和基因演算法技術來輔助管理多達6億美元的有價證券。
3．欺詐甄別。銀行或商業上經常發生詐騙行為，如惡性透支等，這些給銀行和商業單位帶來了巨大的損失。對這類詐騙行為進行預測可以減少損失。進行詐騙甄別主要是通過總結正常行為和詐騙行為之間的關系，得到詐騙行為的一些特性，這樣當某項業務符合這些特徵時，可以向決策人員提出警告。
這方面應用非常成功的系統有：FALCON系統和FAIS系統。FALCON是HNC公司開發的信用卡欺詐估測系統，它已被相當數量的零售銀行用於探測可疑的信用卡交易；FAIS則是一個用於識別與洗錢有關的金融交易的系統，它使用的是一般的政府數據表單。此外數據挖掘還可用於天文學上的遙遠星體探測、基因工程的研究、web信息檢索等。
結束語
隨著資料庫、人工智慧、數理統計及計算機軟硬體技術的發展，數據挖掘技術必能在更多的領域內取得更廣泛的應用。
參考文獻：
[1]閆建紅《資料庫系統概論》的教學改革與探索[J]．山西廣播電視大學學報，2006，(15)：16—17．
㈢ 教你用數據倉庫進行數據分析優化
㈣ 數據挖掘與預測分析術語總結
數據挖掘與預測分析術語總結
數據挖掘目前在各類企業和機構中蓬勃發展。因此我們製作了一份此領域常見術語總結，希望你喜歡。
分析型客戶關系管理（Analytical CRM/aCRM）:用於支持決策，改善公司跟顧客的互動或提高互動的價值。針對有關顧客的知識，和如何與顧客有效接觸的知識，進行收集、分析、應用。參見>>>
大數據（Big Data）:大數據既是一個被濫用的流行語，也是一個當今社會的真實趨勢。此術語指代總量與日俱增的數據，這些數據每天都在被捕獲、處理、匯集、儲存、分析。維基網路是這樣描述「大數據」的：「數據集的總和如此龐大復雜，以至於現有的資料庫管理工具難以處理（…）」。
商業智能（Business Intelligence）: 分析數據、展示信息以幫助企業的執行者、管理層、其他人員進行更有根據的商業決策的應用、設施、工具、過程。
流失分析（Churn Analysis/Attrition Analysis）: 描述哪些顧客可能停止使用公司的產品/業務，以及識別哪些顧客的流失會帶來最大損失。流失分析的結果用於為可能要流失的顧客准備新的優惠。
聯合分析/權衡分析（Conjoint Analysis/ Trade-off Analysis）:在消費者實際使用的基礎上，比較同一產品/服務的幾個不同變種。它能預測產品/服務上市後的接受度，用於產品線管理、定價等活動。
信用評分（Credit Scoring）:評估一個實體（公司或個人）的信用值。銀行（借款人）以此判斷借款者是否會還款。
配套銷售/增值銷售（Cross / Up selling）:一個營銷概念。根據特定消費者的特徵和過往行為，向其銷售補充商品（配套銷售）或附加商品（增值銷售）。
顧客細分&畫像（Customer Segmentation & Profiling）:根據現有的顧客數據，將特徵、行為相似的顧客歸類分組。描述和比較各組。
數據集市（Data Mart）:特定機構所儲存的，關於一個特定主題或部門的數據，如銷售、財務、營銷數據。
數據倉庫（Data Warehouse）: 數據的中央存儲庫，採集、儲存來自一個企業多個商業系統的數據。
數據質量（Data Quality）:有關確保數據可靠性和實用價值的過程和技術。高質量的數據應該忠實體現其背後的事務進程，並能滿足在運營、決策、規劃中的預期用途。
抽取-轉換-載入 ETL (Extract-Transform-Load): 數據倉儲中的一個過程。從一個來源獲取數據，根據需求轉換數據以便接下來使用，之後把數據放置在正確的目標資料庫。
欺詐檢測（Fraud Detection）: 識別針對特定組織或公司的疑似欺詐式轉賬、訂購、以及其他非法活動。在IT系統預先設計觸發式警報，嘗試或進行此類活動會出現警告。
Hadoop:另一個當今大數據領域的熱門。Apache Hadoop是一個在已有商業硬體組成的計算機集群上，分布式存儲、處理龐大數據集的開源軟體架構。它使得大規模數據儲存和更快速數據處理成為可能。
物聯網（Internet of Things, IoT):廣泛分布的網路，由諸多種類（個人、家庭、工業）諸多用途（醫療、休閑、媒體、購物、製造、環境調節）的電子設備組成。這些設備通過互聯網交換數據，彼此協調活動。
顧客的生命周期價值 (Lifetime Value, LTV)： 顧客在他/她的一生中為一個公司產生的預期折算利潤。
機器學習（Machine Learning）:一個學科，研究從數據中自動學習，以便計算機能根據它們收到的反饋調整自身運行。與人工智慧、數據挖掘、統計方法關系密切。
購物籃分析（Market Basket Analysis）: 識別在交易中經常同時出現的商品組合或服務組合，例如經常被一起購買的產品。此類分析的結果被用於推薦附加商品，為陳列商品的決策提供依據等。
聯機分析處理（On-Line Analytical Processing, OLAP）:能讓用戶輕松製作、瀏覽報告的工具，這些報告總結相關數據，並從多角度分析。
預測分析（Predictive Analytics）:從現存的數據集中提取信息以便識別模式、預測未來收益和趨勢。在商業領域，預測模型及分析被用於分析當前數據和歷史事實，以更好了解消費者、產品、合作夥伴，並為公司識別機遇和風險。
實時決策（Real Time Decisioning, RTD）: 幫助企業做出實時（近乎無延遲）的最優銷售/營銷決策。比如，實時決策系統（打分系統）可以通過多種商業規則或模型，在顧客與公司互動的瞬間，對顧客進行評分和排名。
留存/顧客留存（Retention / Customer Retention):指建立後能夠長期維持的客戶關系的百分比。
社交網路分析（Social Network Analysis, SNA）:描繪並測量人與人、組與組、機構與機構、電腦與電腦、URL與URL、以及其他種類相連的信息/知識實體之間的關系與流動。這些人或組是網路中的節點，而它們之間的連線表示關系或流動。SNA為分析人際關系提供了一種方法，既是數學的又是視覺的。
生存分析（Survival Analysis）:估測一名顧客繼續使用某業務的時間，或在後續時段流失的可能性。此類信息能讓企業判斷所要預測時段的顧客留存，並引入合適的忠誠度政策。
文本挖掘（Text Mining）:對包含自然語言的數據的分析。對源數據中詞語和短語進行統計計算，以便用數學術語表達文本結構，之後用傳統數據挖掘技術分析文本結構。
非結構化數據（Unstructured Data）：數據要麼缺乏事先定義的數據模型，要麼沒按事先定義的規范進行組織。這個術語通常指那些不能放在傳統的列式資料庫中的信息，比如電子郵件信息、評論。
網路挖掘/網路數據挖掘（Web Mining / Web Data Mining): 使用數據挖掘技術從互聯網站點、文檔或服務中自動發現和提取信息。
以上是小編為大家分享的關於數據挖掘與預測分析術語總結的相關內容，更多信息可以關注環球青藤分享更多干貨
㈤ 淺談數據挖掘與數據倉庫
淺談數據挖掘與數據倉庫
1數據挖掘
1.1數據挖掘與傳統數據分析的區別
數據挖掘與傳統的數據分析，如查詢、報表、聯機應用分析的本質區別是數據挖掘是在沒有明確假設的前提下去挖掘信息、發現知識。數據挖掘所得到的信息應具有先前未知、有效和實用三個特徵。即數據挖掘是要發現那些不能靠直覺發現的信息或知識，甚至是違背直覺的信息或知識，挖掘出的信息越出乎意料就可能越有價值。而傳統的數據分析趨勢為從大型資料庫抓取所需數據並使用專屬計算機分析軟體。因此數據挖掘與傳統分析方法有很大的不同。
1.2數據挖掘的應用價值
（1）分類：首先從數據中選出已經分好類的訓練集，在該訓練集上運用數據挖掘分類的技術，建立分類模型，對於沒有分類的數據進行分類。（2）估計：與分類類似，不同之處在於，分類描述的是離散型變數的輸出，而估值處理連續值的輸出；分類是確定數目的，估計是不確定的。（3）聚類：是對記錄分組。聚類和分類的區別是聚集不依賴於預先定義好的類，不需要訓練集。中國移動採用先進的數據挖掘工具馬克威分析系統，對用戶wap上網的行為進行聚類分析，通過客戶分群，進行精確營銷。（4）關聯規則和序列模式的發現：關聯是某種事物發生時其他事物會發生的這樣一種聯系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關聯的支持度和可信度來描述。與關聯不同，序列是一種縱向的聯系。例如：今天銀行調整利率，明天股市的變化。（5）預測：通過分類或估值得出模型，該模型用於對未知變數的預言。（6）偏差的檢測：對分析對象的少數的、極端的特例的描述，揭示內在的原因。除此之外，在客戶分析，運籌和企業資源的優化，異常檢測，企業分析模型的管理的方面都有廣泛使用價值。
2數據倉庫
2.1數據倉庫的特徵
（1）面向主題（Subject Oriented）的數據集合。數據倉庫圍繞一些主題如顧客、供應商、產品和銷售來組織。數據倉庫關注決策者的數據建模與分析，而不是組織機構的日常操作和事務處理。（2）集成（Integrated）的數據集合。數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關於整個企業的一致的全局信息。（3）時變（Time Variant）的數據集合。數據存儲從歷史的角度提供信息。數據倉庫中的數據通常包含歷史信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。（4）非易失（Nonvolatile）的數據集合。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，修改和刪除操作很少，通常只需要定期的載入、刷新。數據倉庫里的數據通常只需要兩種操作：初始化載入和數據訪問，因此其數據相對穩定，極少或根本不更新。[page] 2.2數據倉庫的類型
數據倉庫的類型根據數據倉庫所管理的數據類型和它們所解決的企業問題范圍，一般可將數據倉庫分為下列3種類型：企業數據倉庫（EDW）、操作型資料庫（ODS）和數據集市（Data Marts）。①企業數據倉庫為通用數據倉庫，它既含有大量詳細的數據，也含有大量累贅的或聚集的數據，這些數據具有不易改變性和面向歷史性。此種數據倉庫被用來進行涵蓋多種企業領域上的戰略或戰術上的決策。②操作型資料庫既可以被用來針對工作數據做決策支持，又可用做將數據載入到數據倉庫時的過渡區域。與EDW相比，ODS是面向主題和面向綜合的，易變的，僅含有目前的、詳細的數據，不含有累計的、歷史性的數據。③數據集市是為了特定的應用目的或應用范圍，而從數據倉庫中獨立出來的一部分數據，也可稱為部門數據或主題數據。幾組數據集市可以組成一個EDW。
2.3數據倉庫與傳統資料庫的比較
二者的聯系既有聯系又有區別。數據倉庫的出現，並不是要取代資料庫。目前，大部分數據倉庫還是用關系資料庫管理系統來管理的。可以說，資料庫、數據倉庫相輔相成、各有千秋。二者的區別可以從以下幾個方面進行比較：
（1）出發點不同：資料庫是面向事務的設計；數據倉庫是面向主題設計的。（2）存儲的數據不同：資料庫一般存儲在線交易數據；數據倉庫存儲的一般是歷史數據。（3）設計規則不同：資料庫設計是盡量避免冗餘，一般採用符合範式的規則來設計；數據倉庫在設計是有意引入冗餘，採用反範式的方式來設計。（4）提供的功能不同：資料庫是為捕獲數據而設計，數據倉庫是為分析數據而設計。（5）基本元素不同：資料庫的基本元素是事實表，數據倉庫的基本元素是維度表。（6）容量不同：資料庫在基本容量上要比數據倉庫小的多。（7）服務對象不同：資料庫是為了高效的事務處理而設計的，服務對象為企業業務處理方面的工作人員；數據倉庫是為了分析數據進行決策而設計的，服務對象為企業高層決策人員。
3數據倉庫與數據挖掘的關系
當然為了數據挖掘你也不必非得建立一個數據倉庫，數據倉庫不是必需的。建立一個巨大的數據倉庫，把各個不同源的數據統一在一起，解決所有的數據沖突問題，然後把所有的數據導到一個數據倉庫內，是一項巨大的工程，可能要用幾年的時間花上百萬的錢才能完成。只是為了數據挖掘，你可以把一個或幾個事務資料庫導到一個只讀的資料庫中，就把它當作數據集市，然後在他上面進行數據挖掘。
㈥ 對於數據倉庫你知道多少
對於數據倉庫你知道多少
數據倉庫是商業智能系統的基礎，以往的資料庫系統主要用於事務處理，很難或無法實現分析處理。近年來，越來越多的數據分析與決策信息支持在被企業所重視，數據倉庫技術應運而生。
數據倉庫的定義
目前對於數據倉庫還沒有統一的定義，被稱為數據倉庫之父的BillInmon在其著作《（Building the Data Warehouse））一書中給出的定義被廣泛接受：數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（Non.Volatile）、反映歷史變化（Time Variant）的數據集合，用於支持管理決策。
可以從兩個層面對數據倉庫的概念進行理解，首先數據倉庫是面向分析處理的，主要用來支持決策制定；再者數據倉庫包含歷史數據，是對多個異構的數據源數據按照主題的集成，它的數據相對固定，不會經常改動。
數據倉庫的特點
面向主題、集成、相對穩定、反映歷史變化是對數據倉庫的定義，也是對數據倉庫特點的描述，下面分別解釋它們的含義。
（1）面向主題的：數據倉庫的數據都是按照一定的業務主題進行組織的，面向主題體現在數據倉庫的建設中，而且還包含在業務數據分析和存儲上。
（2）集成的：數據倉庫中的數據來自各個不同的分散資料庫中，它並不是對源資料庫數據的簡單拷貝，而是按照劃分好的主題和數據分析要求，經過數據抽取、清理、匯總和整理等步驟，消除源數據中的錯誤和不一致數據，保證數據倉庫中數據的正確性和可用性，所以它是整合集成的。
（3）相對穩定的：數據倉庫的穩定性體現在它的非易失性上，由於數據倉庫是面向分析的，其中的數據是從業務數據中載入過來的歷史數據，所進行的主要操作是查詢和分析，供決策分析使用，所以其修改和刪除操作很少，只需要定期的增量載入，所以具有相對穩定特徵。
（4）反映歷史變化：數據倉庫必須能夠不斷地捕捉業務系統中的變化數據，記錄企業生產過程的各個階段的信息，以滿足決策分析的需要，所以必須實時地把新變化的業務數據追加到數據倉庫中去，通過數據隨時問變化的研究和分析，可以對企業的發展歷程和未來趨勢做出定量分析和預測。
可見數據倉庫與業務資料庫的不同之處體現在：資料庫是面向事務的設計，數倉庫是面向主題設計的；資料庫一般存儲在線交易數據，數據倉庫存儲的一般是歷史數據； 資料庫設計是盡量避免冗餘，一般採用符合範式的規則來設計，數據倉庫在設計是有意引入冗餘，採用反範式的方式來設計； 資料庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。
㈦ 數據倉庫的含義,數據倉庫和資料庫的區別.
什麼是數據倉庫
目前，數據倉庫一詞尚沒有一個統一的定義，著名的數據倉庫專家 W.H.Inmon 在其著作《 Building the Data Warehouse 》一書中給予如下描述：數據倉庫（ Data Warehouse ）是一個面向主題的（ Subject Oriented ）、集成的（ Integrate ）、相對穩定的（ Non-Volatile ）、反映歷史變化（ Time Variant ）的數據集合，用於支持管理決策。 對於數據倉庫的概念我們可以從兩個層次予以理解，首先，數據倉庫用於支持決策，面向分析型數據處理，它不同於企業現有的操作型資料庫；其次，數據倉庫是對多個異構的數據源有效集成，集成後按照主題進行了重組，並包含歷史數據，而且存放在數據倉庫中的數據一般不再修改。
資料庫是一個裝數據（信息的原材料）的地方。
數據倉庫是一種系統，這種系統也是用資料庫裝東西。
數據倉庫系統（用資料庫裝東西）與其他基礎業務系統（例如財務系統、銷售系統、人力資源系統等，也是用資料庫裝東西）的區別是：
基礎業務系統的特點是各管各的，例如財務系統生產了白菜，那麼用一個資料庫來裝，人力資源系統生產了豬肉，再用一個資料庫來裝。我要做一道菜，需要分別到各個資料庫去取，比較麻煩（現實的情況是大部分時候讓種菜的農民伯伯送過來，但送過來的東西不一定是我想要的，而且不同的時候我想要不同的東西，經常會被農民伯伯罵，弄得雙方都不開心）。另外一方面，各個資料庫中放的是一些比較原始的東西，我要拿過來做菜，還需要經過很麻煩的清洗過程，一不小心裏面可能就藏著一條大青蟲。
那麼，數據倉庫系統就是建立一個大的超市，將各地農民伯伯出產的東西收集過來，清洗干凈，分門別類地放好。這樣，你要哪種菜的時候，直接從超市裡面拿就可以了。
早期一直不理解數據倉庫是什麼困惑得很。
宏觀一點講，數據倉庫就是堆放公司所有數據的地方，之所以把數據都堆在一起，是為了從中間找到有價值的東西。
數據倉庫更多的是一個概念，不要把數據倉庫想成那些號稱是數據倉庫的軟體產品們。
數據倉庫的物理上就是資料庫。相對業務系統資料庫叫 OLTP 資料庫（用於業務處理），這種資料庫叫 OLAP 資料庫（用於業務分析）。
數據倉庫的概念是針對以下基本需求產生的：
公司的業務系統很多，業務系統的歷史數據不方便查詢。不同的業務系統往往管理部門不同，地域不同。能不能將所有這些數據集中起來，再淘淘有沒有有意義的業務規律。
數據倉庫資料庫往往很大，因為公司所有的數據集中得越多，越能淘到有價值的發現。例如隨便就 100G 以上。
數據倉庫的組成十分繁雜，既有業務系統的歷史數據，又有人事、財務數據，還要自己建一些基礎性的數據，例如，公共假期數據、地理信息、國家信息等等。
數據倉庫概念包含從業務生產系統採集數據的程序，這個程序還不能影響業務系統的運行。（屬於所謂 「ETL」 過程）
數據倉庫包括業務系統長期的歷史數據，例如 5 年，用來分析。（所謂 「ODS」 數據）
數據倉庫包括針對某相業務值（例如銷售量）重新打上標簽的業務流水數據。（所謂 「 事實表 」 、 「 維度表 」 ）。
數據倉庫概念興許還包含報表生成工具（所謂 「BI」 工具）。這些工具能夠達到幾年前所謂 DSS （決策分析）的效果。
數據倉庫的客戶歷史資量的分析，也許又與 CRM 系統粘點邊。
總之，一點，一個公司想針對已有的歷史業務數據，充分的利用它們，那麼就上數據倉庫項目。至於哪些嚇唬人的大寫字母的組合，只是達到這個目標的科學技術罷了。
牢記住數據倉庫的基本需求，不要被供應商嚇著。
數據倉庫可以說是決策支持系統，能幫助老闆了解企業的整體全貌，看到數據倉庫提供的經過整理統計歸納的數據後老闆憑自己的管理經驗可以發現企業的問題或困難或成功因素在哪一方面，然後可以不斷的追溯數據，直到確定到最具體的細節上，這樣能夠不斷提升老闆或管理層的管理水平，不斷改善企業的管理。我們知道的最好的一個例子就是美國某大型超市啤酒和尿布的故事。
沃爾瑪公司在美國的一位店面經理曾發現，每周，啤酒和尿布的銷量都會有一次同比攀升，一時卻搞不清是什麼原因。後來，沃爾瑪運用商業智能（ Business Intelligence ，簡稱ＢＩ）技術發現，購買這兩種產品的顧客幾乎都是 25 歲到 35 歲、家中有嬰兒的男性，每次購買的時間均在周末。沃爾瑪在對相關數據分析後得知，這些人習慣晚上邊看球賽、邊喝啤酒，邊照顧孩子，為了圖省事而使用一次性的尿布。得到這個結果後，沃爾瑪決定把這兩種商品擺放在一起，結果，這兩種商品的銷量都有了顯著增加。
資料庫是數據倉庫的基礎。數據倉庫實際上也是由資料庫的很多表組成的。需要把存放大量操作性業務數據的資料庫經過篩選、抽取、歸納、統計、轉換到一個新的資料庫中。然後再進行數據展現。老闆關注的是數據展現的結果。
數據倉庫 (DATA WAREHOUSE/DATA MART) 的另一重要概念是數據從不同的資料庫 (DATABASES) 里調出經過 ETL 工具 ( 如 POWERCENTRE ， DECISIONSTREAM, SQL SERVER 2000 DTS, SQL SERVER 2005 SSIS) 過程進行清理，確證，整合並設計成多維 (dimensional framework) 。 以保證數據的正確、准確、完整 , 這是非常重要的一點。
我們現在的項目穩定運行了 6 年多，一直自己開發，最近慢慢開始使用 datastage 。很多大型項目之所以用工具，是因為工具的本身的特點是開發快，效率相對還可以，讓你更好地有精力用在業務、資料庫的優化以及數據測試上，和數據質量本身並沒有關系。
而數據質量關系最密切的還是從設計（架構、模型等）、業務關系的理解、項目管理（含和客戶的交流，以及遵從開發流程和測試流程）等一系列項目工程的過程。這也是為什麼很多項目使用了 ETL 工具，但是數據質量還是提高不大的主要原因。
數據倉庫的作用重在數據的集中管理。集中管理的最終目的是為了分析，預測。
所謂的 ETL 。不過是數據倉庫的構建的一個必須過程。數據的抽取轉換與裝載，都是為了集中管理所做的基礎工作，這些數據與動作的描述，都會有有響應的元數據進行描述。
在數據倉庫建模的過程，我們一般都是採用多維模型，如星形，雪花型等等，這樣做最大的特點就是效率高，數據的冗餘度低。所以，把 OLAP 與數據倉庫混為一談我認為是片面的解釋。
我們也可以選擇業務邏輯模型建立數據倉庫，這是很早以前的做法了，特點就是效率不高，數據的冗餘度高，但他能實現非常難以表達的業務邏輯設計。
基於數據倉庫最重要的是分析與預測，我認為，歷史現在將來是數據倉庫的精華。。
基於數據倉庫的 DM ， OLAP 都是為了分析與預測。為了讓使用企業單位更好的把握現在，預測將來，因此他最實效的說法我認為是給決策者與管理者進行決策管理提供分析與預測的依據。
另外，數據倉庫還會起到歷史數據分類歸檔的目的（就像圖書館一樣），屆時可以通過檢索條件方便的查詢歷史信息；而同類信息在 OLTP 中早已被更新了。
至於它的分析功能，就象氣象考古研究工作，在不同深度的冰川中保存著當時的氣象信息，否則拿什麼預測氣候變化趨勢呢！
不過，要有相當的管理及技術儲備以及管理層的強力支持才可以。先有需求，並具備了必要條件才可上馬，否則您的數據倉庫將不是超市而是個垃圾堆， 「garbage in ， then garbage out」 ！
所以，我認為是企業信息化建設及科學管理水平的提高催生了數據倉庫的必然產生，不要趕時髦，炒概念，關鍵還是冷靜分析自己企業的現實狀況是否到了必須部署數據倉庫的階段了！
至於如何說服管理者，則需要您的努力了，不要站在您技術人員的立場闡述問題， CEO 對技術問題不感興趣，站在他們的角度考慮問題，回答諸如 「 我們投入如此大的資金、人力，同時面對升級系統的巨大風險，目的何在？ 」 記住， CEO 和 CFO （甚至包括 CIO ）是更希望用數字說話的，您分析一下公司的管理決策流程，就可以向他們提出很有價值的決策支持報表，而部門經理（或類似人員）每季度也不必頭大的製作相關分析報表了，節省的精力可以做更多有價值的事情，這就是企業人力資源利用率的巨大提升，可以節省多少銀子，恐怕 CEO 不會用你提示了吧！
㈧ 基於微信大數據的股票預測研究
基於微信大數據的股票預測研究
大數據是近些年來的熱門話題，無論國際上還是國內，影響很大。經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展，進而影響人類的價值體系、知識體系和生活方式。而全球經濟目前生成了史無前例的大量數據，如果把每天產生的大量數據比作神話時期的大洪水是完全正確的，這個數據洪流是我們前所未見的，他是全新的、強大的、當然，也是讓人恐慌但又極端刺激的。
而我所分享的話題，正是在互聯網環境下，如何利用大數據技術，進行股票預測的研究。–今天，我想分享我認為有意義的四點。
1.大數據下的商業預測
根據大數據，我們可以有效地進行故障、人流、流量、用電量、股票市場、疾病預防、交通、食物配送、產業供需等方面的預測。而本文我們所關心的內容是股票市場的預測。
大數據的核心是預測，預測依賴於對數據的分析。那麼分析的方法是否是基於隨機采樣的結果而設計的，這樣的分析方法是否會有誤差？
從傳統認識上，由於資源和科技的局限，如人和計算資源受限、從計算機處理能力來講無法處理全部數據來獲取人們所關注的結果。因此隨機采樣應運而生，通過所選取的個體來代表全體，如使用隨機抽取的方式來使得推論結果更科學。但既然提到了大數據，它是資源發展到一定程度、以及技術發展到一定階段產生的一個新的認識。如同電力的出現，使人類進入了一個快速發展階段，大數據也一樣，它的含義是全體樣本，從整體樣本來做推論。在本文大數據的含義是所有股票在整個社交網路上的流動信息，從數據源上講，本文沒有採用所有社交網路上的數據，只分析了微信這個最具代表性的社交媒體作為信息源。
互動數據能反映用戶情緒，搜索數據能反映用戶的關注點和意圖，在股市預測時這兩種數據哪種更具有參考價值？
我認為都有價值，互動數據反映了用戶對某一特定股票的喜好和厭惡，可以簡單描述為對該股票的操作是繼續持有還是賣出；而搜索數據則代表用戶在收集該股票信息的過程，它是關注度的概念，某隻股票搜索度高則意味著消息的影響力大。互動代表著方向，搜索代表著振幅。
我們知道這兩種數據得出的結論會有差異，您是如何平衡這兩種數據反映的情況來進行預測的？
正如上一個問題里提到的，如果是股票推薦，買進賣出等原則問題，則應該考慮互動數據，但如果已經買到手了，搜索數據可以提供一個幅度的概念，類似債券評級A級、AA級、AAA級等，供投資者參考，因為不同投資者對風險的承受度是不同的。
將股票和市場的消息整理成140字的短消息發布，是否意味著主要發布渠道是微博？現在微信公眾號很火，有沒有考慮通過這個渠道也發布消息？
事實上，信息傳播的方式很多，微信作為新媒體當然影響力不容小覷，但目前技術投入最小的還是郵件、簡訊等方式，未來會考慮使用公眾號來推送股票和市場消息。
如果在未來通過微信公眾號推送消息，那麼推送的消息會不會作為數據來源被再次採集？這會有多大的影響？
會被採集，但互聯網上的每日關於個股的信息數量會達到很大，該推送會增加推薦股票1點權重，每隻股票的權重成百上千，因此影響極小。
數據來源是微信公眾號，除了准確性的考慮之外，是否還考慮過這樣收集數據會較少觸犯個人隱私？
從法律角度來看，搜索微信或其他個人聊天記錄，是侵犯個人隱私權的，因此如果騰訊開放了這樣的介面，每個公民都可以對這樣的行為進行投訴、抗議、甚至進行法律起訴直至其改正過錯、賠償損失的。
這樣是否意味著即使存在違法的行為，其結果也是由騰訊來承擔，而我們作為數據的使用方不需要承擔任何法律責任？
在整個社會，我們作為系統技術提供方，應恪守大數據的倫理道德，遵守國家法律，如侵犯個人隱私，系統不會採集，谷歌有一句座右銘「谷歌不作惡」，本文提到的系統也一樣。
2.基於大數據進行股票推薦實驗
股票的及時度反應了微信文章所發布的時效性，及時度越高，數據價值就越大。
股票的熱度反應了當前某隻股票被關注的頻度，關注頻度越大，上漲的可能性越高。
數據的完整性：我們採用循環的方式對所有深滬兩地發行約2236隻股票（創業版除外）在微信搜索網站上的搜索結果進行保存。
數據的一致性：文件格式由負責保存數據文件的程序決定，單一的流程保障了文件的一致性。
數據的准確性：由於所分析的訂閱號文章的是由微信公共平台的公眾號所提供，在一定程度上杜絕了虛假消息對於預測系統的破壞。
數據的及時性：考慮到磁碟讀寫以及採集程序所處的網路帶寬，以及搜索引擎對於採集程序的屏蔽，程序中採集兩條信息之間間隔了5秒，因此理論上11180秒（3.1個小時）可收集完當日推薦所需要的數據。對於每個交易日，在9點-9點30分之間採集所有數據，需要7台以上的設備可達到最佳效果。本次試驗受限於試驗設備，在一台設備上，交易日每天早六時開始進行數據採集，也滿足及時性要求。
數據分析：查看三個高優先順序的股票，該股票當日的開盤價與收盤價，再與當日（2015-4-8）上證綜指進行比較，可得在收益上該演算法是優於上證綜指為樣本的整體股票的股價差收益的。
實驗結論：按照上述方式，系統每天推薦出當日股票，在開盤時進行買進，在第二個交易日進行賣出。經過一個月21個交易日（2015-3-1至2015-3-31），系統的收益為20%/月。通過微信搜索公眾號來預測市場走勢和投資情緒呈現出正相關性，因此可以作為股票甄選的因子。
3.股票預測的大數據發展趨勢
網路數據分成三種：
一是瀏覽數據，主要用於電商領域的消費者行為分析，瀏覽數據反映了用戶每一步的訪問腳步，進一步刻畫出用戶的訪問路徑，分析不同頁面的跳轉概率等。
二是搜索數據，主要指搜索引擎記錄的關鍵詞被搜索頻次的時間序列數據，能反映數億用戶的興趣、關注點、意圖。
三是互動數據，主要是微博、微信、社交網站的數據，反映用戶的傾向性和情緒因素。
2013年諾貝爾經濟學獎得主羅伯特?席勒的觀點被無數采訪對象引述。席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中，主要參考三個變數：投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應（市場情緒）。他認為，市場本身帶有主觀判斷因素，投資者情緒會影響投資行為，而投資行為直接影響資產價格。
計算機通過分析新聞、研究報告、社交信息、搜索行為等，藉助自然語言處理方法，提取有用的信息；而藉助機器學習智能分析，過去量化投資只能覆蓋幾十個策略，大數據投資則可以覆蓋成千上萬個策略。
基於互聯網搜索數據和社交行為的經濟預測研究，已逐漸成為一個新的學術熱點，並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上，研究發現搜索數據可有效預測未來股市活躍度（以交易量指標衡量）及股價走勢的變化。
對於搜索數據：互聯網搜索行為與股票市場的關聯機理。這個研究屬於行為金融與互聯網的交叉領域，其原理是：股票量價調整是投資者行為在股票市場上的反應；與此同時，投資者行為在互聯網搜索市場也有相應地行為跡象，我們要做到是：找到互聯網搜索市場中領先於股票交易的行為指標，綜合眾多投資者的先行搜索指標，對未來的股票交易做出預判。
如同天氣預報那樣，不斷優化模型、灌入海量信息，然後給出結果。並且在處理的信息中，有80%是「非結構化」數據，例如政策文件、自然事件、地理環境、科技創新等，這類信息通常是電腦和模型難以消化的。採用了語義分析法，可以將互動數據里的金融對話量化為「-1（極度看空）」到「1（極度看多）」之間的投資建議，通過分析互動數據的數據文本，作為股市投資的信號。
4.正在發生的未來
大數據並不是一個充斥著演算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的將來。
大數據在實用層面的影響很廣泛，解決了大量的日常問題。大數據更是利害攸關的，它將重塑我們的生活、工作和思維方式。在某些方面，我們面臨著一個僵局，比其他劃時代創新引起的社會信息范圍和規模急劇擴大所帶來的影響更大。我們腳下的地面在移動。過去確定無疑的事情正在受到質疑。大數據需要人們重新討論決策、命運和正義的性質。擁有知識曾意味著掌握過去，現在則意味著能夠預測未來。
大數據並不是一個充斥著演算法和機器的冰冷世界，其中仍需要人類扮演重要角色。人類獨有的弱點、錯覺、錯誤都是十分必要的，因為這些特性的另一頭牽著的是人類的創造力、直覺和天賦。這提示我們應該樂於接受類似的不準確，因為不準確正是我們之所以為人的特徵之一。就好像我們學習處理混亂數據一樣，因為這些數據服務的是更加廣大的目標。必將混亂構成了世界的本質，也構成了人腦的本職，而無論是世界的混亂還是人腦的混亂，學會接受和應用他們才能得益。
我相信，利用基礎數據、搜索數據、互動數據再進行加權計算，可以對所有股票進行大數據遴選，從而給出投資建議。我認為，我們的肉身剛剛步入大數據時代，但我們的精神還滯留在小數據、采樣思維之中，率先用理性擊碎固有思維的人，也將率先獲得大數據帶來的益處。
㈨ 哪些商業應用在數據倉庫中即使擁有過期的數據也依然有效
在大數據成為趨勢，成為國家戰略的今天，如何最大限度發揮大數據的價值成為人們思考的問題。無論是對於互聯網企業、電信運營商還是數量眾多的初創企業而言，大數據的變現顯得尤為重要。誰最先一步找到密碼，誰就能夠搶占市場，贏得發展。在探索大數據商業模式的同時，大數據正加速在各行各業的應用，大數據不僅為人們的購物、出行、交友提供了幫助，甚至還在高考這樣重要的事件中發揮作用。大數據產業具有無污染、生態友好、低投入高附加值特點，對於我國轉變過去資源因素型經濟增長方式、推進「互聯網+」行動計劃、實現國家製造業30年發展目標有戰略意義。前幾年，國內大數據產業討論較多、落地較少，商業模式處於初探期，行業處於兩種極端：一種是過熱的浮躁帶來了一定的泡沫和產業風險；一種是懷疑大數據只是炒作，依然堅持傳統管理理念、經營模式。但是進入2015年之後，大數據產業告別了泡沫，進入更務實的發展階段，從產業萌芽期進入了成長期。當前，如何將大數據變現成為業界探索的重要方向。B2B大數據交易所國內外均有企業在推動大數據交易。目前，我國正在探索「國家隊」性質的B2B大數據交易所模式。2014年2月20日，國內首個面向數據交易的產業組織—中關村大數據交易產業聯盟成立，同日，中關村數海大數據交易平台啟動，定位大數據的交易服務平台。2015年4月15日，貴陽大數據交易所正式掛牌運營並完成首批大數據交易。貴陽大數據交易所完成的首批數據交易賣方為深圳市騰訊計算機系統有限公司、廣東省數字廣東研究院，買方為京東雲平台、中金數據系統有限公司。2015年5月26日，在2015貴陽國際大數據產業博覽會暨全球大數據時代貴陽峰會上，貴陽大數據交易所推出《2015年中國大數據交易白皮書》和《貴陽大數據交易所702公約》，為大數據交易所的性質、目的、交易標的、信息隱私保護等指明了方向，奠定了大數據金礦變現的產業基礎。咨詢研究報告國內咨詢報告的數據大多來源於國家統計局等各部委的統計數據，由專業的研究員對數據加以分析、挖掘，找出各行業的定量特點進而得出定性結論，常見於「市場調研分析及發展咨詢報告」，如「2015～2020年中國通信設備行業市場調研分析及發展咨詢報告」、「2015～2020年中國手機行業銷售狀況分析及發展策略」、「2015年光纖市場分析報告」等，這些咨詢報告面向社會銷售，其實就是O2O的大數據交易模式。各行各業的分析報告為行業內的大量企業提供了智力成果、企業運營和市場營銷的數據參考，有利於市場優化供應鏈，避免產能過剩，維持市場穩定。這些都是以統計部門的結構化數據和非結構化數據為基礎的專業研究，這就是傳統的一對多的行業大數據商業模式。數據挖掘雲計算軟體雲計算的出現為中小企業分析海量數據提供了廉價的解決方案，SaaS模式是雲計算的最大魅力所在。雲計算服務中SaaS軟體可以提供數據挖掘、數據清洗的第三方軟體和插件。業內曾有專家指出，大數據=海量數據+分析軟體+挖掘過程，通過強大的各有千秋的分析軟體來提供多樣性的數據挖掘服務就是其盈利模式。國內已經有大數據公司開發了這些架構在雲端的大數據分析軟體：它集統計分析、數據挖掘和商務智能於一體，用戶只需要將數據導入該平台，就可以利用該平台提供的豐富演算法和模型，進行數據處理、基礎統計、高級統計、數據挖掘、數據制圖和結果輸出等。數據由系統統一進行管理，能夠區分私有和公有數據，可以保證私有數據只供持有者使用，同時支持多樣數據源接入，適合分析各行各業的數據，易學好用、操作界面簡易直觀，普通用戶稍做了解即可使用，同時也適合高端用戶自己建模進行二次開發。大數據咨詢分析服務機構及企業規模越大其擁有的數據量就越大，但是很少有企業像大型互聯網公司那樣有自己的大數據分析團隊，因此必然存在一些專業型的大數據咨詢公司，這些公司提供基於管理咨詢的大數據建模、大數據分析、商業模式轉型、市場營銷策劃等，有了大數據作為依據，咨詢公司的結論和咨詢成果更加有說服力，這也是傳統咨詢公司的轉型方向。比如某國外大型IT研究與顧問咨詢公司的副總裁在公開場合曾表示，大數據能使貴州農業節省60%的投入，同時增加80%的產出。該公司能做出這樣的論斷當然是基於其對貴州農業、天氣、土壤等數據的日積月累以及其建模分析能力。政府決策咨詢智庫黨的十八屆三中全會通過的《中共中央關於全面深化改革若乾重大問題的決定》明確提出，加強中國特色新型智庫建設，建立健全決策咨詢制度。這是中共中央文件首次提出「智庫」概念。近幾年，一批以建設現代化智庫為導向、以服務國家發展戰略為目標的智庫迅速成立，中國智庫數量從2008年的全球第12位躍居當前第2位。大數據是智庫的核心，沒有了數據，智庫的預測和分析將為無源之水。在海量信息甚至泛濫的情況下，智庫要提升梳理、整合信息的能力必然需要依靠大數據分析。研究認為，93%的行為是可以預測的，如果將事件數字化、公式化、模型化，其實多麼復雜的事件都是有其可以預知的規律可循，事態的發展走向是極易被預測的。可見，大數據的應用將不斷提高政府的決策效率和決策科學性。自有平台大數據分析隨著大數據的價值被各行各業逐漸認可，擁有廣大客戶群的大中型企業也開始開發、建設自有平台來分析大數據，並嵌入到企業內部的ERP系統信息流，由數據來引導企業內部決策、運營、現金流管理、市場開拓等，起到了企業內部價值鏈增值的作用。在分析1.0時代，數據倉庫被視作分析的基礎。2.0時代，公司主要依靠Hadoop集群和NoSQL資料庫。3.0時代的新型「敏捷」分析方法和機器學習技術正在以更快的速度來提供分析結果。的企業將在其戰略部門設置首席分析官，組織跨部門、跨學科、知識結構豐富、營銷經驗豐富的人員進行各種類型數據的混合分析。大數據投資工具證券市場行為、各類指數與投資者的分析、判斷以及情緒都有很大關系。2002年諾貝爾經濟學獎授予了行為經濟學家卡尼曼和實驗經濟學家史密斯，行為經濟學開始被主流經濟學所接受，行為金融理論將心理學尤其是行為科學理論融入金融中。現實生活中擁有大量用戶數據的互聯網公司將其論壇、博客、新聞報道、文章、網民用戶情緒、投資行為與股票行情對接，研究的是互聯網的行為數據，關注熱點及市場情緒，動態調整投資組合，開發出大數據投資工具，比如大數據類基金等。這些投資工具直接將大數據轉化為投資理財產品。定向采購線上交易平台數據分析結果很多時候是其他行業的業務基礎，國內目前對實體經濟的電子商務化已經做到了B2C、C2C、B2B等，甚至目前O2O也越來越流行，但是對於數據這種虛擬商品而言，目前還沒有具體的線上交易平台。比如服裝製造企業針對某個省份的市場，需要該市場客戶的身高、體重的中位數和平均數數據，那麼醫院體檢部門、專業體檢機構就是這些數據的供給方。通過獲取這些數據，服裝企業將可以開展精細化生產，以更低的成本生產出貼合市場需求的服裝。假想一下，如果有這樣一個「大數據定向采購平台」，就像淘寶購物一樣，可以發起買方需求，也可以推出賣方產品，通過這樣的模式，外加第三方支付平台，「數據分析結論」這種商品就會悄然而生，這種商品不佔用物流資源、不污染環境、快速響應，但是卻有「供」和「需」雙方巨大的市場。而且通過這種平台可以保障基礎數據安全，大數據定向采購服務平台交易的不是底層的基礎數據，而是通過清洗建模出來的數據結果。所有賣方、買方都要實名認證，建立誠信檔案機制並與國家信用體系打通。非營利性數據徵信評價機構在國家將公民信息保護納入刑法范圍之前，公民個人信息經常被明碼標價公開出售,並且形成了一個「灰色產業」。為此，2009年2月28日通過的刑法修正案（七）中新增了出售、非法提供公民個人信息罪，非法獲取公民個人信息罪。該法條中特指國家機關或者金融、電信、交通、教育、醫療等單位的工作人員，不得將公民個人信息出售或非法提供給他人。而公民的信息在各種考試中介機構、房產中介、釣魚網站、網站論壇依然在出售，詐騙電話、騷擾電話、推銷電話在增加運營商話務量的同時也在破壞整個社會的信用體系和公民的安全感。雖然數據交易之前是交易所規定的經過數據清洗的數據，但是交易所員工從本質上是無法監控全國海量的數據的。數據清洗只是對不符合格式要求的數據進行清洗，主要有不完整的數據、錯誤的數據、重復的數據三大類。因此，建立非營利性數據徵信評價機構是非常有必要的，將數據徵信納入企業及個人徵信系統，作為全國徵信系統的一部分，避免黑市交易變成市場的正常行為。除了徵信評價機構之外，未來國家公共安全部門也許會成立數據安全局，納入網路警察范疇，重點打擊將侵犯企業商業秘密、公民隱私的基礎數據進行數據販賣的行為。結語：大數據已經從論壇串場、浮躁的觀點逐步走向國家治理體系建設、營銷管理、生產管理、證券市場等方面，其商業模式也多種多樣。市場經驗表明，存在買賣就存在商品經濟，具體哪種商業模式佔主流將由市場決定。而最終的事實將證明，大數據交易商品經濟必然成為「互聯網+」的重要組成部分。