基于数据挖掘的股票分析和预测模型的设计与应用

‘壹’ 金融数据挖掘的内容简介

金融管理研究的一个显着特点是数据分析量大、不确定性因素多，面对当今时代的海量金融数据，基于传统统计技术建立的模型假设条件多，实际应用难以奏效。数据挖掘是20世纪90年代中期兴起的新技术，是发现数据中有用模式的过程，其目的在于使用所发现的模式帮助解释当前的行为或预测未来的结果，以人们容易理解的形式提供有用的决策信息。
本书可作为信息管理与金融类专业本科生和研究生的教材，也可供从事数据挖掘技术与应用研究的科研人员、金融市场数据分析人员，以及数据挖掘应用软件的开发者参考。
目录
丛书序
序言
前言
第1章 绪论
1.1 数据挖掘技术的兴起
1.2 数据挖掘概述
1.3 数据挖掘与统计学
1.4 数据挖掘与金融
第2章 金融数据预处理
2.1 概述
2.2 数据预处理任务
2.3 常见数据预处理技术
2.4 案例：信用卡数据挖掘的预处理
2.5 金融时间序列去噪预处理研究
第3章 关联规则挖掘技术
3.1 关联规则的定义
3.2 关联规则挖掘技术
3.3 案例：银行卡的关联规则挖掘
3.4 基于共同机制思想的时间序列关联模式挖掘
第4章 分类技术
4.1 分类建模介绍
4.2 判别式分类
4.3 决策树分类
4.4 贝叶斯分类
4.5 粗糙集方法
4.6 分类技术在信用卡管理中的应用
第5章 预测技术
5.1 线性回归分析
5.2 非线性田归分析
5.3 灰色预测技术
5.4 组合预测技术
5.5 混合预测模型在股票价格预测中的应用
第6章 神经网络与支持向量机
6.1 神经网络概述
6.2 前向型神经网络
6.3 Hopfield网络
6.4 自组织特征映射神经网络
6.5 统计学习理论
6.6 支持向量机
6.7 支持向量机方法在金融预测中的应用
第7章 聚类分析
7.1 聚类的相关概念
7.2 数据类型及相似性度量
7.3 分割聚类算法
7.4 层次聚类法
7.5 基于密度的聚类方法
7.6 基于模型的聚类
7.7 聚类分析技术在金融投资分析中的应用
第8章 时间序列数据挖掘
8.1 经典时间序列分析模型
8.2 金融时间序列挖掘与模型分析法的比较
8.3 时间序列挖掘的基本问题
8.4 时间序列相似性度量的一般方法
8.5 反映心理偏好的时间序列相似性度量研究
8.6 时间序列的符号化处理
8.7 时间序列事件征兆模式挖掘研究
8.8 征兆模式挖掘在股票市场有效性研究中的应用
第9章 异常数据挖掘
9.1 概述
9.2 异常的定义
9.3 异常的隐藏
9.4 异常挖掘的一般方法
9.5 异常数据挖掘在金融领域中的应用
参考文献
致谢

‘贰’ 股票的预测模型有哪些

股票的预测模型：
1、净现金流量折现法；
2、投资机会折现法；
3、股利折现法；
4、盈余折现法；
除此之外，想了解更多的股票类的知识，可以下载财源滚滚APP软件，系统学习下

‘叁’ 数据挖掘的应用领域有哪些

数据挖掘的应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：
(1)商场从顾客购买商品中发现一定的关联规则，提供打折、购物券等促销手段，提高销售额；
(2)保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润；
(3)在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量；
(4)电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计；
一些公司运用数据挖掘的成功案例，显示了数据挖掘的强大生命力：
美国AutoTrader是世界上最大的汽车销售站点，每天都会有大量的用户对网站上的信息点击，寻求信息，其运用了SAS软件进行数据挖掘，每天对数据进行分析，找出用户的访问模式，对产品的喜欢程度进行判断，并设特定服务，取得了成功。
Reuteres是世界着名的金融信息服务公司，其利用的数据大都是外部的数据，这样数据的质量就是公司生存的关键所在，必须从数据中检测出错误的成分。Reuteres用SPSS的数据挖掘工具SPSS/Clementine，建立数据挖掘模型，极大地提高了错误的检测，保证了信息的正确和权威性。
Bass Export是世界最大的啤酒进出口商之一，在海外80多个市场从事交易，每个星期传送23000份定单，这就需要了解每个客户的习惯，如品牌的喜好等，Bass Export用IBM的Intelligent Miner很好的解决了上述问题。

‘肆’ 什么是数据挖掘，简述其作用和应用。

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。

数据挖掘是指通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系来解决业务问题。换句话说，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。

数据挖掘的作用体现在数据挖掘的定义上，作用就是从大量的数据中搜索出隐藏于其中有用的信息。

(4)基于数据挖掘的股票分析和预测模型的设计与应用扩展阅读：

数据挖掘分析方法：

数据挖掘分为有指导的数据挖掘和无指导的数据挖掘。有指导的数据挖掘是利用可用的数据建立一个模型，这个模型是对一个特定属性的描述。无指导的数据挖掘是在所有的属性中寻找某种关系。具体而言，分类、估值和预测属于有指导的数据挖掘；关联规则和聚类属于无指导的数据挖掘。

1、分类，它首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘技术，建立一个分类模型，再将该模型用于对没有分类的数据进行分类。

2、估值，估值与分类类似，但估值最终的输出结果是连续型的数值，估值的量并非预先确定。估值可以作为分类的准备工作。

3、预测，它是通过分类或估值来进行，通过分类或估值的训练得出一个模型，如果对于检验样本组而言该模型具有较高的准确率，可将该模型用于对新样本的未知变量进行预测。

4、相关性分组或关联规则。其目的是发现哪些事情总是一起发生。

5、聚类，它是自动寻找并建立分组规则的方法，它通过判断样本之间的相似性，把相似样本划分在一个簇中。

参考资料来源：网络-数据挖掘

‘伍’ 数据挖掘算法与生活中的应用案例

数据挖掘算法与生活中的应用案例

如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的着作是否出自某位名家之手”、“如何判断一个细胞是否属于肿瘤细胞”等等，这些问题似乎都很专业，都不太好回答。但是，如果了解一点点数据挖掘的知识，你，或许会有柳暗花明的感觉。
本文，主要想简单介绍下数据挖掘中的算法，以及它包含的类型。然后，通过现实中触手可及的、活生生的案例，去诠释它的真实存在。 一般来说，数据挖掘的算法包含四种类型，即分类、预测、聚类、关联。前两种属于有监督学习，后两种属于无监督学习，属于描述性的模式识别和发现。
有监督学习有监督的学习，即存在目标变量，需要探索特征变量和目标变量之间的关系，在目标变量的监督下学习和优化算法。例如，信用评分模型就是典型的有监督学习，目标变量为“是否违约”。算法的目的在于研究特征变量（人口统计、资产属性等）和目标变量之间的关系。
分类算法分类算法和预测算法的最大区别在于，前者的目标变量是分类离散型（例如，是否逾期、是否肿瘤细胞、是否垃圾邮件等），后者的目标变量是连续型。一般而言，具体的分类算法包括，逻辑回归、决策树、KNN、贝叶斯判别、SVM、随机森林、神经网络等。
预测算法预测类算法，其目标变量一般是连续型变量。常见的算法，包括线性回归、回归树、神经网络、SVM等。
无监督学习无监督学习，即不存在目标变量，基于数据本身，去识别变量之间内在的模式和特征。例如关联分析，通过数据发现项目A和项目B之间的关联性。例如聚类分析，通过距离，将所有样本划分为几个稳定可区分的群体。这些都是在没有目标变量监督下的模式识别和分析。
聚类分析聚类的目的就是实现对样本的细分，使得同组内的样本特征较为相似，不同组的样本特征差异较大。常见的聚类算法包括kmeans、系谱聚类、密度聚类等。
关联分析关联分析的目的在于，找出项目（item）之间内在的联系。常常是指购物篮分析，即消费者常常会同时购买哪些产品（例如游泳裤、防晒霜），从而有助于商家的捆绑销售。
基于数据挖掘的案例和应用上文所提到的四种算法类型（分类、预测、聚类、关联），是比较传统和常见的。还有其他一些比较有趣的算法分类和应用场景，例如协同过滤、异常值分析、社会网络、文本分析等。下面，想针对不同的算法类型，具体的介绍下数据挖掘在日常生活中真实的存在。下面是能想到的、几个比较有趣的、和生活紧密关联的例子。
基于分类模型的案例这里面主要想介绍两个案例，一个是垃圾邮件的分类和判断，另外一个是在生物医药领域的应用，即肿瘤细胞的判断和分辨。
垃圾邮件的判别邮箱系统如何分辨一封Email是否属于垃圾邮件？这应该属于文本挖掘的范畴，通常会采用朴素贝叶斯的方法进行判别。它的主要原理是，根据邮件正文中的单词，是否经常出现在垃圾邮件中，进行判断。例如，如果一份邮件的正文中包含“报销”、“发票”、“促销”等词汇时，该邮件被判定为垃圾邮件的概率将会比较大。
一般来说，判断邮件是否属于垃圾邮件，应该包含以下几个步骤。
第一，把邮件正文拆解成单词组合，假设某篇邮件包含100个单词。
第二，根据贝叶斯条件概率，计算一封已经出现了这100个单词的邮件，属于垃圾邮件的概率和正常邮件的概率。如果结果表明，属于垃圾邮件的概率大于正常邮件的概率。那么该邮件就会被划为垃圾邮件。
医学上的肿瘤判断如何判断细胞是否属于肿瘤细胞呢？肿瘤细胞和普通细胞，有差别。但是，需要非常有经验的医生，通过病理切片才能判断。如果通过机器学习的方式，使得系统自动识别出肿瘤细胞。此时的效率，将会得到飞速的提升。并且，通过主观（医生）+客观（模型）的方式识别肿瘤细胞，结果交叉验证，结论可能更加靠谱。
如何操作？通过分类模型识别。简言之，包含两个步骤。首先，通过一系列指标刻画细胞特征，例如细胞的半径、质地、周长、面积、光滑度、对称性、凹凸性等等，构成细胞特征的数据。其次，在细胞特征宽表的基础上，通过搭建分类模型进行肿瘤细胞的判断。
基于预测模型的案例这里面主要想介绍两个案例。即通过化学特性判断和预测红酒的品质。另外一个是，通过搜索引擎来预测和判断股价的波动和趋势。
红酒品质的判断如何评鉴红酒？有经验的人会说，红酒最重要的是口感。而口感的好坏，受很多因素的影响，例如年份、产地、气候、酿造的工艺等等。但是，统计学家并没有时间去品尝各种各样的红酒，他们觉得通过一些化学属性特征就能够很好地判断红酒的品质了。并且，现在很多酿酒企业其实也都这么干了，通过监测红酒中化学成分的含量，从而控制红酒的品质和口感。
那么，如何判断鉴红酒的品质呢？
第一步，收集很多红酒样本，整理检测他们的化学特性，例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
第二步，通过分类回归树模型进行预测和判断红酒的品质和等级。
搜索引擎的搜索量和股价波动一只南美洲热带雨林中的蝴蝶，偶尔扇动了几下翅膀，可以在两周以后，引起美国德克萨斯州的一场龙卷风。你在互联网上的搜索是否会影响公司股价的波动？
很早之前，就已经有文献证明，互联网关键词的搜索量（例如流感）会比疾控中心提前1到2周预测出某地区流感的爆发。
同样，现在也有些学者发现了这样一种现象，即公司在互联网中搜索量的变化，会显着影响公司股价的波动和趋势，即所谓的投资者注意力理论。该理论认为，公司在搜索引擎中的搜索量，代表了该股票被投资者关注的程度。因此，当一只股票的搜索频数增加时，说明投资者对该股票的关注度提升，从而使得该股票更容易被个人投资者购买，进一步地导致股票价格上升，带来正向的股票收益。这是已经得到无数论文验证了的。
基于关联分析的案例：沃尔玛的啤酒尿布啤酒尿布是一个非常非常古老陈旧的故事。故事是这样的，沃尔玛发现一个非常有趣的现象，即把尿布与啤酒这两种风马牛不相及的商品摆在一起，能够大幅增加两者的销量。原因在于，美国的妇女通常在家照顾孩子，所以，她们常常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。沃尔玛从数据中发现了这种关联性，因此，将这两种商品并置，从而大大提高了关联销售。
啤酒尿布主要讲的是产品之间的关联性，如果大量的数据表明，消费者购买A商品的同时，也会顺带着购买B产品。那么A和B之间存在关联性。在超市中，常常会看到两个商品的捆绑销售，很有可能就是关联分析的结果。
基于聚类分析的案例：零售客户细分对客户的细分，还是比较常见的。细分的功能，在于能够有效的划分出客户群体，使得群体内部成员具有相似性，但是群体之间存在差异性。其目的在于识别不同的客户群体，然后针对不同的客户群体，精准地进行产品设计和推送，从而节约营销成本，提高营销效率。
例如，针对商业银行中的零售客户进行细分，基于零售客户的特征变量（人口特征、资产特征、负债特征、结算特征），计算客户之间的距离。然后，按照距离的远近，把相似的客户聚集为一类，从而有效的细分客户。将全体客户划分为诸如，理财偏好者、基金偏好者、活期偏好者、国债偏好者、风险均衡者、渠道偏好者等。
基于异常值分析的案例：支付中的交易欺诈侦测采用支付宝支付时，或者刷信用卡支付时，系统会实时判断这笔刷卡行为是否属于盗刷。通过判断刷卡的时间、地点、商户名称、金额、频率等要素进行判断。这里面基本的原理就是寻找异常值。如果您的刷卡被判定为异常，这笔交易可能会被终止。
异常值的判断，应该是基于一个欺诈规则库的。可能包含两类规则，即事件类规则和模型类规则。第一，事件类规则，例如刷卡的时间是否异常（凌晨刷卡）、刷卡的地点是否异常（非经常所在地刷卡）、刷卡的商户是否异常（被列入黑名单的套现商户）、刷卡金额是否异常（是否偏离正常均值的三倍标准差）、刷卡频次是否异常（高频密集刷卡）。第二，模型类规则，则是通过算法判定交易是否属于欺诈。一般通过支付数据、卖家数据、结算数据，构建模型进行分类问题的判断。
基于协同过滤的案例：电商猜你喜欢和推荐引擎电商中的猜你喜欢，应该是大家最为熟悉的。在京东商城或者亚马逊购物，总会有“猜你喜欢”、“根据您的浏览历史记录精心为您推荐”、“购买此商品的顾客同时也购买了商品”、“浏览了该商品的顾客最终购买了商品”，这些都是推荐引擎运算的结果。
这里面，确实很喜欢亚马逊的推荐，通过“购买该商品的人同时购买了**商品”，常常会发现一些质量比较高、较为受认可的书。一般来说，电商的“猜你喜欢”（即推荐引擎）都是在协同过滤算法（Collaborative Filter）的基础上，搭建一套符合自身特点的规则库。即该算法会同时考虑其他顾客的选择和行为，在此基础上搭建产品相似性矩阵和用户相似性矩阵。基于此，找出最相似的顾客或最关联的产品，从而完成产品的推荐。
基于社会网络分析的案例：电信中的种子客户种子客户和社会网络，最早出现在电信领域的研究。即，通过人们的通话记录，就可以勾勒出人们的关系网络。电信领域的网络，一般会分析客户的影响力和客户流失、产品扩散的关系。
基于通话记录，可以构建客户影响力指标体系。采用的指标，大概包括如下，一度人脉、二度人脉、三度人脉、平均通话频次、平均通话量等。基于社会影响力，分析的结果表明，高影响力客户的流失会导致关联客户的流失。其次，在产品的扩散上，选择高影响力客户作为传播的起点，很容易推动新套餐的扩散和渗透。
此外，社会网络在银行（担保网络）、保险（团伙欺诈）、互联网（社交互动）中也都有很多的应用和案例。
基于文本分析的案例这里面主要想介绍两个案例。一个是类似“扫描王”的APP，直接把纸质文档扫描成电子文档。相信很多人都用过，这里准备简单介绍下原理。另外一个是，江湖上总是传言红楼梦的前八十回和后四十回，好像并非都是出自曹雪芹之手，这里面准备从统计的角度聊聊。
字符识别：扫描王APP手机拍照时会自动识别人脸，还有一些APP，例如扫描王，可以扫描书本，然后把扫描的内容自动转化为word。这些属于图像识别和字符识别（Optical Character Recognition）。图像识别比较复杂，字符识别理解起来比较容易些。
查找了一些资料，字符识别的大概原理如下，以字符S为例。
第一，把字符图像缩小到标准像素尺寸，例如12*16。注意，图像是由像素构成，字符图像主要包括黑、白两种像素。
第二，提取字符的特征向量。如何提取字符的特征，采用二维直方图投影。就是把字符（12*16的像素图）往水平方向和垂直方向上投影。水平方向有12个维度，垂直方向有16个维度。这样分别计算水平方向上各个像素行中黑色像素的累计数量、垂直方向各个像素列上的黑色像素的累计数量。从而得到水平方向12个维度的特征向量取值，垂直方向上16个维度的特征向量取值。这样就构成了包含28个维度的字符特征向量。
第三，基于前面的字符特征向量，通过神经网络学习，从而识别字符和有效分类。
文学着作与统计：红楼梦归属这是非常着名的一个争论，悬而未决。对于红楼梦的作者，通常认为前80回合是曹雪芹所着，后四十回合为高鹗所写。其实主要问题，就是想确定，前80回合和后40回合是否在遣词造句方面存在显着差异。
这事让一群统计学家比较兴奋了。有些学者通过统计名词、动词、形容词、副词、虚词出现的频次，以及不同词性之间的相关系做判断。有些学者通过虚词（例如之、其、或、亦、了、的、不、把、别、好），判断前后文风的差异。有些学者通过场景（花卉、树木、饮食、医药与诗词）频次的差异，来做统计判断。总而言之，主要通过一些指标量化，然后比较指标之间是否存在显着差异，借此进行写作风格的判断。

以上是小编为大家分享的关于数据挖掘算法与生活中的应用案例的相关内容，更多信息可以关注环球青藤分享更多干货

‘陆’ 基于微信大数据的股票预测研究

基于微信大数据的股票预测研究
大数据是近些年来的热门话题，无论国际上还是国内，影响很大。经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。而全球经济目前生成了史无前例的大量数据，如果把每天产生的大量数据比作神话时期的大洪水是完全正确的，这个数据洪流是我们前所未见的，他是全新的、强大的、当然，也是让人恐慌但又极端刺激的。
而我所分享的话题，正是在互联网环境下，如何利用大数据技术，进行股票预测的研究。–今天，我想分享我认为有意义的四点。
1.大数据下的商业预测
根据大数据，我们可以有效地进行故障、人流、流量、用电量、股票市场、疾病预防、交通、食物配送、产业供需等方面的预测。而本文我们所关心的内容是股票市场的预测。
大数据的核心是预测，预测依赖于对数据的分析。那么分析的方法是否是基于随机采样的结果而设计的，这样的分析方法是否会有误差？
从传统认识上，由于资源和科技的局限，如人和计算资源受限、从计算机处理能力来讲无法处理全部数据来获取人们所关注的结果。因此随机采样应运而生，通过所选取的个体来代表全体，如使用随机抽取的方式来使得推论结果更科学。但既然提到了大数据，它是资源发展到一定程度、以及技术发展到一定阶段产生的一个新的认识。如同电力的出现，使人类进入了一个快速发展阶段，大数据也一样，它的含义是全体样本，从整体样本来做推论。在本文大数据的含义是所有股票在整个社交网络上的流动信息，从数据源上讲，本文没有采用所有社交网络上的数据，只分析了微信这个最具代表性的社交媒体作为信息源。
互动数据能反映用户情绪，搜索数据能反映用户的关注点和意图，在股市预测时这两种数据哪种更具有参考价值？
我认为都有价值，互动数据反映了用户对某一特定股票的喜好和厌恶，可以简单描述为对该股票的操作是继续持有还是卖出；而搜索数据则代表用户在收集该股票信息的过程，它是关注度的概念，某只股票搜索度高则意味着消息的影响力大。互动代表着方向，搜索代表着振幅。
我们知道这两种数据得出的结论会有差异，您是如何平衡这两种数据反映的情况来进行预测的？
正如上一个问题里提到的，如果是股票推荐，买进卖出等原则问题，则应该考虑互动数据，但如果已经买到手了，搜索数据可以提供一个幅度的概念，类似债券评级A级、AA级、AAA级等，供投资者参考，因为不同投资者对风险的承受度是不同的。
将股票和市场的消息整理成140字的短消息发布，是否意味着主要发布渠道是微博？现在微信公众号很火，有没有考虑通过这个渠道也发布消息？
事实上，信息传播的方式很多，微信作为新媒体当然影响力不容小觑，但目前技术投入最小的还是邮件、短信等方式，未来会考虑使用公众号来推送股票和市场消息。
如果在未来通过微信公众号推送消息，那么推送的消息会不会作为数据来源被再次采集？这会有多大的影响？
会被采集，但互联网上的每日关于个股的信息数量会达到很大，该推送会增加推荐股票1点权重，每只股票的权重成百上千，因此影响极小。
数据来源是微信公众号，除了准确性的考虑之外，是否还考虑过这样收集数据会较少触犯个人隐私？
从法律角度来看，搜索微信或其他个人聊天记录，是侵犯个人隐私权的，因此如果腾讯开放了这样的接口，每个公民都可以对这样的行为进行投诉、抗议、甚至进行法律起诉直至其改正过错、赔偿损失的。
这样是否意味着即使存在违法的行为，其结果也是由腾讯来承担，而我们作为数据的使用方不需要承担任何法律责任？
在整个社会，我们作为系统技术提供方，应恪守大数据的伦理道德，遵守国家法律，如侵犯个人隐私，系统不会采集，谷歌有一句座右铭“谷歌不作恶”，本文提到的系统也一样。
2.基于大数据进行股票推荐实验
股票的及时度反应了微信文章所发布的时效性，及时度越高，数据价值就越大。
股票的热度反应了当前某只股票被关注的频度，关注频度越大，上涨的可能性越高。

数据的完整性：我们采用循环的方式对所有深沪两地发行约2236只股票（创业版除外）在微信搜索网站上的搜索结果进行保存。
数据的一致性：文件格式由负责保存数据文件的程序决定，单一的流程保障了文件的一致性。
数据的准确性：由于所分析的订阅号文章的是由微信公共平台的公众号所提供，在一定程度上杜绝了虚假消息对于预测系统的破坏。
数据的及时性：考虑到磁盘读写以及采集程序所处的网络带宽，以及搜索引擎对于采集程序的屏蔽，程序中采集两条信息之间间隔了5秒，因此理论上11180秒（3.1个小时）可收集完当日推荐所需要的数据。对于每个交易日，在9点-9点30分之间采集所有数据，需要7台以上的设备可达到最佳效果。本次试验受限于试验设备，在一台设备上，交易日每天早六时开始进行数据采集，也满足及时性要求。
数据分析：查看三个高优先级的股票，该股票当日的开盘价与收盘价，再与当日（2015-4-8）上证综指进行比较，可得在收益上该算法是优于上证综指为样本的整体股票的股价差收益的。
实验结论：按照上述方式，系统每天推荐出当日股票，在开盘时进行买进，在第二个交易日进行卖出。经过一个月21个交易日（2015-3-1至2015-3-31），系统的收益为20%/月。通过微信搜索公众号来预测市场走势和投资情绪呈现出正相关性，因此可以作为股票甄选的因子。
3.股票预测的大数据发展趋势
网络数据分成三种：
一是浏览数据，主要用于电商领域的消费者行为分析，浏览数据反映了用户每一步的访问脚步，进一步刻画出用户的访问路径，分析不同页面的跳转概率等。
二是搜索数据，主要指搜索引擎记录的关键词被搜索频次的时间序列数据，能反映数亿用户的兴趣、关注点、意图。
三是互动数据，主要是微博、微信、社交网站的数据，反映用户的倾向性和情绪因素。
2013年诺贝尔经济学奖得主罗伯特?席勒的观点被无数采访对象引述。席勒于上世纪80年代设计的投资模型至今仍被业内称道。在他的模型中，主要参考三个变量：投资项目计划的现金流、公司资本的估算成本、股票市场对投资的反应（市场情绪）。他认为，市场本身带有主观判断因素，投资者情绪会影响投资行为，而投资行为直接影响资产价格。
计算机通过分析新闻、研究报告、社交信息、搜索行为等，借助自然语言处理方法，提取有用的信息；而借助机器学习智能分析，过去量化投资只能覆盖几十个策略，大数据投资则可以覆盖成千上万个策略。
基于互联网搜索数据和社交行为的经济预测研究，已逐渐成为一个新的学术热点，并在经济、社会以及健康等领域的研究中取得了一定成果。在资本市场应用上，研究发现搜索数据可有效预测未来股市活跃度（以交易量指标衡量）及股价走势的变化。
对于搜索数据：互联网搜索行为与股票市场的关联机理。这个研究属于行为金融与互联网的交叉领域，其原理是：股票量价调整是投资者行为在股票市场上的反应；与此同时，投资者行为在互联网搜索市场也有相应地行为迹象，我们要做到是：找到互联网搜索市场中领先于股票交易的行为指标，综合众多投资者的先行搜索指标，对未来的股票交易做出预判。
如同天气预报那样，不断优化模型、灌入海量信息，然后给出结果。并且在处理的信息中，有80%是“非结构化”数据，例如政策文件、自然事件、地理环境、科技创新等，这类信息通常是电脑和模型难以消化的。采用了语义分析法，可以将互动数据里的金融对话量化为“-1（极度看空）”到“1（极度看多）”之间的投资建议，通过分析互动数据的数据文本，作为股市投资的信号。
4.正在发生的未来
大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的将来。
大数据在实用层面的影响很广泛，解决了大量的日常问题。大数据更是利害攸关的，它将重塑我们的生活、工作和思维方式。在某些方面，我们面临着一个僵局，比其他划时代创新引起的社会信息范围和规模急剧扩大所带来的影响更大。我们脚下的地面在移动。过去确定无疑的事情正在受到质疑。大数据需要人们重新讨论决策、命运和正义的性质。拥有知识曾意味着掌握过去，现在则意味着能够预测未来。
大数据并不是一个充斥着算法和机器的冰冷世界，其中仍需要人类扮演重要角色。人类独有的弱点、错觉、错误都是十分必要的，因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。这提示我们应该乐于接受类似的不准确，因为不准确正是我们之所以为人的特征之一。就好像我们学习处理混乱数据一样，因为这些数据服务的是更加广大的目标。必将混乱构成了世界的本质，也构成了人脑的本职，而无论是世界的混乱还是人脑的混乱，学会接受和应用他们才能得益。
我相信，利用基础数据、搜索数据、互动数据再进行加权计算，可以对所有股票进行大数据遴选，从而给出投资建议。我认为，我们的肉身刚刚步入大数据时代，但我们的精神还滞留在小数据、采样思维之中，率先用理性击碎固有思维的人，也将率先获得大数据带来的益处。

‘柒’ 请问数据挖掘在证券投资分析中的应用

证券股票的趋势，股票关联等