股票数据挖掘

A. “基于数据挖掘的股票交易分析--模型分析” 这个题目，是什么意思 哪位哥们，能给点具体解释么

很难写，主要牵涉到数据挖掘（软件）和股票交易两方面的专业。数据挖掘需要设计软件进行建模，而股票交易需要进行实证（博士论文都可以写了）。
建议：可以写基于统计挖掘的股票交易分析--模型分析，这样就简单多了，只需要在股票软件上得出一些统计数据，然后进行验证就可以了，可操作性强。

B. 什么是数据挖掘

数据挖掘（Data Mining）是指通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系来解决业务问题。换句话说，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

原则上讲，数据挖掘可以应用于任何类型的信息存储库及瞬态数据（如数据流），如数据库、数据仓库、数据集市、事务数据库、空间数据库（如地图等）、工程设计数据（如建筑设计等）、多媒体数据（文本、图像、视频、音频）、网络、数据流、时间序列数据库等。也正因如此，数据挖掘存在以下特点：

（1）数据集大且不完整
数据挖掘所需要的数据集是很大的，只有数据集越大，得到的规律才能越贴近于正确的实际的规律，结果也才越准确。除此以外，数据往往都是不完整的。

（2）不准确性
数据挖掘存在不准确性，主要是由噪声数据造成的。比如在商业中用户可能会提供假数据；在工厂环境中，正常的数据往往会收到电磁或者是辐射干扰，而出现超出正常值的情况。这些不正常的绝对不可能出现的数据，就叫做噪声，它们会导致数据挖掘存在不准确性。

（3）模糊的和随机的
数据挖掘是模糊的和随机的。这里的模糊可以和不准确性相关联。由于数据不准确导致只能在大体上对数据进行一个整体的观察，或者由于涉及到隐私信息无法获知到具体的一些内容，这个时候如果想要做相关的分析操作，就只能在大体上做一些分析，无法精确进行判断。
而数据的随机性有两个解释，一个是获取的数据随机；我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器进行判断和学习，那么一切的操作都属于是灰箱操作。

C. 请通俗的讲一下什么是数据挖掘

利用数据挖掘，我们还可以做非常多的事情。

1.发现数据项之间的相关性

比如我们拿到各个城市环境、人口、交通等数据，就可以通过相关性分析来看人均汽车保有量，和空气质量各个指标之间的关系，从而定量化地帮助制定产业经济和环保政策。比如要不要进行更严厉的限购，要不要收取为其的排放税等等。

2.把数据对象进行聚类

比如我们知道大量的人在电子商务网络消费数据，我么就可以根据消费的特征把他们聚成很多类，每一类人我们制定不同的营销手段，从而能够取得销售量的提升。比如电信运营商对人群进行聚类，然后针对性地推出电话套餐。

3.把数据对象进行分类

当我们已经有了分类之后，来了一些新的数据之后，我们可以把他分到不同不同的类去。比如医疗影像上查看肺部的病灶，可能是肺结核、可能是早起肺癌，中晚期肺癌，可能是肺上的疖结，可能是愈合的病灶等等，来了一张新的片子，我们可以通过图像处理，就把它分到不同的类别（当然这需要我们提前对很多片子的数据进行学习）。

4.预测缺失数据或者未来的数据

很多数据集中，比如生物数据，我们已知的知识全部数据集中的一小部分，这需要我们做一些事情去预测这些数据。还有一些，想大选、股票价格预测、河流径流量预测、城市用电量预测等，这些就是对未来数据的预测。

D. 什么是数据挖掘

科技的快速发展和数据的存储技术的快速进步，使得各种行业或组织的数据得以海量积累。但是，从海量的数据当中，提取有用的信息成为了一个难题。在海量数据面前，传统的数据分析工具和方法很无力。由此，数据挖掘技术就登上了历史的舞台。
数据挖掘是一种技术，将传统的数据分析方法与处理大量数据的复杂算法相结合（图1），从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用信息和知识的过程。

那数据挖掘能够干什么？有哪些数据挖掘技术？怎么应用？
数据挖掘技术应用广泛，如：1. 在交通领域，帮助铁路票价制定、交通流量预测等。2. 在生物学当中，挖掘基因与疾病之间的关系、蛋白质结构预测、代谢途径预测等。3. 在金融行业当中，股票指数追踪、税务稽查等方面有重要运用。4. 在电子商务领域，对顾客行为分析、定向营销、定向广告投放、谁是最有价值的用户、什么产品搭配销售等。可以说，有数据的方法，就有数据挖掘的用武之地。
那数据挖掘过程是什么呢？如图2：

数据挖掘的任务主要分为一下四类，如图3：

1.建模预测：用因变量作用目标变量建立模型。分为两类：（1）分类，用于预测离散的目标变量；（2）回归，用于预测连续的目标变量。两项任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小。预测建模可以用来判断病人是否患有某种疾病，可以用于确定顾客是否需要某种产品，预测交通流量。

2.关联分析：用来发现描述数据中强关联特征的模式。所发现的模式通常用特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有用的模式。关联分析的应用包括用户购买商品之间的联系、找出相关功能的基因组、表单预测输出下拉列表如图4。

3.聚类分析：发现紧密相关的观测值群组，使得与属于不同簇的观察值相比，同一簇的观察值相互之间尽可能的类似。聚类可用来对相关的顾客分组、给不同功能的基因分组、不同的癌症细胞系分组。

4.异常检测：识别其特征显着不同于其他数据的观测值。这样的观测值称为异常点或离群点。异常检测算法的目标是发现真正的异常点，而避免错误地将正常的对象标注为异常点。换言之，一个好的异常点检测模型必须具有高检测率和低误报率。异常检测的应用包括检测欺诈、网络攻击、疾病的不寻常模式。

参考文章：
1. 《大话数据挖掘》
2. 《数据挖掘导论》
3. http://mp.weixin.qq.com/s?__biz=MzI2NDEwNzgxMw==&mid=401492893&idx=1&sn=#rd

E. 如何获得股票行情数据，自己编程处理进行数据挖掘

行情数据可到通达信或者同花顺观看

F. 股票的数据挖掘用什么算法最合适

写个贝叶斯分类算法
对文本进行分类

G. 股票市场搞数据挖掘，数据分析来炒股有没机会

有机会，而且机会不小，但是我等散户靠数据分析，可能自身实力差的太悬殊了。
硬件设备就不达标哦。

H. 股票软件真的有用吗

股票软件只能说起到一定的参考作用，并不能完全依赖它。
股票软件只是一个工具，只是给你用来分析行情和个股走势的，并不是说有了好的工具，就可以保证在股市盈利。在股票市场永远遵循二八原则，不论是大牛市或是大熊市，能挣到钱的都不会超过20%，所以想在股票市场混，光靠一个股票分析工具是不够的。
最终做出买卖决定要靠自己的脑子。光相信软件没有自己的判断也是不行的。
补充资料：
正规软件；大智慧、同花顺、通达信
杂七杂八的软件 80%的指标是对股民没有任何好处的，甚至会起到相反的作用。
(8)股票数据挖掘扩展阅读：
股票软件
一、股票软件更准确的称谓应该是证券分析软件或证券决策系统，它的基股票软件本功能是信息的实时揭示（包括行情信息和资讯信息），所以早期的股票软件有时候会被叫做行情软件。股票软件的实质是通过对市场信息数据的统计，按照一定的分析模型来给出数（报表）、形（指标图形）、文（资讯链接），用户则依照一定的技术分析理论，来对这些结论进行解释，也有一些傻瓜式的易用软件会直接给出买卖的建议，这些易用软件大部分是用专业视角剖析整个股市的走势。
二、定义
1、股票软件即针对股票交易而开发的软件系统，也被称为炒股软件，基础功能包括财经资讯、股票行情、数据挖掘与分析、智能选股、交易系统。国内的股票软件从上世纪九十年代初的少数几家的独领风骚，到已经发展成为百家齐放的局面，有的以行情实时性见长，有的以咨询研究擅长，各具特色。
2、股票软件的实质是通过对市场信息数据的统计，按照一定的分析模型来给出数（报表）、形（指标图形）、文（资讯链接）。用户则依照一定的技术分析理论，来对这些结论进行解释，也有一些傻瓜式的易用软件会直接给出买卖的建议。其实，比较正确，或者实在的用法，是应该挑选一款性能稳定、信息精准的软件，结合自己的炒股经验，经过摸索之后，形成一套行之有效的应用法则，那样才是值得信赖的办法，而机械地轻信软件自动发出的进场离场的信号，往往会谬以千里。
三、如何识别
1、是符合国家规定?
2011年1月1日起，《证券投资顾问业务暂行规定》第二十七条规定：终端设备所使用的数据信息来源，以及获得数据信息的时间；也就要求股票软件数据和资讯必须合法，没有数据资质和资讯资质的全部为虚假诈骗企业。会被证监会以及地方证监局调查。
2、公司是否有实力？
通过查看营业执照和登陆工商网站可以查看到公司的真实资料，并通过公司的简介对比可以查看虚假公司有明显的造假，故意捏造成立时间和获得的证书。
3、是否被主流下载站收录？
下载站编辑一般都会对所收录软件进行试用和审核。一款股票软件，如果在天空下载、ZOL下载、华军软件园等主流下载站都看不到，那就千万要当心了。
4、看官网，看经营目的
一款基于正道经营的股票软件，收入大都来自智能选股、level2等增值服务，如果一款股票软件的存在仅仅是为了推广人工咨询服务，官网和软件界面处处是诱导用户提交联系电话（然后疯狂来电推广咨询服务），往往都属于挂羊头卖狗肉行径，基本可以定性为骗子。

I. 请问什么是数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？

1)数据挖掘能做以下六种不同事情（分析方法）：

· 分类 （Classification）

· 估值（Estimation）

· 预言（Prediction）

· 相关性分组或关联规则（Affinity grouping or association rules）

· 聚集（Clustering）

· 描述和可视化（Des cription and Visualization）

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘

· 直接数据挖掘

目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以

理解成数据库中表的属性，即列）进行描述。

· 间接数据挖掘

目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系

。

· 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘

3)各种分析方法的简介

· 分类 （Classification）

首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分

类模型，对于没有分类的数据进行分类。

例子：

a. 信用卡申请者，分类为低、中、高风险

b. 分配客户到预先定义的客户分片

注意： 类的个数是确定的，预先定义好的

· 估值（Estimation）

估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的

输出；分类的类别是确定数目的，估值的量是不确定的。

例子：

a. 根据购买模式，估计一个家庭的孩子个数

b. 根据购买模式，估计一个家庭的收入

c. 估计real estate的价值

一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的

连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运

用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。

· 预言（Prediction）

通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用

于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时

间后，才知道预言准确性是多少。

· 相关性分组或关联规则（Affinity grouping or association rules）

决定哪些事情将一起发生。

例子：

a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)

b. 客户在购买A后，隔一段时间，会购买B （序列分析）

· 聚集（Clustering）

聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先

定义好的类，不需要训练集。

例子：

a. 一些特定症状的聚集可能预示了一个特定的疾病

b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群

聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一

类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，

回答问题，可能效果更好。

· 描述和可视化（Des cription and Visualization）

是对数据挖掘结果的表示方式。

2.数据挖掘的商业背景

数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有

价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。

1)数据挖掘作为研究工具 （Research）

2)数据挖掘提高过程控制（Process Improvement）

3)数据挖掘作为市场营销工具（Marketing）

4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)

3.数据挖掘的技术背景

1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力

2)数据挖掘和机器学习（Machine Learning）

· 机器学习是计算机科学和人工智能AI发展的产物

· 机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决

策树）

· 数据挖掘由来

数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴

的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预

言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计

统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等

4)数据挖掘和决策支持系统

· 数据仓库

· OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库

· 决策支持工具融合

将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。

4. 数据挖掘的社会背景

数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上

，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中

神秘，它不可能是完全正确的。

客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在

美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国

转载的

J. 什么叫数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？
1)数据挖掘能做以下六种不同事情（分析方法）：
分类 （Classification）
估值（Estimation）
预言（Prediction）
相关性分组或关联规则（Affinity grouping or association rules）
聚集（Clustering）
描述和可视化（Des cription and Visualization）
2)数据挖掘分类
以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘
直接数据挖掘
目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以
理解成数据库中表的属性，即列）进行描述。
间接数据挖掘
目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系
。
分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘
3)各种分析方法的简介
分类 （Classification）
首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分
类模型，对于没有分类的数据进行分类。
例子：
a. 信用卡申请者，分类为低、中、高风险
b. 分配客户到预先定义的客户分片
注意： 类的个数是确定的，预先定义好的
估值（Estimation）
估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的
输出；分类的类别是确定数目的，估值的量是不确定的。
例子：
a. 根据购买模式，估计一个家庭的孩子个数
b. 根据购买模式，估计一个家庭的收入
c. 估计real estate的价值
一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的
连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运
用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。
预言（Prediction）
通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用
于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。
预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时
间后，才知道预言准确性是多少。
相关性分组或关联规则（Affinity grouping or association rules）
决定哪些事情将一起发生。
例子：
a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)
b. 客户在购买A后，隔一段时间，会购买B （序列分析）
聚集（Clustering）
聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先
定义好的类，不需要训练集。
例子：
a. 一些特定症状的聚集可能预示了一个特定的疾病
b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群
聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。
描述和可视化（Des cription and Visualization）
是对数据挖掘结果的表示方式。
2.数据挖掘的商业背景
数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有
价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。
1)数据挖掘作为研究工具 （Research）
2)数据挖掘提高过程控制（Process Improvement）
3)数据挖掘作为市场营销工具（Marketing）
4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)
3.数据挖掘的技术背景
1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力
2)数据挖掘和机器学习（Machine Learning）
机器学习是计算机科学和人工智能AI发展的产物
机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）
数据挖掘由来
数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴
的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预
言模型的经济学家之间没有技术的重叠。
3)数据挖掘和统计
统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等
4)数据挖掘和决策支持系统
数据仓库
OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库
决策支持工具融合
将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。
4. 数据挖掘的社会背景
数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。
5．数据挖掘技术实现
在技术上可以根据它的工作过程分为：数据的抽取、数据的存储和管理、数据的展现等关键技术。
1) 数据的抽取
数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面，未来的技术发展将集中在系统功能集成化方面，以适应数据仓库本身或数据源的变化，使系统更便于管理和维护。
2) 数据的存储和管理
数据仓库的组织管理方式决定了它有别于传统数据库的特性，也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多，且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前，许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能，将普通关系数据库改造成适合担当数据仓库的服务器。
3) 数据的展现
在数据展现方面主要的方式有：
查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系；统计：进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析；挖掘：利用数据挖掘等方法，从数据中得到关于数据关系和模式的知识。
6.数据挖掘与数据仓库融合发展
数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘和数据仓库是融合与互动发展的，其学术研究价值和应用研究前景将是令人振奋的。它是数据挖掘专家、数据仓库技术人员和行业专家共同努力的成果，更是广大渴望从数据库“奴隶”到数据库“主人”转变的企业最终用户的通途。