股票价格数据挖掘

Ⅰ 请通俗的讲一下什么是数据挖掘

利用数据挖掘，我们还可以做非常多的事情。

1.发现数据项之间的相关性

比如我们拿到各个城市环境、人口、交通等数据，就可以通过相关性分析来看人均汽车保有量，和空气质量各个指标之间的关系，从而定量化地帮助制定产业经济和环保政策。比如要不要进行更严厉的限购，要不要收取为其的排放税等等。

2.把数据对象进行聚类

比如我们知道大量的人在电子商务网络消费数据，我么就可以根据消费的特征把他们聚成很多类，每一类人我们制定不同的营销手段，从而能够取得销售量的提升。比如电信运营商对人群进行聚类，然后针对性地推出电话套餐。

3.把数据对象进行分类

当我们已经有了分类之后，来了一些新的数据之后，我们可以把他分到不同不同的类去。比如医疗影像上查看肺部的病灶，可能是肺结核、可能是早起肺癌，中晚期肺癌，可能是肺上的疖结，可能是愈合的病灶等等，来了一张新的片子，我们可以通过图像处理，就把它分到不同的类别（当然这需要我们提前对很多片子的数据进行学习）。

4.预测缺失数据或者未来的数据

很多数据集中，比如生物数据，我们已知的知识全部数据集中的一小部分，这需要我们做一些事情去预测这些数据。还有一些，想大选、股票价格预测、河流径流量预测、城市用电量预测等，这些就是对未来数据的预测。

Ⅱ 请问什么是数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？

1)数据挖掘能做以下六种不同事情（分析方法）：

· 分类 （Classification）

· 估值（Estimation）

· 预言（Prediction）

· 相关性分组或关联规则（Affinity grouping or association rules）

· 聚集（Clustering）

· 描述和可视化（Des cription and Visualization）

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘

· 直接数据挖掘

目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以

理解成数据库中表的属性，即列）进行描述。

· 间接数据挖掘

目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系

。

· 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘

3)各种分析方法的简介

· 分类 （Classification）

首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分

类模型，对于没有分类的数据进行分类。

例子：

a. 信用卡申请者，分类为低、中、高风险

b. 分配客户到预先定义的客户分片

注意： 类的个数是确定的，预先定义好的

· 估值（Estimation）

估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的

输出；分类的类别是确定数目的，估值的量是不确定的。

例子：

a. 根据购买模式，估计一个家庭的孩子个数

b. 根据购买模式，估计一个家庭的收入

c. 估计real estate的价值

一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的

连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运

用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。

· 预言（Prediction）

通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用

于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时

间后，才知道预言准确性是多少。

· 相关性分组或关联规则（Affinity grouping or association rules）

决定哪些事情将一起发生。

例子：

a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)

b. 客户在购买A后，隔一段时间，会购买B （序列分析）

· 聚集（Clustering）

聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先

定义好的类，不需要训练集。

例子：

a. 一些特定症状的聚集可能预示了一个特定的疾病

b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群

聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一

类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，

回答问题，可能效果更好。

· 描述和可视化（Des cription and Visualization）

是对数据挖掘结果的表示方式。

2.数据挖掘的商业背景

数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有

价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。

1)数据挖掘作为研究工具 （Research）

2)数据挖掘提高过程控制（Process Improvement）

3)数据挖掘作为市场营销工具（Marketing）

4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)

3.数据挖掘的技术背景

1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力

2)数据挖掘和机器学习（Machine Learning）

· 机器学习是计算机科学和人工智能AI发展的产物

· 机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决

策树）

· 数据挖掘由来

数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴

的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预

言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计

统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等

4)数据挖掘和决策支持系统

· 数据仓库

· OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库

· 决策支持工具融合

将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。

4. 数据挖掘的社会背景

数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上

，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中

神秘，它不可能是完全正确的。

客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在

美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国

转载的

Ⅲ 如何获得股票行情数据，自己编程处理进行数据挖掘

行情数据可到通达信或者同花顺观看

Ⅳ 什么叫数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？
1)数据挖掘能做以下六种不同事情（分析方法）：
分类 （Classification）
估值（Estimation）
预言（Prediction）
相关性分组或关联规则（Affinity grouping or association rules）
聚集（Clustering）
描述和可视化（Des cription and Visualization）
2)数据挖掘分类
以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘
直接数据挖掘
目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以
理解成数据库中表的属性，即列）进行描述。
间接数据挖掘
目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系
。
分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘
3)各种分析方法的简介
分类 （Classification）
首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分
类模型，对于没有分类的数据进行分类。
例子：
a. 信用卡申请者，分类为低、中、高风险
b. 分配客户到预先定义的客户分片
注意： 类的个数是确定的，预先定义好的
估值（Estimation）
估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的
输出；分类的类别是确定数目的，估值的量是不确定的。
例子：
a. 根据购买模式，估计一个家庭的孩子个数
b. 根据购买模式，估计一个家庭的收入
c. 估计real estate的价值
一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的
连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运
用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。
预言（Prediction）
通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用
于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。
预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时
间后，才知道预言准确性是多少。
相关性分组或关联规则（Affinity grouping or association rules）
决定哪些事情将一起发生。
例子：
a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)
b. 客户在购买A后，隔一段时间，会购买B （序列分析）
聚集（Clustering）
聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先
定义好的类，不需要训练集。
例子：
a. 一些特定症状的聚集可能预示了一个特定的疾病
b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群
聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。
描述和可视化（Des cription and Visualization）
是对数据挖掘结果的表示方式。
2.数据挖掘的商业背景
数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有
价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。
1)数据挖掘作为研究工具 （Research）
2)数据挖掘提高过程控制（Process Improvement）
3)数据挖掘作为市场营销工具（Marketing）
4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)
3.数据挖掘的技术背景
1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力
2)数据挖掘和机器学习（Machine Learning）
机器学习是计算机科学和人工智能AI发展的产物
机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）
数据挖掘由来
数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴
的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预
言模型的经济学家之间没有技术的重叠。
3)数据挖掘和统计
统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等
4)数据挖掘和决策支持系统
数据仓库
OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库
决策支持工具融合
将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。
4. 数据挖掘的社会背景
数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。
5．数据挖掘技术实现
在技术上可以根据它的工作过程分为：数据的抽取、数据的存储和管理、数据的展现等关键技术。
1) 数据的抽取
数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面，未来的技术发展将集中在系统功能集成化方面，以适应数据仓库本身或数据源的变化，使系统更便于管理和维护。
2) 数据的存储和管理
数据仓库的组织管理方式决定了它有别于传统数据库的特性，也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多，且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前，许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能，将普通关系数据库改造成适合担当数据仓库的服务器。
3) 数据的展现
在数据展现方面主要的方式有：
查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系；统计：进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析；挖掘：利用数据挖掘等方法，从数据中得到关于数据关系和模式的知识。
6.数据挖掘与数据仓库融合发展
数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘和数据仓库是融合与互动发展的，其学术研究价值和应用研究前景将是令人振奋的。它是数据挖掘专家、数据仓库技术人员和行业专家共同努力的成果，更是广大渴望从数据库“奴隶”到数据库“主人”转变的企业最终用户的通途。

Ⅳ 什么是数据挖掘

数据挖掘（Data Mining）是指通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系来解决业务问题。换句话说，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

原则上讲，数据挖掘可以应用于任何类型的信息存储库及瞬态数据（如数据流），如数据库、数据仓库、数据集市、事务数据库、空间数据库（如地图等）、工程设计数据（如建筑设计等）、多媒体数据（文本、图像、视频、音频）、网络、数据流、时间序列数据库等。也正因如此，数据挖掘存在以下特点：

（1）数据集大且不完整
数据挖掘所需要的数据集是很大的，只有数据集越大，得到的规律才能越贴近于正确的实际的规律，结果也才越准确。除此以外，数据往往都是不完整的。

（2）不准确性
数据挖掘存在不准确性，主要是由噪声数据造成的。比如在商业中用户可能会提供假数据；在工厂环境中，正常的数据往往会收到电磁或者是辐射干扰，而出现超出正常值的情况。这些不正常的绝对不可能出现的数据，就叫做噪声，它们会导致数据挖掘存在不准确性。

（3）模糊的和随机的
数据挖掘是模糊的和随机的。这里的模糊可以和不准确性相关联。由于数据不准确导致只能在大体上对数据进行一个整体的观察，或者由于涉及到隐私信息无法获知到具体的一些内容，这个时候如果想要做相关的分析操作，就只能在大体上做一些分析，无法精确进行判断。
而数据的随机性有两个解释，一个是获取的数据随机；我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器进行判断和学习，那么一切的操作都属于是灰箱操作。

Ⅵ 最近学金融，好多知识看不懂啊::>_<:: 请结合大数据的理念对数据分析和数据挖掘能在金融市场的

首先是通过大数据可以分析客户的个人信息，收入，风险偏好等，可以推荐相应的金融产品，如果哪些年龄段和工作的人群适合基金，保险和其它有价证券；
其次是金融产品的开发上，主要有保险产品和一些其它产品，通过发病率，灾情概率等进行精算，开发出保险产品，一些其它的金融新产品也会涉及到数据分析；
再次是金融产品的定价及投资分析上，很多因素都会影响金融产品，如股票，期货，现货等，通过数据挖掘，找出其影响因素，进行价格分析。
大数据和数据挖掘主要有这几方面的应用，当然还有其它的方面，很多论述金融与数据分析的书中有很多的，可以进一步研究，还望采纳。

Ⅶ 数据挖掘问题··

1。数据挖掘是从4大c量的数据中5，抽取出潜在的、有价值的知识（模型或规则）的过程。 4。 数据挖掘能做什2么r？ 7)数据挖掘能做以4下v六7种不m同事情（分7析方2法）： · 分0类 （Classification） · 估值（Estimation） · 预言（Prediction） · 相关性分8组或关联规则（Affinity grouping or association rules） · 聚集（Clustering） · 描述和可视化1（Des cription and Visualization） 8)数据挖掘分5类 以8上r六2种数据挖掘的分6析方6法可以6分0为3两类：直接数据挖掘；间接数据挖掘 · 直接数据挖掘 目标是利用可用的数据建立一x个i模型，这个e模型对剩余的数据，对一u个k特定的变量（可以2 理解成数据库中7表的属性，即列）进行描述。 · 间接数据挖掘 目标中5没有选出某一u具体的变量，用模型进行描述；而是在所有的变量中5建立起某种关系 · 分6类、估值、预言属于e直接数据挖掘；后三j种属于r间接数据挖掘 2)各种分1析方6法的简介2 · 分2类 （Classification） 首先从1数据中1选出已i经分6好类的训练集，在该训练集上v运用数据挖掘分3类的技术，建立分2 类模型，对于a没有分4类的数据进行分4类。 例子x： a。 信用卡申请者，分4类为8低、中2、高风5险 b。 分0配客户4到预先定义e的客户0分2片0 注意： 类的个s数是确定的，预先定义q好的 · 估值（Estimation） 估值与e分2类类似，不p同之z处在于m，分7类描述的是离散型变量的输出，而估值处理连续值的 输出；分7类的类别是确定数目的，估值的量是不b确定的。 例子w： a。 根据购买模式，估计8一w个f家庭的孩子h个c数 b。 根据购买模式，估计7一z个r家庭的收入l c。 估计5real estate的价值 一b般来说，估值可以0作为2分1类的前一v步工e作。给定一r些输入w数据，通过估值，得到未知的 连续变量的值，然后，根据预先设定的阈值，进行分6类。例如：银行对家庭贷款业务，运 用估值，给各个z客户8记分3（Score 0~1）。然后，根据阈值，将贷款级别分7类。 · 预言（Prediction） 通常，预言是通过分1类或估值起作用的，也k就是说，通过分3类或估值得出模型，该模型用 于v对未知变量的预言。从8这种意义l上e说，预言其实没有必要分0为6一s个o单独的类。 预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一b定时 间后，才q知道预言准确性是多少6。 · 相关性分6组或关联规则（Affinity grouping or association rules） 决定哪些事情将一c起发生。 例子e： a。 超市中1客户2在购买A的同时，经常会购买B，即A => B(关联规则) b。 客户4在购买A后，隔一g段时间，会购买B （序列分5析） · 聚集（Clustering） 聚集是对记录分2组，把相似的记录在一t个s聚集里。聚集和分0类的区z别是聚集不s依赖于c预先 定义y好的类，不g需要训练集。 例子z： a。 一y些特定症状的聚集可能预示7了z一s个r特定的疾病 b。 租VCD类型不b相似的客户1聚集，可能暗示7成员属于b不o同的亚文7化2群 聚集通常作为3数据挖掘的第一b步。例如，"哪一j种类的促销对客户6响应最好？"，对于j这一p 类问题，首先对整个y客户8做聚集，将客户5分5组在各自的聚集里，然后对每个a不a同的聚集， 回答问题，可能效果更好。 · 描述和可视化8（Des cription and Visualization） 是对数据挖掘结果的表示6方1式。 8。数据挖掘的商业背景 数据挖掘首先是需要商业环境中3收集了j大i量的数据，然后要求挖掘的知识是有价值的。有 价值对商业而言，不i外乎三t种情况：降低开l销；提高收入e；增加股票价格。 6)数据挖掘作为0研究工e具 （Research） 0)数据挖掘提高过程控制（Process Improvement） 6)数据挖掘作为5市场营销工q具（Marketing） 8)数据挖掘作为7客户7关系管理CRM工m具(Customer Relationship Management) 7。数据挖掘的技术背景 2)数据挖掘技术包括三c个v主要部分3：算法和技术；数据；建模能力w 6)数据挖掘和机器学习u（Machine Learning） · 机器学习n是计8算机科学和人x工f智能AI发展的产物 · 机器学习o分6为2两种学习m方6式：自组织学习z（如神经网络）；从8例子r中8归纳出规则（如决 策树） · 数据挖掘由来 数据挖掘是八r十c年代，投资AI研究项目失败后，AI转入v实际应用时提出的。它是一z个d新兴 的，面向商业应用的AI研究。选择数据挖掘这一y术语，表明了d与z统计3、精算、长0期从3事预 言模型的经济学家之q间没有技术的重叠。 5)数据挖掘和统计6 统计8也d开o始支y持数据挖掘。统计0本包括预言算法（回归）、抽样、基于t经验的设计8等 1)数据挖掘和决策支h持系统 · 数据仓1库 · OLAP（联机分5析处理）、Data Mart（数据集市）、多维数据库 · 决策支n持工k具融合 将数据仓8库、OLAP，数据挖掘融合在一n起，构成企业决策分0析环境。 8。 数据挖掘的社会背景 数据挖掘与d个n人w预言：数据挖掘号称能通过历f史数据的分8析，预测客户2的行为7，而事实上v ，客户8自己m可能都不p明确自己u下x一c步要作什3么u。所以2，数据挖掘的结果，没有人y们想象中1 神秘，它不z可能是完全正确的。 客户5的行为3是与c社会环境相关连的，所以4数据挖掘本身也w受社会背景的影响。比6如说，在 美国对银行信用卡客户0信用评级的模型运行得非常成功，但是，它可能不i适合中0国。 2。数据仓7库是在企业管理和决策中4面向主题的、集成的、与w时间相关的、不o可修改的数据集合 数据仓2库，英文1名称为4Data Warehouse，可简写为1DW。 数据仓1库之q父8Bill Inmon在4512年出版的“Building the Data Warehouse”一m书2中0所提出的定义f被广s泛接受——数据仓3库（Data Warehouse）是一y个s面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反2映历b史变化8（Time Variant）的数据集合，用于f支l持管理决策(Decision Making Support)。 ◆面向主题：操作型数据库的数据组织面向事务处理任务，各个p业务系统之b间各自分6离，而数据仓0库中3的数据是按照一r定的主题域进行组织的。 ◆集成的：数据仓8库中3的数据是在对原有分2散的数据库数据抽取、清理的基础上j经过系统加工l、汇总和整理得到的，必须消除源数据中4的不e一r致性，以2保证数据仓6库内4的信息是关于m整个b企业的一s致的全局信息。 ◆相对稳定的：数据仓8库的数据主要供企业决策分0析之w用，所涉及t的数据操作主要是数据查询，一f旦某个t数据进入u数据仓3库以2后，一d般情况下c将被长7期保留，也v就是数据仓0库中8一p般有大v量的查询操作，但修改和删除操作很少3，通常只需要定期的加载、刷新。 ◆反8映历h史变化3：数据仓3库中2的数据通常包含历e史信息，系统记录了j企业从4过去某一q时点(如开d始应用数据仓7库的时点)到目前的各个p阶段的信息，通过这些信息，可以0对企业的发展历j程和未来趋势做出定量分2析和预测。 数据仓4库是一k个u过程而不n是一d个q项目。 数据仓2库系统是一f个f信息提供平台，他从4业务处理系统获得数据，主要以6星型模型和雪花模型进行数据组织，并为2用户8提供各种手8段从7数据中0获取信息和知识。 从7功能结构化6分6，数据仓1库系统至少6应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三x个z关键部分2 数据挖掘(Data Mining)，又i称为3数据库中3的知识发现(Knowledge Discovery in Database, KDD)，就是从5大x量数据中0获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡l过程，简单的说，数据挖掘就是从6大o量数据中7提取或“挖掘”知识。 并非所有的信息发现任务都被视为0数据挖掘。例如，使用数据库管理系统查找个z别的记录，或通过因特网的搜索引4擎查找特定的Web页面，则是信息检索（。rmation retrieval）领域的任务。虽然这些任务是重要的，可能涉及n使用复杂的算法和数据结构，但是它们主要依赖传统的计8算机科学技术和数据的明显特征来创建索引3结构，从7而有效地组织和检索信息。尽管如此，数据挖掘技术也u已g用来增强信息检索系统的能力h。 2。数据挖掘和数据仓4库以3数据库为8基础。 b〔b〔fu莹qθx骇础τyケqθtr●

Ⅷ 股票的数据挖掘用什么算法最合适

写个贝叶斯分类算法
对文本进行分类

Ⅸ 股票市场搞数据挖掘，数据分析来炒股有没机会

有机会，而且机会不小，但是我等散户靠数据分析，可能自身实力差的太悬殊了。
硬件设备就不达标哦。

Ⅹ 数据挖掘算法与生活中的应用案例

数据挖掘算法与生活中的应用案例

如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的着作是否出自某位名家之手”、“如何判断一个细胞是否属于肿瘤细胞”等等，这些问题似乎都很专业，都不太好回答。但是，如果了解一点点数据挖掘的知识，你，或许会有柳暗花明的感觉。
本文，主要想简单介绍下数据挖掘中的算法，以及它包含的类型。然后，通过现实中触手可及的、活生生的案例，去诠释它的真实存在。 一般来说，数据挖掘的算法包含四种类型，即分类、预测、聚类、关联。前两种属于有监督学习，后两种属于无监督学习，属于描述性的模式识别和发现。
有监督学习有监督的学习，即存在目标变量，需要探索特征变量和目标变量之间的关系，在目标变量的监督下学习和优化算法。例如，信用评分模型就是典型的有监督学习，目标变量为“是否违约”。算法的目的在于研究特征变量（人口统计、资产属性等）和目标变量之间的关系。
分类算法分类算法和预测算法的最大区别在于，前者的目标变量是分类离散型（例如，是否逾期、是否肿瘤细胞、是否垃圾邮件等），后者的目标变量是连续型。一般而言，具体的分类算法包括，逻辑回归、决策树、KNN、贝叶斯判别、SVM、随机森林、神经网络等。
预测算法预测类算法，其目标变量一般是连续型变量。常见的算法，包括线性回归、回归树、神经网络、SVM等。
无监督学习无监督学习，即不存在目标变量，基于数据本身，去识别变量之间内在的模式和特征。例如关联分析，通过数据发现项目A和项目B之间的关联性。例如聚类分析，通过距离，将所有样本划分为几个稳定可区分的群体。这些都是在没有目标变量监督下的模式识别和分析。
聚类分析聚类的目的就是实现对样本的细分，使得同组内的样本特征较为相似，不同组的样本特征差异较大。常见的聚类算法包括kmeans、系谱聚类、密度聚类等。
关联分析关联分析的目的在于，找出项目（item）之间内在的联系。常常是指购物篮分析，即消费者常常会同时购买哪些产品（例如游泳裤、防晒霜），从而有助于商家的捆绑销售。
基于数据挖掘的案例和应用上文所提到的四种算法类型（分类、预测、聚类、关联），是比较传统和常见的。还有其他一些比较有趣的算法分类和应用场景，例如协同过滤、异常值分析、社会网络、文本分析等。下面，想针对不同的算法类型，具体的介绍下数据挖掘在日常生活中真实的存在。下面是能想到的、几个比较有趣的、和生活紧密关联的例子。
基于分类模型的案例这里面主要想介绍两个案例，一个是垃圾邮件的分类和判断，另外一个是在生物医药领域的应用，即肿瘤细胞的判断和分辨。
垃圾邮件的判别邮箱系统如何分辨一封Email是否属于垃圾邮件？这应该属于文本挖掘的范畴，通常会采用朴素贝叶斯的方法进行判别。它的主要原理是，根据邮件正文中的单词，是否经常出现在垃圾邮件中，进行判断。例如，如果一份邮件的正文中包含“报销”、“发票”、“促销”等词汇时，该邮件被判定为垃圾邮件的概率将会比较大。
一般来说，判断邮件是否属于垃圾邮件，应该包含以下几个步骤。
第一，把邮件正文拆解成单词组合，假设某篇邮件包含100个单词。
第二，根据贝叶斯条件概率，计算一封已经出现了这100个单词的邮件，属于垃圾邮件的概率和正常邮件的概率。如果结果表明，属于垃圾邮件的概率大于正常邮件的概率。那么该邮件就会被划为垃圾邮件。
医学上的肿瘤判断如何判断细胞是否属于肿瘤细胞呢？肿瘤细胞和普通细胞，有差别。但是，需要非常有经验的医生，通过病理切片才能判断。如果通过机器学习的方式，使得系统自动识别出肿瘤细胞。此时的效率，将会得到飞速的提升。并且，通过主观（医生）+客观（模型）的方式识别肿瘤细胞，结果交叉验证，结论可能更加靠谱。
如何操作？通过分类模型识别。简言之，包含两个步骤。首先，通过一系列指标刻画细胞特征，例如细胞的半径、质地、周长、面积、光滑度、对称性、凹凸性等等，构成细胞特征的数据。其次，在细胞特征宽表的基础上，通过搭建分类模型进行肿瘤细胞的判断。
基于预测模型的案例这里面主要想介绍两个案例。即通过化学特性判断和预测红酒的品质。另外一个是，通过搜索引擎来预测和判断股价的波动和趋势。
红酒品质的判断如何评鉴红酒？有经验的人会说，红酒最重要的是口感。而口感的好坏，受很多因素的影响，例如年份、产地、气候、酿造的工艺等等。但是，统计学家并没有时间去品尝各种各样的红酒，他们觉得通过一些化学属性特征就能够很好地判断红酒的品质了。并且，现在很多酿酒企业其实也都这么干了，通过监测红酒中化学成分的含量，从而控制红酒的品质和口感。
那么，如何判断鉴红酒的品质呢？
第一步，收集很多红酒样本，整理检测他们的化学特性，例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
第二步，通过分类回归树模型进行预测和判断红酒的品质和等级。
搜索引擎的搜索量和股价波动一只南美洲热带雨林中的蝴蝶，偶尔扇动了几下翅膀，可以在两周以后，引起美国德克萨斯州的一场龙卷风。你在互联网上的搜索是否会影响公司股价的波动？
很早之前，就已经有文献证明，互联网关键词的搜索量（例如流感）会比疾控中心提前1到2周预测出某地区流感的爆发。
同样，现在也有些学者发现了这样一种现象，即公司在互联网中搜索量的变化，会显着影响公司股价的波动和趋势，即所谓的投资者注意力理论。该理论认为，公司在搜索引擎中的搜索量，代表了该股票被投资者关注的程度。因此，当一只股票的搜索频数增加时，说明投资者对该股票的关注度提升，从而使得该股票更容易被个人投资者购买，进一步地导致股票价格上升，带来正向的股票收益。这是已经得到无数论文验证了的。
基于关联分析的案例：沃尔玛的啤酒尿布啤酒尿布是一个非常非常古老陈旧的故事。故事是这样的，沃尔玛发现一个非常有趣的现象，即把尿布与啤酒这两种风马牛不相及的商品摆在一起，能够大幅增加两者的销量。原因在于，美国的妇女通常在家照顾孩子，所以，她们常常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。沃尔玛从数据中发现了这种关联性，因此，将这两种商品并置，从而大大提高了关联销售。
啤酒尿布主要讲的是产品之间的关联性，如果大量的数据表明，消费者购买A商品的同时，也会顺带着购买B产品。那么A和B之间存在关联性。在超市中，常常会看到两个商品的捆绑销售，很有可能就是关联分析的结果。
基于聚类分析的案例：零售客户细分对客户的细分，还是比较常见的。细分的功能，在于能够有效的划分出客户群体，使得群体内部成员具有相似性，但是群体之间存在差异性。其目的在于识别不同的客户群体，然后针对不同的客户群体，精准地进行产品设计和推送，从而节约营销成本，提高营销效率。
例如，针对商业银行中的零售客户进行细分，基于零售客户的特征变量（人口特征、资产特征、负债特征、结算特征），计算客户之间的距离。然后，按照距离的远近，把相似的客户聚集为一类，从而有效的细分客户。将全体客户划分为诸如，理财偏好者、基金偏好者、活期偏好者、国债偏好者、风险均衡者、渠道偏好者等。
基于异常值分析的案例：支付中的交易欺诈侦测采用支付宝支付时，或者刷信用卡支付时，系统会实时判断这笔刷卡行为是否属于盗刷。通过判断刷卡的时间、地点、商户名称、金额、频率等要素进行判断。这里面基本的原理就是寻找异常值。如果您的刷卡被判定为异常，这笔交易可能会被终止。
异常值的判断，应该是基于一个欺诈规则库的。可能包含两类规则，即事件类规则和模型类规则。第一，事件类规则，例如刷卡的时间是否异常（凌晨刷卡）、刷卡的地点是否异常（非经常所在地刷卡）、刷卡的商户是否异常（被列入黑名单的套现商户）、刷卡金额是否异常（是否偏离正常均值的三倍标准差）、刷卡频次是否异常（高频密集刷卡）。第二，模型类规则，则是通过算法判定交易是否属于欺诈。一般通过支付数据、卖家数据、结算数据，构建模型进行分类问题的判断。
基于协同过滤的案例：电商猜你喜欢和推荐引擎电商中的猜你喜欢，应该是大家最为熟悉的。在京东商城或者亚马逊购物，总会有“猜你喜欢”、“根据您的浏览历史记录精心为您推荐”、“购买此商品的顾客同时也购买了商品”、“浏览了该商品的顾客最终购买了商品”，这些都是推荐引擎运算的结果。
这里面，确实很喜欢亚马逊的推荐，通过“购买该商品的人同时购买了**商品”，常常会发现一些质量比较高、较为受认可的书。一般来说，电商的“猜你喜欢”（即推荐引擎）都是在协同过滤算法（Collaborative Filter）的基础上，搭建一套符合自身特点的规则库。即该算法会同时考虑其他顾客的选择和行为，在此基础上搭建产品相似性矩阵和用户相似性矩阵。基于此，找出最相似的顾客或最关联的产品，从而完成产品的推荐。
基于社会网络分析的案例：电信中的种子客户种子客户和社会网络，最早出现在电信领域的研究。即，通过人们的通话记录，就可以勾勒出人们的关系网络。电信领域的网络，一般会分析客户的影响力和客户流失、产品扩散的关系。
基于通话记录，可以构建客户影响力指标体系。采用的指标，大概包括如下，一度人脉、二度人脉、三度人脉、平均通话频次、平均通话量等。基于社会影响力，分析的结果表明，高影响力客户的流失会导致关联客户的流失。其次，在产品的扩散上，选择高影响力客户作为传播的起点，很容易推动新套餐的扩散和渗透。
此外，社会网络在银行（担保网络）、保险（团伙欺诈）、互联网（社交互动）中也都有很多的应用和案例。
基于文本分析的案例这里面主要想介绍两个案例。一个是类似“扫描王”的APP，直接把纸质文档扫描成电子文档。相信很多人都用过，这里准备简单介绍下原理。另外一个是，江湖上总是传言红楼梦的前八十回和后四十回，好像并非都是出自曹雪芹之手，这里面准备从统计的角度聊聊。
字符识别：扫描王APP手机拍照时会自动识别人脸，还有一些APP，例如扫描王，可以扫描书本，然后把扫描的内容自动转化为word。这些属于图像识别和字符识别（Optical Character Recognition）。图像识别比较复杂，字符识别理解起来比较容易些。
查找了一些资料，字符识别的大概原理如下，以字符S为例。
第一，把字符图像缩小到标准像素尺寸，例如12*16。注意，图像是由像素构成，字符图像主要包括黑、白两种像素。
第二，提取字符的特征向量。如何提取字符的特征，采用二维直方图投影。就是把字符（12*16的像素图）往水平方向和垂直方向上投影。水平方向有12个维度，垂直方向有16个维度。这样分别计算水平方向上各个像素行中黑色像素的累计数量、垂直方向各个像素列上的黑色像素的累计数量。从而得到水平方向12个维度的特征向量取值，垂直方向上16个维度的特征向量取值。这样就构成了包含28个维度的字符特征向量。
第三，基于前面的字符特征向量，通过神经网络学习，从而识别字符和有效分类。
文学着作与统计：红楼梦归属这是非常着名的一个争论，悬而未决。对于红楼梦的作者，通常认为前80回合是曹雪芹所着，后四十回合为高鹗所写。其实主要问题，就是想确定，前80回合和后40回合是否在遣词造句方面存在显着差异。
这事让一群统计学家比较兴奋了。有些学者通过统计名词、动词、形容词、副词、虚词出现的频次，以及不同词性之间的相关系做判断。有些学者通过虚词（例如之、其、或、亦、了、的、不、把、别、好），判断前后文风的差异。有些学者通过场景（花卉、树木、饮食、医药与诗词）频次的差异，来做统计判断。总而言之，主要通过一些指标量化，然后比较指标之间是否存在显着差异，借此进行写作风格的判断。

以上是小编为大家分享的关于数据挖掘算法与生活中的应用案例的相关内容，更多信息可以关注环球青藤分享更多干货