股票数据挖掘技术

A. 数据挖掘工程师一般都做什么

数据挖掘工程师是做什么的？

数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

数据挖掘 = 业务知识 + 自然语言处理技术（ NLP ） + 计算机视觉技术（ CV ） + 机器学习 / 深度学习（ ML/DL ）

（ 1 ）其中业务知识具体指的是个性化推荐，计算广告，搜索，互联网金融等； NLP ， CV 分别是处理文本，图像视频数据的领域技术，可以理解为是将非结构化数据提取转换成结构化数据；最后的ml/dl 技术则是属于模型学习理论；

（ 2 ）在选择岗位时，各个公司都没有一套标准的称呼，但是所做的事情无非 2 个大方向，一种是主要钻研某个领域的技术，比如自然语言处理工程师，计算机视觉工程师，机器学习工程师等；一种是将各种领域技术应用到业务场景中去解决业务需求，比如数据挖掘工程师，推荐系统工程师等；具体的称呼不重要，重要的是平时的工作内容；

PS ：在互联网行业，数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域，而其中涉及到的数据主要也是文本，所以 NLP 技术相对来讲比较重要，至于 CV 技术主要还是在人工智能领域（无人车，人脸识别等）应用较多，本人了解有限，相关的描述会较少；

数据挖掘岗位需要具备的3 种基本能力

1. 工程能力

（ 1 ）编程基础：需要掌握一大一小两门语言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 脚本；需要掌握基本的数据库语言；

建议： MySQL + python + C++ ；语言只是一种工具，看看语法就好；

推荐书籍：《 C++ primer plus 》

（ 2 ）开发平台： Linux ；

建议：掌握常见的命令，掌握 Linux 下的源码编译原理；

推荐书籍：《 Linux 私房菜》

（ 3 ）数据结构与算法分析基础：掌握常见的数据结构以及操作（线性表，队，列，字符串，树，图等），掌握常见的计算机算法（排序算法，查找算法，动态规划，递归等）；

建议：多敲代码，多上 OJ 平台刷题；

推荐书籍：《大话数据结构》《剑指 offer 》

（ 4 ）海量数据处理平台： Hadoop （ mr 计算模型， java 开发）或者 Spark （ rdd 计算模型， scala开发），重点推荐后者；

建议：主要是会使用，有精力的话可以看看源码了解集群调度机制之类的；

推荐书籍：《大数据 spark 企业级实战》

2. 算法能力

（ 1 ）数学基础：概率论，数理统计，线性代数，随机过程，最优化理论

建议：这些是必须要了解的，即使没法做到基础扎实，起码也要掌握每门学科的理论体系，涉及到相应知识点时通过查阅资料可以做到无障碍理解；

（ 2 ）机器学习 / 深度学习：掌握 常见的机器学习模型（线性回归，逻辑回归， SVM ，感知机；决策树，随机森林， GBDT ， XGBoost ；贝叶斯， KNN ， K-means ， EM 等）；掌握常见的机器学习理论（过拟合问题，交叉验证问题，模型选择问题，模型融合问题等）；掌握常见的深度学习模型（ CNN ，RNN 等）；

建议：这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景；

推荐书籍：《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》

（ 3 ）自然语言处理：掌握常见的方法（ tf-idf ， word2vec ， LDA ）；

3. 业务经验

（ 1 ）了解推荐以及计算广告相关知识；

推荐书籍：《推荐系统实践》《计算广告》

（ 2 ）通过参加数据挖掘竞赛熟悉相关业务场景，常见的比赛有 Kaggle ，阿里天池， datacastle 等。

想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南：数据挖掘入门与求职》

B. 到底是什么数据挖掘呢，需要什么技术呢

我们知道，现在的年代，每天都在有上亿的数据量在增长。楼盘数据啦。。。。股票数据啦。。。，交通数据啦。。。。等等等等。这些数据究竟有什么用呢？这就需要一些专业的数据挖掘工程师去挖掘有用的数据。什么是有用的数据呢？打个比方：之前最火的足球世界杯赌球，就是用了数据的挖掘，那体现在什么地方呢，有专业的人员将球员的传球率，射门率，。。。。进行数据的统计，分析。这样就可以预测出哪个球队的胜算率要大些。总而言之，挖掘海量数据中的有用信息不但可以预测商机，未来的发展趋势。。。。等等。至于使用到什么技术的话，当然是云计算了。这么巨大的数据量如果不用云计算的话，估计人要疯掉了

C. 什么叫数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？
1)数据挖掘能做以下六种不同事情（分析方法）：
分类 （Classification）
估值（Estimation）
预言（Prediction）
相关性分组或关联规则（Affinity grouping or association rules）
聚集（Clustering）
描述和可视化（Des cription and Visualization）
2)数据挖掘分类
以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘
直接数据挖掘
目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以
理解成数据库中表的属性，即列）进行描述。
间接数据挖掘
目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系
。
分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘
3)各种分析方法的简介
分类 （Classification）
首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分
类模型，对于没有分类的数据进行分类。
例子：
a. 信用卡申请者，分类为低、中、高风险
b. 分配客户到预先定义的客户分片
注意： 类的个数是确定的，预先定义好的
估值（Estimation）
估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的
输出；分类的类别是确定数目的，估值的量是不确定的。
例子：
a. 根据购买模式，估计一个家庭的孩子个数
b. 根据购买模式，估计一个家庭的收入
c. 估计real estate的价值
一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的
连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运
用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。
预言（Prediction）
通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用
于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。
预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时
间后，才知道预言准确性是多少。
相关性分组或关联规则（Affinity grouping or association rules）
决定哪些事情将一起发生。
例子：
a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)
b. 客户在购买A后，隔一段时间，会购买B （序列分析）
聚集（Clustering）
聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先
定义好的类，不需要训练集。
例子：
a. 一些特定症状的聚集可能预示了一个特定的疾病
b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群
聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。
描述和可视化（Des cription and Visualization）
是对数据挖掘结果的表示方式。
2.数据挖掘的商业背景
数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有
价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。
1)数据挖掘作为研究工具 （Research）
2)数据挖掘提高过程控制（Process Improvement）
3)数据挖掘作为市场营销工具（Marketing）
4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)
3.数据挖掘的技术背景
1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力
2)数据挖掘和机器学习（Machine Learning）
机器学习是计算机科学和人工智能AI发展的产物
机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）
数据挖掘由来
数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴
的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预
言模型的经济学家之间没有技术的重叠。
3)数据挖掘和统计
统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等
4)数据挖掘和决策支持系统
数据仓库
OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库
决策支持工具融合
将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。
4. 数据挖掘的社会背景
数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。
5．数据挖掘技术实现
在技术上可以根据它的工作过程分为：数据的抽取、数据的存储和管理、数据的展现等关键技术。
1) 数据的抽取
数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面，未来的技术发展将集中在系统功能集成化方面，以适应数据仓库本身或数据源的变化，使系统更便于管理和维护。
2) 数据的存储和管理
数据仓库的组织管理方式决定了它有别于传统数据库的特性，也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多，且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前，许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能，将普通关系数据库改造成适合担当数据仓库的服务器。
3) 数据的展现
在数据展现方面主要的方式有：
查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系；统计：进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析；挖掘：利用数据挖掘等方法，从数据中得到关于数据关系和模式的知识。
6.数据挖掘与数据仓库融合发展
数据挖掘和数据仓库的协同工作，一方面，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。另一方面，数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。
数据挖掘和数据仓库是融合与互动发展的，其学术研究价值和应用研究前景将是令人振奋的。它是数据挖掘专家、数据仓库技术人员和行业专家共同努力的成果，更是广大渴望从数据库“奴隶”到数据库“主人”转变的企业最终用户的通途。

D. 什么是数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘流程：

• 定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

• 数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

• 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

• 结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

E. 请问什么是数据挖掘

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。
1. 数据挖掘能做什么？

1)数据挖掘能做以下六种不同事情（分析方法）：

· 分类 （Classification）

· 估值（Estimation）

· 预言（Prediction）

· 相关性分组或关联规则（Affinity grouping or association rules）

· 聚集（Clustering）

· 描述和可视化（Des cription and Visualization）

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘

· 直接数据挖掘

目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以

理解成数据库中表的属性，即列）进行描述。

· 间接数据挖掘

目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系

。

· 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘

3)各种分析方法的简介

· 分类 （Classification）

首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分

类模型，对于没有分类的数据进行分类。

例子：

a. 信用卡申请者，分类为低、中、高风险

b. 分配客户到预先定义的客户分片

注意： 类的个数是确定的，预先定义好的

· 估值（Estimation）

估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的

输出；分类的类别是确定数目的，估值的量是不确定的。

例子：

a. 根据购买模式，估计一个家庭的孩子个数

b. 根据购买模式，估计一个家庭的收入

c. 估计real estate的价值

一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的

连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运

用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。

· 预言（Prediction）

通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用

于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时

间后，才知道预言准确性是多少。

· 相关性分组或关联规则（Affinity grouping or association rules）

决定哪些事情将一起发生。

例子：

a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)

b. 客户在购买A后，隔一段时间，会购买B （序列分析）

· 聚集（Clustering）

聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先

定义好的类，不需要训练集。

例子：

a. 一些特定症状的聚集可能预示了一个特定的疾病

b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群

聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一

类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，

回答问题，可能效果更好。

· 描述和可视化（Des cription and Visualization）

是对数据挖掘结果的表示方式。

2.数据挖掘的商业背景

数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有

价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。

1)数据挖掘作为研究工具 （Research）

2)数据挖掘提高过程控制（Process Improvement）

3)数据挖掘作为市场营销工具（Marketing）

4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)

3.数据挖掘的技术背景

1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力

2)数据挖掘和机器学习（Machine Learning）

· 机器学习是计算机科学和人工智能AI发展的产物

· 机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决

策树）

· 数据挖掘由来

数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴

的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预

言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计

统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等

4)数据挖掘和决策支持系统

· 数据仓库

· OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库

· 决策支持工具融合

将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。

4. 数据挖掘的社会背景

数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上

，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中

神秘，它不可能是完全正确的。

客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在

美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国

转载的

F. 股票市场搞数据挖掘，数据分析来炒股有没机会

有机会，而且机会不小，但是我等散户靠数据分析，可能自身实力差的太悬殊了。
硬件设备就不达标哦。

G. 为什么数据挖掘可以在股票中应用

放哨秃鄙阻截日嘏

H. 数据挖掘的国内外研究现状

摘要：随着网络、数据库技术的迅速发畏以及数据库管理系统的广泛应用，人们积累的数据越来越多。数据挖掘(Data Mining)就是从大量的实际应用数据中提取隐含信息和知识，它利用了数据库、人工智能和数理统计等多方面的技术，是一类深层次的数据分析方法。

关键词：数据挖掘；知识；分析；市场营销；金融投资

随着网络、数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。由此，数据挖掘技术应运而生。下面，本文对数据技术及其应用作一简单介绍。
一、数据挖掘定义
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。简而言之，数据挖掘其实是一类深层次的数据分析方法。从这个角度数据挖掘也可以描述为：按企业制定的业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。
二、数据挖掘技术
数据挖掘技术是人们长期对数据库技术进行研究和开发的结果，代写论文其中数据仓库技术的发展与数据挖掘有着密切的关系。大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数据挖掘库或数据集市中，因为数据仓库会对数据进行清理，并会解决数据的不一致问题，这会给数据挖掘带来很多好处。此外数据挖掘还利用了人工智能(AI)和统计分析的进步所带来的好处，这两门学科都致力于模式发现和预测。数据库、人工智能和数理统计是数据挖掘技术的三大支柱。由于数据挖掘所发现的知识的不同，其所利用的技术也有所不同。
1．广义知识。指类别特征的概括性描述知识。根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物的共同性质，是对数据的概括、精炼和抽象。广义知识的发现方法和实现技术有很多，如数据立方体、面向屙性的归约等。数据立方体的基本思想是实现某些常用的代价较高的聚集函数的计算，诸如计数、求和、平均、最大值等，并将这些实现视图储存在多维数据库中。而面向属性的归约是以类SQL语言来表示数据挖掘查询，收集数据库中的相关数据集，然后在相关数据集上应用一系列数据推广技术进行数据推广，包括属性删除、概念树提升、属性阈值控制、计数及其他聚集函数传播等。
2．关联知识。它反映一个事件和其他事件之间依赖或关联的知识。如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。最为着名的关联规
则发现方法是Apriori算法和FP—Growth算法。关联规则的发现可分为两步：第一步是迭代识别所有的频繁项目集，要求频繁项目集的支持率不低于用户设定的最低值；第二步是从频繁项目集中构造可信度不低于用户设定的最低值的规则。识别或发现所有频繁项目集是关联规则发现算法的核心，也是计算量最大的部分。
3．分类知识。它反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识。分类方法有决策树、朴素贝叶斯、神经网络、遗传算法、粗糙集方法、模糊集方法、线性回归和K—Means划分等。其中最为典型的分类方法是决策树。它是从实例集中构造决策树，是一种有指导的学习方法。
该方法先根据训练子集形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练子集中，重复该过程一直到形成正确的决策集。最终结果是一棵树，其叶结点是类名，中间结点是带有分枝的屙性，该分枝对应该屙性的某一可能值。
4．预测型知识。它根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。目前，时间序列预测方法有经典的统计方法、神经网络和机器学习等。1968年BoX和Jenkins提出了一套比较完善的时间序列建模理论和分析方法，这些经典的数学方法通过建立随机模型，进行时间序列的预测。由于大量的时间序列是非平稳的，其特征参数和数据分布随着时间的推移而发生变化。因此，仅仅通过对某段历史数据的训练，建立单一的神经网络预测模型，还无法完成准确的预测任务。为此，人们提出了基于统计学和基于精确性的再训练方法，当发现现存预测模型不再适用于当前数据时，对模型重新训练，获得新的权重参数，建立新的模型。
5．偏差型知识。它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如标准类外的特例、数据聚类外的离群值等。所有这些知识都可以在不同的概念层次上被发现，并随着概念层次的提升，从微观到中观、到宏观，以满足不同用户不同层次决策的需要。
三、数据挖掘流程
数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，代写毕业论文并使用这些信息做出决策或丰富知识。数据挖掘的基本过程和主要步骤如下：
过程中各步骤的大体内容如下：
1．确定业务对象，清晰地定义出业务问题。认清数据挖掘的目的是数据挖掘的重要一步，挖掘的最后结构不可预测，但要探索的问题应该是有预见的，为了数据挖掘而挖掘则带有盲目性，是不会成功的。
2．数据准备。(1)数据选择。搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。(2)数据预处理。研究数据的质量，进行数据的集成、变换、归约、压缩等．为进一步的分析作准备，并确定将要进行的挖掘操作的类型。(3)数据转换。将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的，这是数据挖掘成功的关键。
3．数据挖掘。对所得到的经过转换的数据进行挖掘。除了完善和选择合适的挖掘算法外，其余一切工作都能自动地完成。
4．结果分析。解释并评估结果。其使用的分析方法一般应视挖掘操作而定，通常会用到可视化技术。
5．知识同化。将分析所得到的知识集成到业务信息系统的组织结构中去。
四、数据挖掘的应用
数据挖掘技术从一开始就是面向应用的。目前在很多领域，数据挖掘都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售(如超级市场)等商业领域。
1．市场营销。由于管理信息系统和P0S系统在商业尤其是零售业内的普遍使用，特别是条形码技术的使用，从而可以收集到大量关于用户购买情况的数据，并且数据量在不断激增。对市场营销来说，通过数据分析了解客户购物行为的一些特征，对提高竞争力及促进销售是大有帮助的。利用数据挖掘技术通过对用户数据的分析，可以得到关于顾客购买取向和兴趣的信息，从而为商业决策提供了可靠的依据。数据挖掘在营销业上的应用可分为两类：数据库营销(database markerting)和货篮分析(basket analysis)。数据库营销的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客，以便向它们推销产品。通过对已有的顾客数据的辱淅，可以将用户分为不同级别，级别越高，其购买的可能性就越大。货篮分析
是分析市场销售数据以识别顾客的购买行为模式，例如：如果A商品被选购，那么B商品被购买的可能性为95％，从而帮助确定商店货架的布局排放以促销某些商品，并且对进货的选择和搭配上也更有目的性。这方面的系统有：Opportunity Ex-plorer，它可用于超市商品销售异常情况的因果分析等，另外IBM公司也开发了识别顾客购买行为模式的一些工具(IntdligentMiner和QUEST中的一部分)。
2．金融投资。典型的金融分析领域有投资评估和股票交易市场预测，分析方法一般采用模型预测法(如神经网络或统计回归技术)。代写硕士论文由于金融投资的风险很大，在进行投资决策时，更需要通过对各种投资方向的有关数据进行分析，以选择最佳的投资方向。无论是投资评估还是股票市场预测，都是对事物发展的一种预测，而且是建立在对数据的分析基础之上的。数据挖掘可以通过对已有数据的处理，找到数据对象之间的关系，然后利用学习得到的模式进行合理的预测。这方面的系统有Fidelity Stock Selector和LBS Capital Management。前者的任务是使用神经网络模型选择投资，后者则使用了专家系统、神经网络和基因算法技术来辅助管理多达6亿美元的有价证券。
3．欺诈甄别。银行或商业上经常发生诈骗行为，如恶性透支等，这些给银行和商业单位带来了巨大的损失。对这类诈骗行为进行预测可以减少损失。进行诈骗甄别主要是通过总结正常行为和诈骗行为之间的关系，得到诈骗行为的一些特性，这样当某项业务符合这些特征时，可以向决策人员提出警告。
这方面应用非常成功的系统有：FALCON系统和FAIS系统。FALCON是HNC公司开发的信用卡欺诈估测系统，它已被相当数量的零售银行用于探测可疑的信用卡交易；FAIS则是一个用于识别与洗钱有关的金融交易的系统，它使用的是一般的政府数据表单。此外数据挖掘还可用于天文学上的遥远星体探测、基因工程的研究、web信息检索等。
结束语
随着数据库、人工智能、数理统计及计算机软硬件技术的发展，数据挖掘技术必能在更多的领域内取得更广泛的应用。

参考文献：
[1]闫建红《数据库系统概论》的教学改革与探索[J]．山西广播电视大学学报，2006，(15)：16—17．

I. 什么是数据挖掘

科技的快速发展和数据的存储技术的快速进步，使得各种行业或组织的数据得以海量积累。但是，从海量的数据当中，提取有用的信息成为了一个难题。在海量数据面前，传统的数据分析工具和方法很无力。由此，数据挖掘技术就登上了历史的舞台。
数据挖掘是一种技术，将传统的数据分析方法与处理大量数据的复杂算法相结合（图1），从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用信息和知识的过程。

那数据挖掘能够干什么？有哪些数据挖掘技术？怎么应用？
数据挖掘技术应用广泛，如：1. 在交通领域，帮助铁路票价制定、交通流量预测等。2. 在生物学当中，挖掘基因与疾病之间的关系、蛋白质结构预测、代谢途径预测等。3. 在金融行业当中，股票指数追踪、税务稽查等方面有重要运用。4. 在电子商务领域，对顾客行为分析、定向营销、定向广告投放、谁是最有价值的用户、什么产品搭配销售等。可以说，有数据的方法，就有数据挖掘的用武之地。
那数据挖掘过程是什么呢？如图2：

数据挖掘的任务主要分为一下四类，如图3：

1.建模预测：用因变量作用目标变量建立模型。分为两类：（1）分类，用于预测离散的目标变量；（2）回归，用于预测连续的目标变量。两项任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小。预测建模可以用来判断病人是否患有某种疾病，可以用于确定顾客是否需要某种产品，预测交通流量。

2.关联分析：用来发现描述数据中强关联特征的模式。所发现的模式通常用特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有用的模式。关联分析的应用包括用户购买商品之间的联系、找出相关功能的基因组、表单预测输出下拉列表如图4。

3.聚类分析：发现紧密相关的观测值群组，使得与属于不同簇的观察值相比，同一簇的观察值相互之间尽可能的类似。聚类可用来对相关的顾客分组、给不同功能的基因分组、不同的癌症细胞系分组。

4.异常检测：识别其特征显着不同于其他数据的观测值。这样的观测值称为异常点或离群点。异常检测算法的目标是发现真正的异常点，而避免错误地将正常的对象标注为异常点。换言之，一个好的异常点检测模型必须具有高检测率和低误报率。异常检测的应用包括检测欺诈、网络攻击、疾病的不寻常模式。

参考文章：
1. 《大话数据挖掘》
2. 《数据挖掘导论》
3. http://mp.weixin.qq.com/s?__biz=MzI2NDEwNzgxMw==&mid=401492893&idx=1&sn=#rd

J. 数据挖掘是什么

数据挖掘(Data Mining)是采用数学的、统计的、人工智能和神经网络等领域的科学方法，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等技术，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程。

数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：
(1)、分类：按照分析对象的属性、特征，建立不同的组类来描述事物。
(2)、聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。
(3)、关联规则：关联是某种事物发生时其他事物会发生的这样一种联系。
(4)、预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。
(5)、偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。

关于数据挖掘的相关学习，推荐CDA数据分析师的课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥点击预约免费试听课。