股票的数据挖掘

1. 请通俗的讲一下什么是数据挖掘

利用数据挖掘，我们还可以做非常多的事情。

1.发现数据项之间的相关性

比如我们拿到各个城市环境、人口、交通等数据，就可以通过相关性分析来看人均汽车保有量，和空气质量各个指标之间的关系，从而定量化地帮助制定产业经济和环保政策。比如要不要进行更严厉的限购，要不要收取为其的排放税等等。

2.把数据对象进行聚类

比如我们知道大量的人在电子商务网络消费数据，我么就可以根据消费的特征把他们聚成很多类，每一类人我们制定不同的营销手段，从而能够取得销售量的提升。比如电信运营商对人群进行聚类，然后针对性地推出电话套餐。

3.把数据对象进行分类

当我们已经有了分类之后，来了一些新的数据之后，我们可以把他分到不同不同的类去。比如医疗影像上查看肺部的病灶，可能是肺结核、可能是早起肺癌，中晚期肺癌，可能是肺上的疖结，可能是愈合的病灶等等，来了一张新的片子，我们可以通过图像处理，就把它分到不同的类别（当然这需要我们提前对很多片子的数据进行学习）。

4.预测缺失数据或者未来的数据

很多数据集中，比如生物数据，我们已知的知识全部数据集中的一小部分，这需要我们做一些事情去预测这些数据。还有一些，想大选、股票价格预测、河流径流量预测、城市用电量预测等，这些就是对未来数据的预测。

2. 什么是数据挖掘

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
数据挖掘是数据库中知识发现(knowledge discovery in database, KDD)不可缺少的一部分，而KDD是将未加工的数据转换为有用信息的整个过程，该过程包括一系列转换步骤， 从数据的预处理到数据挖掘结果的后处理。

数据挖掘的起源
来自不同学科的研究者汇集到一起，开始着手开发可以处理不同数据 类型的更有效的、可伸缩的工具。这些工作都是建立在研究者先前使用的方法学和算法之上，而在数据挖掘领域达到高潮。
特别地，数据挖掘利用了来自如下一些领域的思想：(1)来自统计学的抽样、估计和假设检验；(2)人工智能、模式识别和机器学习含皮的搜索算法建模技术和学习理弊茄论。
数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。
一些其他领域也起到重要的支撑作用。数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。

KDD(Knowledge Discovery from Database)
数据清理
消除噪声和不一致的数据；
数据集成
多种数据源可以组合在一起；
数据选择
从数据库中提取与分析任务相关的数据；
数据变换
通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式；
数据挖掘
基本步骤，使用智能方法提取数据模式；
模式评估
根据某种兴趣度，识别代表知识的真正有趣的模式；
知识表示
使用可视化和知识表示技术，向用户提供挖掘的知识。

数据挖掘方法论
业务理解（business understanding）
从商业角度理解项目的目标和要求，接着把这些理解知识通过理论分析转化为数据挖掘可操作的问题，制定实现目标的初步规划；
数据理解（data understanding）
数据理解阶段开始于原始数据的收集，然后是熟悉数据、甄别数据质量问题、探索对数据的初步理解、发觉令人感兴趣的子集以形成对探索信息的假设；
数据准备（data preparation）
数据准备阶段指从最初原始数据中未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次，而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求，获取所需要的信息，需要对数据进行转换、清洗、构造、整合等数据预处理工作；
建模（modeling）
在此阶段，主要是选择和应用各种建模技术。同时对它们的参数进行调优，以达到最优值。通常对同一个数据挖掘问题类型，会有多种建模技术。一些技术对数据形式有特殊的要求，常常需要重新返回到数据准备阶段；
模型评估（evaluation）
在模型部署发布前，需要从技术层面判断模型效果和检查建立模型的各个步骤，以及根据商业目标评估模型在实际商业场景中的实用性。此阶段关键目的是判断是否存在一些重要的商业问题仍未得到充分考虑；
模型部署（deployment）
模型完成后，由模型使用者（客户）根据当时背景和目标完成情况，封装满足业务系统使用需求。

数据挖掘任务
通常，数据挖掘任务分为下面两大类。
预测任务。这些任务的目标是根据其他属性的值，预测特定属性的值。被预测的属性一 般称目标变量(targetvariable)或因变量(dependentvariable), 而用来做预测的属性称说明变量(explanatoryvariable)或自变量(independentvariable)。
描述任务。其目标是导出概括数据中潜在联系的模式（相谈卜差关、趋势、聚类、轨迹和异常）。本质上，描述性数据挖掘任务通常是探查性的，并且常常需要后处理技术验证和解释结果。

预测建模(predictivemodeling) 涉及以说明变量函数的方式为目标变量建立模型。
有两类预测建模任务：分类(classification)，用于预测离散的目标变量；回归(regression)，用于预测连续的目标变量。
例如，预测一个Web用户是否会在网上书店买书是分类任务，因为该目标变量是二值的，而预测某股票的未来价格则是回归任务，因为价格具有连续值属性。
两项任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小。预测建模可以用来确定顾客对产品促销活动的反应，预测地球生态系统的扰动，或根据检查结果判断病人是否患有某种疾病。
关联分析(association analysis) 用来发现描述数据中强关联特征的模式。
所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有趣的模式。关联分析的应用包括找出具有相关功能的基因组、识别用户一起访问的Web页面、 理解地球气候系统不同元素之间的联系等。
聚类分析(cluster analysis)旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比， 属于同一簇的观测值相互之间尽可能类似。聚类可用来对相关的顾客分组、找出显着影响 地球气候的海洋区域以及压缩数据等。
异常检测(anomaly detection) 的任务是识别其特征显着不同于其他数据的观测值。
这样的观测值称为异常点(anomaly)或离群点(outlier)。异常检测算法的目标是发现真正的异常点，而避免错误地将正常的对象标注为异常点换言之，一个好的异常检测器必须具有高检测率和低误报率。
异常检测的应用包括检测欺诈、网络攻击、疾病的不寻常模式、生态系统扰动等。

3. 如何利用机器学习和人工智能技术来预测股票市场的走势和风险

利用机器学习和人工智能技术来预测股票市场的走势和风险是当前热门的研究领域之一。以下是一些常见的方法：
1. 数据收集：机器学习和人工智能技术需要大量的数据来训练和预测。因此，首先需要收集各种市场数据，如股票价格、公司财务报表、新闻报道等等。
2. 特征选择：在数据收集之后，需要对数据进行处理和特征提取。此时可以运用一些数据挖掘技术，如主成分分析（PCA）或线性判别分析（LDA），来选择最相关的特征。
3. 模型选择：根据数据特征和预测需求，可以选择适合的机器学习或人工智能模型。例如，可以使用决策树、神经网络、支持向量机等算法来预测股票价格或市场走势。
4. 训练和预测：在选择好模型之后，需要使用历史数据来训练模型，并根据训练结果进行调整和优化。然后，可以利用训练好的模型来预测市场的走势和风险。
5. 风险控制：在使用机器学习和人工智能技术预测股票市场之前，需要对结果进行评估和风险控制。如何评估模型的准确性和稳定性，如何控制模型产生的误差和风险，这些都是需要注意的问题。
需要注意的是，股票市场的走势和风险受到多种因素的影响，如政策、经济、地缘政治等等，因此穗迹单纯依靠机器学习和人工智能技术是不能完全预测和控制市场的念穗。猜高并

4. 怎样选出所有“在某个价格区间”的股票急！！！

《通达信集成版》软件是通达信电子科技有限公司开发的基于Windows平台运行的新一代网上行情交易软件。该软件广泛用于中国证券行业，拥有众多客户包括证券公司、基金公司、商业银行以及广大的股民朋友，在证券行业有极高的声誉。《通达信集成版》软件融合且优化了目前国内证券主流分析软件的主要功能，集行情分析、技术分析、财务分析、资讯信息、互动交流、个人理财于一体，《通达信集成版》软件功能强大，操作简便，具有全方位扩展性，是你理想的行情分析软件。
功能特性
一、 版面定制，展现个性
版面定制可以让用户按照自己的需要将软件的分析界面任性设置成多个分析窗口，让用户可以在同一个版面上查看到更多的信息。用户也可以将定制好的版面保存、导出或导入，和其它的用户交流定制的版面。
二、 ETF分析
ETF 分析通过将上证50指数与ETF的叠加对比，把握折价、溢价关系变化，捕捉更多套利机会
三、 智能选股，筛选黑马
《通达信集成版》软件智能选股器为您提供条件选股、定制选股、智能选股、插件选股和综合选股五种选股模式，无论从技术面还是基本面，您都能快速的选出自己心仪的股票。您还可以将不同分析周期的多个条件组合起来进行组合条件选股，并将选股结果保存到板块中。
四、 自编公式，随心所欲
用户可通过公式管理器自定义指标公式、条件选股公式、交易系统公式和五彩K线公式，把自己的想法变成公式，充分发挥您的聪明才智。通过自定义指标公式，您可以用自己的指标来分析历史数据；通过自定义条件选股公式，您可以选出您想找的股票；通过专家系统公式，您可以自己作专家，确定买卖时机；通过自定义五彩K线公式，您可以在K线图上搜寻特殊的K线形态。此时的您已由一名普通股民晋级为一名高级投资者了。
五、 多日分时图
让用户可以在同一版面上同时显示1－10天的股票分时走势图，细致的了解股市的发展变化。
六、 历史走势图
将光标移动到K线图上的任何一天，确定后就可以显示出该股票当天的历史分时走势图，以及当天的详细买卖盘数据
七、 交易指示，五彩K线
通过交易系统指示，本系统可以帮助您在K线图上标出醒目的买入卖出信号，您可以更好地分析某只股票的历史规律，以预测未来。自动识别各种典型的K线组合！特定的K线模式往往有非常准确的指示作用，系统提供许多种常用五彩K线公式，当选中某一模式后，系统自动在K线图上将属于该模式的K线标识出来，一目了然。另外，系统还支持最高最低点指示。
八、 个人理财
全新的智能化投资管理器，提供三类报表：汇总标、理财纪录表、个股历史交易表。可以设置密码。
本系统特地设置了备忘录功能，以方便股民们用该记事本随时记录一些重要消息和事件，以及灵光突现的炒股感悟和心得。
投资盈亏计算，在进行买卖股票之前，可方便快捷计算出自己的盈亏价位、手续费、资金额。
九、 理财金算盘
在进行买卖股票之前，可方便快捷计算出自己的盈亏价位、手续费、资金额。新的理财金算盘还增加了储蓄存款计算、个人贷款计算、国债收益计算、外币兑换计算、所得税计算和计算器功能。
十、 实时预警
系统预警
实时预警根据投资者设定的条件监控整个股票市场的动向，帮助投资者发现可能忽略或者不能注意到的风吹草动！投资者可以自己定义涨跌幅度、量比、绝对价位、成交量异动、指标突破价位、封停和打开停板等一系列的预警条件，系统将在条件满足时提醒投资者有异动的股票及其异动的特征，投资者可以在分析的同时把握住市场异常变化的瞬间，抓住每一个买卖的时机。投资者只需要设定预警条件，系统就可以为投资者做完所需的监控工作。
指定预警
用户可选择一些自己感兴趣的股票进行指定预警，可以设定价位突破的上下限值。如果这些股票的行情变动异常，则弹出对话框进行预警。
十一、 资讯信息，内容丰富
资讯信息中除了可以显示文字信息外，还可以显示图片和FLASH动画。可同时接入证券公司的网站、各类财经网站，并可实现个股相关同步，如在显示个股行情时，同时显示与该个股相关的财经新闻。 可接入多家资讯和可接入多家F10资料。
十二、 动态播报资讯
软件在盘中动态发布不同分析师对最新沪深股市的股评讯息。一旦有解盘的信息发布，在屏幕的右下角系统会自动跳出一个提示框，告诉您现市场的变化和热点。
十三、 热门板块报表
主要以市场上成交活跃程度作为报表分析对象，以区间换手为主要手段，对板块涨跌幅进行动态排序，并设有“板块领涨股“栏目，点击“涨跌幅排序“便于及时发现热门板块、领涨的龙头股，点击“板块”名称，进入板块内的个股排序报价表，可对板块内的个股进行多种排序操作。在捕捉个股行情行情方面有独到的功效，也是板块联动战法的必备工具。
十四、 历史行情报表
查看历史行情，有助于投资者分析和观察某些股票在过去一段时期的行情统计或某一日的行情，以便对以后的操作做出一个正确的判断。
十五、 强弱分析报表
强弱比较表示股票在不同周期内的强弱程度为分析对象，对股票的不同区间涨跌情况进行统计。列出了个股的今日强度、3日强度、5日强度、10日强度、20日强度、60日强度及年线强度，是证券综合分析的主要工具。配合“强弱”、RSI指标、拖动鼠标右键的“涨跌幅统计”功能，可进行任意区间的强弱统计分析，方便的找寻强势股、超跌股。还可对任意一只股票进行相关性、联动分析。投资者通过强度比较能够轻易的发现今日强势股、弱势股，决定投资方向。
十六、 区间统计
区间分析报表主要以价格涨跌幅度的异常变化为对象 ，包括区建立的涨跌、涨跌幅、区间换手率、市场比例、量变幅度等。区间成交量异动比较找出区间内量异常放大或萎缩的股票，据此判断市场热点；区间震荡幅度比较确定股价稳定程度，震荡幅度越小，表明市场的稳定程度高，风险越小；反之，风险较大。
十七、 股票叠加
《通达信集成版》软件可以将股票K线图进行叠加，也可以将股票分时走势图进行叠加。将多只股票或股票和指数进行叠加比较，对比分析发现个股的异动走势。
十八、 自选股盘中彩色显示
系统将用户的自选股用不同的颜色表示出来，方便用户及时观察自选股的变化情况
十九、 主力大单
主力大单列出盘中成交手数超过规定手数的所有股票，方便观察大资金的动向，规定手数可在系统设置中更改。
二十、 数据挖掘，洞察先机
数据挖掘功能挖的结果是人气选股。行情主站采集所有客户端的人气，按照一定算法统计出个股的关注度和共鸣度，告诉您近期市场关注的热点可能在哪里出现。
二十一、 数据、图像输出
行情图形、行情报表、财务报表等均可以打印输出，同时也可以输出为文本、Excel表格等格式，方便进行再次分析。
参考资料：http://www.wgnj123.com/html/gupiaoruanjian/20070628/2137.html

5. 什么是数据挖掘

数据挖掘（Data Mining）是指通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系来解决业务问题。换句话说，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

原则上讲，数据挖掘可以应用于任何类型的信息存储库及瞬态数据（如数据流），如数据库、数据仓库、数据集市、事务数据库、空间数据库（如地图等）、工程设计数据（如建筑设计等）、多媒体数据（文本、图像、视频、音频）、网络、数据流、时间序列数据库等。也正因如此，数据挖掘存在以下特点：

（1）数据集大且不完整
数据挖掘所需要的数据集是很大的，只有数据集越大，得到的规律才能越贴近于正确的实际的规律，结果也才越准确。除此以外，数据往往都是不完整的。

（2）不准确性
数据挖掘存在不准确性，主要是由噪声数据造成的。比如在商业中用户可能会提供假数据；在工厂环境中，正常的数据往往会收到电磁或者是辐射干扰，而出现超出正常值的情况。这些不正常的绝对不可能出现的数据，就叫做噪声，它们会导致数据挖掘存在不准确性。

（3）模糊的和随机的
数据挖掘是模糊的和随机的。这里的模糊可以和不准确性相关联。由于数据不准确导致只能在大体上对数据进行一个整体的观察，或者由于涉及到隐私信息无法获知到具体的一些内容，这个时候如果想要做相关的分析操作，就只能在大体上做一些分析，无法精确进行判断。
而数据的随机性有两个解释，一个是获取的数据随机；我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器进行判断和学习，那么一切的操作都属于是灰箱操作。

6. 如何用爬虫抓取股市数据并生成分析报表

推荐个很好用的软件，我也是一直在用的，就是前嗅的ForeSpider软件，
我是一直用过很多的采集软件，最后选择的前嗅的软件，ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂，这个软件自带爬虫脚本语言，通过写几行脚本，就可以采集所有的公开数据。
软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
如果自己不想配置，前嗅可以配置采集模板，我的模板就是从前嗅购买的。
另外他们公司不光是软件好用，还有自己的数据分析系统，直接采集完数据后入库，ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。
最主要的是他采集速度非常快，我之前用八爪鱼的软件，开服务器采，用了一个月采了100万条，后来我用ForeSpider。笔记本采的，一天就好几百万条。
这些都是我一直用前嗅的经验心得，你不妨试试。
建议你可以下载一个免费版试一试，免费版不限制功能，没有到期时间。

7. 什么是数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘流程：

• 定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

• 数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

• 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

• 结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

8. 如何获得历史股票数据！

金典2005没错，你不熟练罢了，多用用，在统计信息股评里都可以点右健复制导出。

9. 结合Python分析金融数据挖掘在量化投资领域中的应用

量化投资领域在金融数据中的应用包括：

• 股票市场的价格预测，利用历史数据对股票未来的价格进行预测，帮助投资者决策。

• 资产配置，通过分析金融数据，帮助投资者合理配置资产，使投资回报最大化。

• 风险评估，利用金融数据进行风险评估，帮助投资者了解投资风险，并进行风险管理。

• 自动交易，利用金融数据进行交易策略的设计和执行，进行自动化交易。

• 定量研究，利用金融数据进行定量研究，对金融市场的行为进行深入的研究。

10. 案例 | 同花顺数据中心的“龙虎榜"数据分析

对于证券行业网站，已经有诸多提供了数据挖掘和分析的模块。比如：同花顺数据中心、搜狐证券金罗盘、新浪财经数据中心等等。提供的数据分析功能，一般都是围绕证券市场公开信息所进行的不同程度、不同角度的挖掘和分析。比如，同花顺数据中心侧重公开市场交易信息、使用的体验最好；搜狐金罗盘对各券商研究报告、股票评级做的好；新浪财经数据中心则是在广泛信息收集之中侧重于从技术面、基本面的智能选股，可谓是各有千秋，三者之间功能重叠很多，但是究竟孰优孰劣，因为每个人的投资经验和喜好不同，就只能用户自己体验之后去判断了。

我本文就只针对同花顺数据中心进行一番介绍（不要冤枉我，我可没有收同花顺的一分好处费，纯粹是一片好心将这个不错的数据中心推荐给大家，相信大家看后会感谢我）。分析的目的，一方面是让大家可以有一个便捷获取证券市场信息的好地方，另一方面也是为证券公司提升投资者服务提供一个很好的案例参考，看看人家互联网证券网站是怎么能想的那么多、做的这么好的，开拓一下做投资服务的思路。

首先说网址，同花顺数据中心_同花顺金融网http://data.10jqka.com.cn/  。

同花顺数据中心提供的功能其实很全，从大家关注的龙虎榜、新股信息、资金流向、选股、交易提示、公告信息等等，可谓是汇聚了投资者交易分析的各方面信息，我们的投资者往往辛苦的在各大网站查阅股票资讯和证券市场信息，经常会难辨良莠，被一些错误信息误导，同花顺可谓是毕其一功于一役，采网络之精华、市场之鳞爪啊。

接下来重点说龙虎榜。其他功能基本操作类似，都具备了丰富的数据拓展链接，相互贯通。

1、基本信息。

龙虎榜随便点开一个上榜股票名称，这个页面基本是大家在各处都可看到的上榜营业部交易明细。但是，重点来了，看图上圈住的2处，一个是此股票上榜次数、一个是营业部上榜次数。看到这里，你会不会觉得一下脑洞大开啊，哇，这么看来似乎对于股票的走势、尤其是上榜营业部的实力会很有点看头呢，上榜次数多的营业部，最近三个月有200多次的（如果我们的营业部可以有这样一家，老板该睡觉都会笑醒了吧？！）。

2、上榜营业部

好吧，我如果猜得不错，你一定已经和我一样点开了龙虎榜信息里的营业部。该营业部的历史上榜数据统计一应俱全，次数、金额、参与的股票列表、介入最深、操作最多、一致行动的营业部。。。

（你的眼睛有没有睁大啊？！我反正是小地方人没见过世面，连嘴都张大啦）

尤其是介入最深、操作最多的股票，这恐怕至少是大户所为啦，是不是证券营业部的投资内参有引导客户操作？还是有大资金卧底在这家营业部来做庄呢?

正相关营业部，让我们看到经常勾搭一起的营业部，是大家都英雄所见略同吗？还是互通有无的一致行动人所在呢? 嗯，还可以看看他们一起干过的股票，究竟合作得效果如何呢?看看才知道哦。

3、买卖点

细心的观众，你有没有看到如图下的“买卖点标识”的地方？

点开了就是如图的走势上标注了红色、绿色远点的内容，这个上榜的营业部是散户所谓还是机构图谋呢?看买卖点就一目了然其获利情况。嘿嘿，号得准这些营业部资金的脉，每个人都成老中医啊！

同花顺数据中心无论是在数据信息的收集整理、还是数据挖掘后的再分析，都给人耳目一新的感受，你会觉得原来可以这样做啊！其实，这些功能恐怕是我们每一个证券投资者、甚至从业者都曾经想过但却无力做到的呢。找得到用户的需求、能够超乎用户需求实现，这才是互联网时代，我们客户服务应该做到的。