python大数据挖掘股票

1. 如何用python进行大数据挖掘和分析

毫不夸张地说，大数据已经成为任何商业交流中不可或缺的一部分。桌面和移动搜索向全世界的营销人员和公司以空前的规模提供着数据，并且随着物联网的到来，大量用以消费的数据还会呈指数级增长。这种消费数据对于想要更好地定位目标客户、弄懂人们怎样使用他们的产品或服务，并且通过收集信息来提高利润的公司来说无疑是个金矿。
筛查数据并找到企业真正可以使用的结果的角色落到了软件开发者、数据科学家和统计学家身上。现在有很多工具辅助大数据分析，但最受欢迎的就是Python。
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼，和索尼梦工厂。还有，Python是开源的，并且有很多用于数据科学的类库。所以，大数据市场急需Python开发者，不是Python开发者的专家也可以以相当块速度学习这门语言，从而最大化用在分析数据上的时间，最小化学习这门语言的时间。
用Python进行数据分析之前，你需要从Continuum.io下载Anaconda。这个包有着在Python中研究数据科学时你可能需要的一切东西。它的缺点是下载和更新都是以一个单元进行的，所以更新单个库很耗时。但这很值得，毕竟它给了你所需的所有工具，所以你不需要纠结。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要成为一个Python开发者。这并不意味着你需要成为这门语言的大师，但你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
各种类库
当你掌握了Python的基本知识点后，你需要了解它的有关数据科学的类库是怎样工作的以及哪些是你需要的。其中的要点包括NumPy，一个提供高级数学运算功能的基础类库，SciPy，一个专注于工具和算法的可靠类库，Sci-kit-learn，面向机器学习，还有Pandas，一套提供操作DataFrame功能的工具。
除了类库之外，你也有必要知道Python是没有公认的最好的集成开发环境(IDE)的，R语言也一样。所以说，你需要亲手试试不同的IDE再看看哪个更能满足你的要求。开始时建议使用IPython Notebook，Rodeo和Spyder。和各种各样的IDE一样，Python也提供各种各样的数据可视化库，比如说Pygal，Bokeh和Seaborn。这些数据可视化工具中最必不可少的就是Matplotlib，一个简单且有效的数值绘图类库。
所有的这些库都包括在了Anaconda里面，所以下载了之后，你就可以研究一下看看哪些工具组合更能满足你的需要。用Python进行数据分析时你会犯很多错误，所以得小心一点。一旦你熟悉了安装设置和每种工具后，你会发现Python是目前市面上用于大数据分析的最棒的平台之一。
希望能帮到你！

2. python对股票分析有什么作用

你好，Python对于股票分析来说，用处是很大的
Python，用数据软件分析可以做股票的量化程序，因为股票量化是未来的一种趋势，能够解决人为心理波动和冲动下单等不良行为，所以学好python量化的话，那么对股票来说有很大很大帮助

3. 如何用Python和机器学习炒股赚钱

如何用Python和机器学习炒股赚钱？（图片太多未贴，可以去找原文）

我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。
这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：
“星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。”
在研究者给出的许多有见地的观察中，其中有一个总结很突出：
“（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。”
我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的“已知和隐藏关系”的强度。
我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

选择出的涉及细胞可塑性、生长和分化的信号通路的基因的表达模式
和基因一样，股票也会受到一个巨型网络的影响，其中各个因素之间都有或强或弱的隐藏关系。其中一些影响和关系是可以预测的。
我的一个目标是创建长的和短的股票聚类，我称之为“篮子聚类（basket clusters）”，我可以将其用于对冲或单纯地从中获利。这需要使用一个无监督机器学习方法来创建股票的聚类，从而使这些聚类之间有或强或弱的关系。这些聚类将会翻倍作为我的公司可以交易的股票的“篮子（basket）”。
首先我下载了一个数据集：http://54.174.116.134/recommend/datasets/supercolumns-elements-08.html，这个数据集基于元素周期表中的元素和上市公司之间的关系。
然后我使用了 Python 和一些常用的机器学习工具——scikit-learn、numpy、pandas、matplotlib 和 seaborn，我开始了解我正在处理的数据集的分布形状。为此我参考了一个题为《Principal Component Analysis with KMeans visuals》的 Kaggle Kernel：https://www.kaggle.com/arthurtok/principal-component-analysis-with-kmeans-visuals
importnumpy asnp
importpandas aspd
fromsklearn.decomposition
importPCA
fromsklearn.cluster
importKMeans
importmatplotlib.pyplot asplt
importseaborn assbnp.seterr(divide= 'ignore', invalid= 'ignore')
# Quick way to test just a few column features
# stocks = pd.read_csv('supercolumns-elements-nasdaq-nyse-otcbb-general-UPDATE-2017-03-01.csv', usecols=range(1,16))
stocks = pd.read_csv( 'supercolumns-elements-nasdaq-nyse-otcbb-general-UPDATE-2017-03-01.csv')print(stocks.head())str_list = []
forcolname, colvalue instocks.iteritems():
iftype(colvalue[ 1]) == str: str_list.append(colname)
# Get to the numeric columns by inversion
num_list = stocks.columns.difference(str_list)stocks_num = stocks[num_list]print(stocks_num.head())
输出：简单看看前面 5 行：

概念特征的皮尔逊相关性（Pearson Correlation）。在这里案例中，是指来自元素周期表的矿物和元素：
stocks_num = stocks_num.fillna(value= 0, axis= 1)X = stocks_num.values
fromsklearn.preprocessing importStandardScalerX_std = StandardScaler().fit_transform(X)f, ax = plt.subplots(figsize=( 12, 10))plt.title( 'Pearson Correlation of Concept Features (Elements & Minerals)')
# Draw the heatmap using seaborn
sb.heatmap(stocks_num.astype(float).corr(),linewidths= 0.25,vmax= 1.0, square= True, cmap= "YlGnBu", linecolor= 'black', annot= True)sb.plt.show()
输出：（这个可视化例子是在前 16 个样本上运行得到的）。看到元素周期表中的元素和上市公司关联起来真的很有意思。在某种程度时，我想使用这些数据基于公司与相关元素或材料的相关性来预测其可能做出的突破。

测量“已解释方差（Explained Variance）”和主成分分析（PCA）
已解释方差=总方差-残差方差（explained variance = total variance - resial variance)。应该值得关注的 PCA 投射组件的数量可以通过已解释方差度量（Explained Variance Measure）来引导。Sebastian Raschka 的关于 PCA 的文章对此进行了很好的描述，参阅：http://sebastianraschka.com/Articles/2015_pca_in_3_steps.html
# Calculating Eigenvectors and eigenvalues of Cov matirx
mean_vec = np.mean(X_std, axis= 0)cov_mat = np.cov(X_std.T)eig_vals, eig_vecs = np.linalg.eig(cov_mat)
# Create a list of (eigenvalue, eigenvector) tuples
eig_pairs = [ (np.abs(eig_vals[i]),eig_vecs[:,i]) fori inrange(len(eig_vals))]
# Sort from high to low
eig_pairs.sort(key = lambdax: x[ 0], reverse= True)
# Calculation of Explained Variance from the eigenvaluestot = sum(eig_vals)var_exp = [(i/tot)* 100fori insorted(eig_vals, reverse= True)] cum_var_exp = np.cumsum(var_exp)
# Cumulative explained variance# Variances plot
max_cols = len(stocks.columns) - 1plt.figure(figsize=( 10, 5))plt.bar(range(max_cols), var_exp, alpha= 0.3333, align= 'center', label= 'indivial explained variance', color = 'g')plt.step(range(max_cols), cum_var_exp, where= 'mid',label= 'cumulative explained variance')plt.ylabel( 'Explained variance ratio')plt.xlabel( 'Principal components')plt.legend(loc= 'best')plt.show()
输出：

从这个图表中我们可以看到大量方差都来自于预测主成分的前 85%。这是个很高的数字，所以让我们从低端的开始，先只建模少数几个主成分。更多有关分析主成分合理数量的信息可参阅：http://setosa.io/ev/principal-component-analysis
使用 scikit-learn 的 PCA 模块，让我们设 n_components = 9。代码的第二行调用了 fit_transform 方法，其可以使用标准化的电影数据 X_std 来拟合 PCA 模型并在该数据集上应用降维（dimensionality rection）。
pca = PCA(n_components= 9)x_9d = pca.fit_transform(X_std)plt.figure(figsize = ( 9, 7))plt.scatter(x_9d[:, 0],x_9d[:, 1], c= 'goldenrod',alpha= 0.5)plt.ylim( -10, 30)plt.show()
输出：

这里我们甚至没有真正观察到聚类的些微轮廓，所以我们很可能应该继续调节 n_component 的值直到我们得到我们想要的结果。这就是数据科学与艺术（data science and art）中的“艺术”部分。
现在，我们来试试 K-均值，看看我们能不能在下一章节可视化任何明显的聚类。
K-均值聚类（K-Means Clustering）
我们将使用 PCA 投射数据来实现一个简单的 K-均值。使用 scikit-learn 的 KMeans() 调用和 fit_predict 方法，我们可以计算聚类中心并为第一和第三个 PCA 投射预测聚类索引（以便了解我们是否可以观察到任何合适的聚类）。然后我们可以定义我们自己的配色方案并绘制散点图，代码如下所示：
# Set a 3 KMeans clustering
kmeans = KMeans(n_clusters= 3)
# Compute cluster centers and predict cluster indices
X_clustered = kmeans.fit_predict(x_9d) # Define our own color map
LABEL_COLOR_MAP = { 0: 'r', 1: 'g', 2: 'b'}label_color = [LABEL_COLOR_MAP[l] forl inX_clustered]
# Plot the scatter digram
plt.figure(figsize = ( 7, 7))plt.scatter(x_9d[:, 0],x_9d[:, 2], c= label_color, alpha= 0.5)plt.show()
输出：

这个 K-均值散点图看起来更有希望，好像我们简单的聚类模型假设就是正确的一样。我们可以通过这种颜色可视化方案观察到 3 个可区分开的聚类。
当然，聚类和可视化数据集的方法还有很多，参考：https://goo.gl/kGy3ra使用 seaborn 方便的 pairplot 函数，我可以以成对的方式在数据框中自动绘制所有的特征。我们可以一个对一个地 pairplot 前面 3 个投射并可视化：
# Create a temp dataframe from our PCA projection data "x_9d"
df = pd.DataFrame(x_9d)df = df[[ 0, 1, 2]]df[ 'X_cluster'] = X_clustered
# Call Seaborn's pairplot to visualize our KMeans clustering on the PCA projected data
sb.pairplot(df, hue= 'X_cluster', palette= 'Dark2', diag_kind= 'kde', size= 1.85)sb.plt.show()
输出：

构建篮子聚类（Basket Clusters）
你应该自己决定如何微调你的聚类。这方面没有什么万灵药，具体的方法取决于你操作的环境。在这个案例中是由隐藏关系所定义的股票和金融市场。
一旦你的聚类使你满意了，你就可以设置分数阈值来控制特定的股票是否有资格进入一个聚类，然后你可以为一个给定的聚类提取股票，将它们作为篮子进行交易或使用这些篮子作为信号。你可以使用这种方法做的事情很大程度就看你自己的创造力以及你在使用深度学习变体来进行优化的水平，从而基于聚类或数据点的概念优化每个聚类的回报，比如 short interest 或 short float（公开市场中的可用股份）。
你可以注意到了这些聚类被用作篮子交易的方式一些有趣特征。有时候标准普尔和一般市场会存在差异。这可以提供本质上基于“信息套利（information arbitrage）”的套利机会。一些聚类则和谷歌搜索趋势相关。

看到聚类和材料及它们的供应链相关确实很有意思，正如这篇文章说的一样：https://www.fairphone.com/en/2017/05/04/zooming-in-10-materials-and-their-supply-chains/
我仅仅使用该数据集操作了 Cobalt（钴）、Copper（铜）、Gallium（镓）和 Graphene（石墨烯）这几个列标签，只是为了看我是否可能发现从事这一领域或受到这一领域的风险的上市公司之间是否有任何隐藏的联系。这些篮子和标准普尔的回报进行了比较。
通过使用历史价格数据（可直接在 Quantopian、Numerai、Quandl 或 Yahoo Finance 使用），然后你可以汇总价格数据来生成预计收益，其可使用 HighCharts 进行可视化：

我从该聚类中获得的回报超过了标准普尔相当一部分，这意味着你每年的收益可以比标准普尔还多 10%（标准普尔近一年来的涨幅为 16%）。我还见过更加激进的方法可以净挣超过 70%。现在我必须承认我还做了一些其它的事情，但因为我工作的本质，我必须将那些事情保持黑箱。但从我目前观察到的情况来看，至少围绕这种方法探索和包装新的量化模型可以证明是非常值得的，而其唯一的缺点是它是一种不同类型的信号，你可以将其输入其它系统的流程中。
生成卖空篮子聚类（short basket clusters）可能比生成买空篮子聚类（long basket clusters）更有利可图。这种方法值得再写一篇文章，最好是在下一个黑天鹅事件之前。
如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。
我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。

4. python数据挖掘工具包有什么优缺点

python数据挖掘工具包就是scikit-learn，scikit-learn是一个基于NumPy, SciPy, Matplotlib的开源机器学习工具包，主要涵盖分类，回归和聚类算法，在许多Python项目中都有应用。

优点：文档齐全、接口易用、算法全面。
缺点：是scikit-learn不支持分布式计算，不适合用来处理超大型数据。
现在建议您考一个很权威，含金量很高的证书，那就是CDA数据分析师。CDA证书是新兴的高质量证书，最近2年发展比较快，不少公司都在关注这个认证考试，得益于国内人大论坛，现在叫经管之家的推广贡献。

想要了解更多有关数据挖掘的信息，可以了解一下CDA数据分析师的课程。“CDA数据分析师认证”是一套专业化，科学化，国际化，系统化的人才考核标准，分为CDA LEVELⅠ ，LEVEL Ⅱ，LEVEL Ⅲ，涉及金融、电商、医疗、互联网、电信等行业大数据及数据分析从业者所需要具备的技能，符合当今全球大数据及数据分析技术潮流，为各界企业、机构提供数据分析人才参照标准。点击预约免费试听课。

5. 如何用Python进行大数据挖掘和分析

你好，学习Python编程语言，是大家走入编程世界的最理想选择。无论是学习任何一门语言，基础知识，就是基础功非常的重要，找一个有丰富编程经验的老师或者师兄带着你会少走很多弯路， 你的进步速度也会快很多，无论我们学习的目的是什么，不得不说Python真的是一门值得你付出时间去学习的优秀编程语言。在选择培训时一定要多方面对比教学，师资，项目，就业等，慎重选择。

6. 如何用Python进行大数据挖掘和分析

首先你要会一些常用的库，从numpy pandas skitlearn 再到tensorflow

7. 如何用Python进行大数据挖掘和分析

如何用Python进行大数据挖掘和分析？快速入门路径图
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。
什么是 大数据 ？
大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。
大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
数据分析流程
一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Python爬虫
外部数据的获取方式主要有以下两种。
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显着性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
总结
其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!

8. python数据挖掘做出来是一个系统吗

是的。

一：什么是数据挖掘
__数据挖掘是指从大量的数据中通过一些算法寻找隐藏于其中重要实用信息的过程。这些算法包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等。在商务管理，股市分析，公司重要信息决策，以及科学研究方面都有十分重要的意义。

__数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术，从大量数据中寻找其肉眼难以发现的规律，和大数据联系密切。如今，数据挖掘已经应用在很多行业里，对人们的生产生活以及未来大数据时代起到了重要影响。
二：数据挖掘的基本任务
__数据挖掘的基本任务就是主要要解决的问题。数据挖掘的基本任务包括分类与预测、聚类分析、关联规则、奇异值检测和智能推荐等。通过完成这些任务，发现数据的潜在价值，指导商业和科研决策，给科学研究带来指导以及给商业带来新价值。下面就分别来认识一下常见的基本任务。

1.分类与预测

__是一种用标号的进行学习的方式，这种编号是类编号。这种类标号若是离散的，属于分类问题；若是连续的，属于预测问题，或者称为回归问题。从广义上来说，不管是分类，还是回归，都可以看做是一种预测，差异就是预测的结果是离散的还是连续的。

2.聚类分析

__就是“物以类聚，人以群分”在原始数据集中的运用，其目的是把原始数据聚成几类，从而使得类内相似度高，类间差异性大。

3.关联规则

__数据挖掘可以用来发现规则，关联规则属于一种非常重要的规则，即通过数据挖掘方法，发现事务数据背后所隐含的某一种或者多种关联，从而利用这些关联来指导商业决策和行为。

4.奇异值检测

__根据一定准则识别或者检测出数据集中的异常值，所谓异常值就是和数据集中的绝大多数据表现不一致。

5.智能推荐

__这是数据挖掘一个很活跃的研究和应用领域，在各大电商网站中都会有各种形式推荐，比方说同类用户所购买的产品，与你所购买产品相关联的产品等。
三：数据挖掘流程
__我们由上面的章节知道了数据挖掘的定义和基本任务，本节我们来学习一下数据挖掘的流程，来讲述数据挖掘是如何进行的。

1.定义挖掘目标

__该步骤是分析要挖掘的目标，定义问题的范围，可以划分为下面的目标：

__（1）针对具体业务的数据挖掘应用需求，首先要分析是哪方面的问题。

__（2）分析完问题后，该问题如果解决后可以实现什么样的效果，达到怎样的目标。

__（3）详细地列出用户对于该问题的所有需求。

__（4）挖掘可以用到那些数据集。究竟怎样的挖掘方向比较合理。

__（5）综合上面的要求，制定挖掘计划。
2.数据取样

__在明确了数据挖掘的目标后，接下来就需要在业务数据集中抽取和挖掘目标相关的数据样本子集。这就是数据取样操作。那么数据取样时需要注意哪些方面呢？

__第一是抽取的数据要和挖掘目标紧密相关，并且能够很好地说明用户的需求。

__第二是要可靠，质量要有所保证，从大范围数据到小范围数据，都不要忘记检查数据的质量，这是因为如果原始的数据有误，在之后的过程中，可能难以探索规律，即使探索出规律，也有可能是错误的。

__第三个方面是要有效，要注意数据的完整，但是有时候可能要抽取的数据量比较大，这个时候也许有的数据是根本没有用的，可以通过筛选进行处理。通过对数据的精选，不仅能减少数据处理量，节省系统资源，还能够让我们要寻找的数据可以更加地显现出来。
__而衡量数据取样质量的标准如下：

__（1）确定取样的数据集后，要保证数据资料完整无缺，各项数据指标完整。

__（2）数据集要满足可靠性和有效性。

__（3）每一项的数据都准确无误，反映的都是正常状态下的水平。

__（4）数据集合部分能显现出规律性。

__（5）数据集合要能满足用户的需求。
数据取样的方法有多种多样的，常见的方式如下：

__（1）随机取样：就是按照随机的方法进行取样，数据集中的每一个元素被抽取的概率是一样的。可以按照每一个特定的百分比进行取样，比如按照5%，10%，20%等每个百分比内随机抽取n个数据。

__（2）等距取样：和随机取样有些类似，但是不同的是等距取样是按照一定百分比的比例进行等距取样，比如有100个数据，按照10%的比例进行等距取样就是抽取10，20，30，40，50，60，70，80，90，100这10个数据。

__（3）分层取样：在这种抽样的操作中，首先将样本总体分为若干子集。在每个层次中的值都有相同的被选用的概率，但是可以对每一层设置不同的概率，分别代表不同层次的水平。是为了未来更好地拟合层次数据，综合后得到更好的精度。比如100个数据分为5层，在1-20，20-30，30-40，40-50等每一层抽取的个数不同，分别代表每一层。

__（4）分类取样：分类抽样是依据某种属性的取值来选择数据子集，按照某种类别（规则）进行选择，比如按照客户名称，同学姓名，地址区域，企业类别进行分类。

__（5）从起始位置取样：就是从输入数据集的起始处开始抽样，抽取一定的百分比数据。

__（6）从结束位置取样：就是从输入数据集的最后处反向抽样，抽取一定的百分比数据。

9. 如何用python获取股票数据

在Python的QSTK中，是通过s_datapath变量，定义相应股票数据所在的文件夹。一般可以通过QSDATA这个环境变量来设置对应的数据文件夹。具体的股票数据来源，例如沪深、港股等市场，你可以使用免费的WDZ程序输出相应日线、5分钟数据到s_datapath变量所指定的文件夹中。然后可使用Python的QSTK中，qstkutil.DataAccess进行数据访问。

10. 怎样用python处理股票

用Python处理股票需要获取股票数据，以国内股票数据为例，可以安装Python的第三方库：tushare；一个国内股票数据获取包。可以在网络中搜索“Python tushare”来查询相关资料，或者在tushare的官网上查询说明文档。