pandas玩转股票数据库

❶ 怎么用python计算股票

作为一个python新手，在学习中遇到很多问题，要善于运用各种方法。今天，在学习中，碰到了如何通过收盘价计算股票的涨跌幅。
第一种：
读取数据并建立函数：
import numpy as np
import matplotlib.pyplot as plt
from scipy.interpolate import spline
from pylab import *
import pandas as pd
from pandas import Series
a=pd.read_csv('d:///1.csv',sep=',')#文件位置

t=a['close']
def f(t):
s=[]
for i in range(1,len(t)):
if i==1:
continue
else:
s.append((t[i]-t[i-1])/t[i]*100)
print s
plot(s)

plt.show()
f(t)
第二种：
利用pandas里面的方法：
import pandas as pd

a=pd.read_csv('d:///1.csv')
rets = a['close'].pct_change() * 100
print rets

第三种：
close=a['close']
rets=close/close.shift(1)-1
print rets

总结：python是一种非常好的编程语言，一般而言，我们可以运用构建相关函数来实现自己的思想，但是，众所周知，python中里面的有很多科学计算包，里面有很多方法可以快速解决计算的需要，如上面提到的pandas中的pct_change()。因此在平时的使用中应当学会寻找更好的方法，提高运算速度。

❷ 如何用Python和机器学习炒股赚钱

相信很多人都想过让人工智能来帮你赚钱，但到底该如何做呢？瑞士日内瓦的一位金融数据顾问 Gaëtan Rickter 近日发表文章介绍了他利用 Python 和机器学习来帮助炒股的经验，其最终成果的收益率跑赢了长期处于牛市的标准普尔 500 指数。虽然这篇文章并没有将他的方法完全彻底公开，但已公开的内容或许能给我们带来如何用人工智能炒股的启迪。

我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。

这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：

“星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。”

在研究者给出的许多有见地的观察中，其中有一个总结很突出：

“（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。”

我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的“已知和隐藏关系”的强度。

我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。

我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。

❸ Pandas的10大惊人应用-哪个行业领域正在使用Python Pandas

对一个知识该如何准确地运用一个知识有一个扎实的想法是很重要的，因为知识很容易获得，但是正确使用它才是使您明智的。因此，在 《熊猫的十大惊人应用》 中，我们选择了令人鼓舞的应用程序以及可以在现实世界中应用熊猫知识的各个位置。

借助此列表，您将了解在现实世界中哪些行业应用Python熊猫。

1.经济学
经济学对数据分析的需求不断。对于经济学家来说，分析数据以形成模式并了解有关各个部门经济增长方式的趋势是非常重要的。因此，许多经济学家已经开始使用Python和Pandas分析庞大的数据集。熊猫提供了一套全面的工具，例如数据框架和文件处理。这些工具极大地帮助访问和处理数据以获得所需的结果。通过熊猫的这些应用，世界各地的经济学家都能够取得前所未有的突破。

2.推荐系统
我们都使用了Spotify或Netflix，这些网站提供的出色建议令他们感到震惊。这些系统是深度学习的 奇迹。这种提供建议的模型是熊猫最重要的应用之一。通常，这些模型是用python创建的，而Pandas是python的主要库，在处理此类模型中的数据时会使用它们。我们知道，熊猫最适合管理大量数据。推荐系统只有通过学习和处理大量数据才有可能。诸如groupBy和映射之类的功能极大地帮助了使这些系统成为可能。

3.库存预测
股市非常动荡。但是，这并不意味着无法预测。借助Pandas和其他一些库（例如NumPy和matplotlib），我们可以轻松地建立模型来预测股市的走势。这是可能的，因为以前有很多股票数据可以告诉我们它们的表现。通过学习这些库存数据，模型可以轻松地以某种准确性预测要采取的下一步行动。不仅如此，人们还可以借助这种预测模型自动进行股票买卖。

4.神经科学
了解神经系统一直是人类的思想，因为关于人体的许多潜在谜团尚未解决。 机器学习在熊猫的各种应用程序的帮助下极大地帮助了这一领域。同样，熊猫的数据处理能力在汇编大量数据中起了重要作用，这些数据已帮助神经科学家理解我们体内遵循的趋势以及各种事物对整个神经系统的影响。

5.统计
纯粹的数学本身在熊猫的各种应用中取得了很大的进步。由于Statistic处理大量数据，因此像Pandas这样处理数据处理的库以许多不同的方式提供了帮助。平均值，中位数和众数功能只是非常基本的功能，有助于执行统计计算。统计数据还有许多其他复杂的功能，熊猫在其中发挥着巨大的作用，以带来完美的结果。

6.广告
广告在21世纪取得了巨大的飞跃。如今，广告已变得非常个性化，可以帮助公司赢得越来越多的客户。仅由于机器学习和深度学习之类的原因，这再次成为可能。遍历客户数据的模型将学习了解客户到底想要什么，从而为公司提供出色的广告创意。熊猫在这方面有许多应用。通常在此库的帮助下呈现客户数据，Pandas中提供的许多功能也有帮助。

7.分析
通过使用熊猫，分析变得比以往任何时候都容易。无论是网站分析还是其他平台的分析，Pandas都以其惊人的数据处理和处理功能来完成所有工作。熊猫的可视化功能在该领域也发挥着重要作用。它不仅接收数据并显示它，而且还有助于在数据上应用许多功能。

8.自然语言处理
NLP或自然语言处理已席卷全球，并引起了很多轰动。主要概念是解释人类语言及其相关的一些细微差别。这非常困难，但是借助Pandas和Scikit-learn的各种应用程序，可以更轻松地创建一个NLP模型，借助其他各种库及其功能，我们可以不断对其进行改进。

9.大数据
熊猫的应用之一就是它也可以处理大数据。Python与Hadoop和Spark有着良好的联系，从而使Pandas可以访问大数据。 借助Pandas，也可以轻松地编写Spark或Hadoop。

10.数据科学
熊猫和数据科学几乎是同义词。大多数示例都是Data Science本身的产品。这是一个非常广泛的保护伞，涵盖了涉及数据分析的所有内容，因此，熊猫的几乎所有应用都属于数据科学的 范围。熊猫主要用于处理数据。因此，没有熊猫的Python数据科学非常困难。

摘要
通过上面给出的示例，我们遇到了熊猫各种实时应用程序的完整列表。这些应用程序存在于我们的日常生活中，在现实世界中非常有用。现在，通过了解他们，我希望您能够轻松地确定在何处以及如何准确地运用自己的知识。 您可能还想知道15种熊猫的高级功能。

❹ 在财经领域使用大数据分析技术主要运用的是pandas吗

大数据分析进阶之python财经数据抓取
Python常用数据分析包：
Pandas：数据分析
Nltk：自然语言处理
Scikit：人工智能和机器学习
Numpy/scipy：矢量数据和科学计算
Sympy：符号计算
Gpu：并行超速运算
Opencv：图像视频处理
TVTK/mayavi：可视化

财经数据接口包
Pandas
Python Data Analysis Library 或 是基于NumPy 的一种工具，是python的一个数据分析包。
Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。
Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。

Pandas返回的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。

使用pandas自带财经数据接口，能够获取雅虎财经、世界银行等财经数据。

TuShare
TuShare是一个免费、开源的python财经数据接口包。
主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁和多样的便于分析的数据，为他们在数据来源方面极大地减轻了工作量，使他们更加专注于策略和模型的研究与实现上。

TuShare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。

使用TuShare自带财经数据接口，能够获取新浪财经的证券、宏观等财经数据。

使用TuShare自带财经数据接口，能够获取即时新浪财经数据、新浪股吧数据、个股信息地雷数据等数据。

接口简单易懂，返回的数据格式规整，非常便于处理分析！
数据挖掘实验室
持续追踪大数据和数据新闻前沿，通过自然语言处理、机器学习、R等大数据处理手段和D3、Echarts等数据可视化方法，玩转大数据驱动新闻。

❺ 解决 pandas_datareader 无法获取雅虎财经数据的问题

pandas_datareader 是重要的 pandas 相关包，原来是 pandas.io.data 方法，用于获取接口数据，比如雅虎财经上的数据或者美联储路易斯安娜分行的数据，但是在最近版本（比如 pandas 0.20）中 pandas.io.data 的方法独立出来称为一个新的包 pandas_datareader 。

雅虎财经和谷歌财经的接口变换频繁。如果用 pip install pandas_datareader ，已经无法得到雅虎财经。

pandas_datareader github Issuse #315 针对的就是雅虎财经接口无法访问的问题， gusutabopb 在 5月21日进行了成功修正，并提供了他修正后的 pandas_datareader 新版本。

该修正版本的安装方法是

安装以后测试获取 google 的股票数据成功。

参考：
Issues with the data reader fetching yahoo finance #315

Error with pulling data from Yahoo Finance

❻ 数据分析—Pandas删除数据的几种情况

开始之前，pandas中DataFrame删除对象可能存在几种情况

本文就针对这四种情况探讨一下如何操作。

模拟了一份股票交割的记录。

也可以根据行号删除记录，比如删除第三行

注意，这个办法其实不是按照行号删除，而是按照索引删除。如果index为3，则会将前4条记录都删除。这个方法支持一个范围，以及用负数表示从末尾删除。

本例其实是筛选，如果需要保留，可以将筛选后的对象赋值给自己即可。

如果想取包含某些字符的记录，可以去掉~

完成~
希望本文的内容对大家的学习或者工作能带来一定的帮助，每天进步一点点，加油。

❼ 请问怎么学习Python

这里整理了一份Python开发的学习路线，可按照这份大纲来安排学习计划~

第一阶段：专业核心基础

阶段目标：

1. 熟练掌握Python的开发环境与编程核心知识

2. 熟练运用Python面向对象知识进行程序开发

3. 对Python的核心库和组件有深入理解

4. 熟练应用SQL语句进行数据库常用操作

5. 熟练运用Linux操作系统命令及环境配置

6. 熟练使用MySQL，掌握数据库高级操作

7. 能综合运用所学知识完成项目

知识点：

Python编程基础、Python面向对象、Python高级进阶、MySQL数据库、Linux操作系统。

1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。

2、Python面向对象，核心对象，异常处理，多线程，网络编程，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。

3、类的原理，MetaClass，下划线的特殊方法，递归，魔术方法，反射，迭代器，装饰器，UnitTest，Mock。深入理解面向对象底层原理，掌握Python开发高级进阶技术，理解单元测试技术。

4、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，PDBC，深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Python后台开发打下坚实基础。

5、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境配置，Docker，Shell编程Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

第二阶段：PythonWEB开发

阶段目标：

1. 熟练掌握Web前端开发技术，HTML，CSS，JavaScript及前端框架

2. 深入理解Web系统中的前后端交互过程与通信协议

3. 熟练运用Web前端和Django和Flask等主流框架完成Web系统开发

4. 深入理解网络协议，分布式，PDBC，AJAX，JSON等知识

5. 能够运用所学知识开发一个MiniWeb框架，掌握框架实现原理

6. 使用Web开发框架实现贯穿项目

知识点：

Web前端编程、Web前端高级、Django开发框架、Flask开发框架、Web开发项目实战。

1、Web页面元素，布局，CSS样式，盒模型，JavaScript，JQuery与Bootstrap掌握前端开发技术，掌握JQuery与BootStrap前端开发框架，完成页面布局与美化。

2、前端开发框架Vue，JSON数据，网络通信协议，Web服务器与前端交互熟练使用Vue框架，深入理解HTTP网络协议，熟练使用Swagger，AJAX技术实现前后端交互。

3、自定义Web开发框架，Django框架的基本使用，Model属性及后端配置，Cookie与Session，模板Templates，ORM数据模型，Redis二级缓存，RESTful，MVC模型掌握Django框架常用API，整合前端技术，开发完整的WEB系统和框架。

4、Flask安装配置，App对象的初始化和配置，视图函数的路由，Request对象，Abort函数，自定义错误，视图函数的返回值，Flask上下文和请求钩子，模板，数据库扩展包Flask-Sqlalchemy，数据库迁移扩展包Flask-Migrate，邮件扩展包Flask-Mail。掌握Flask框架的常用API，与Django框架的异同，并能独立开发完整的WEB系统开发。

第三阶段：爬虫与数据分析

阶段目标：

1. 熟练掌握爬虫运行原理及常见网络抓包工具使用，能够对HTTP及HTTPS协议进行抓包分析

2. 熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取

3. 熟练掌握各种常见反爬机制及应对策略，能够针对常见的反爬措施进行处理

4. 熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取

5. 熟练掌握数据分析相关概念及工作流程

6. 熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用

7. 熟练掌握数据清洗、整理、格式转换、数据分析报告编写

8. 能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程项目实战

知识点：

网络爬虫开发、数据分析之Numpy、数据分析之Pandas。

1、爬虫页面爬取原理、爬取流程、页面解析工具LXML，Beautifulfoup，正则表达式，代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy，基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解，掌握网页解析工具的使用，能够灵活应对大部分网站的反爬策略，具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。

2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制，熟悉数据分析三大利器之一Numpy的常见使用，熟悉ndarray数据结构的特点和常见操作，掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。

3、Pandas里面的三大数据结构，包括Dataframe、Series和Index对象的基本概念和使用，索引对象的更换及删除索引、算术和数据对齐方法，数据清洗和数据规整、结构转换，熟悉数据分析三大利器之一Pandas的常见使用，熟悉Pandas中三大数据对象的使用方法，能够使用Pandas完成数据分析中最重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。

4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存，熟悉数据分析三大利器之一Matplotlib的常见使用，熟悉Matplotlib的三层结构，能够熟练使用Matplotlib绘制各种常见的数据分析图表。能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、全球幸福指数数据分析等项目的全程实战。

第四阶段：机器学习与人工智能

阶段目标：

1. 理解机器学习相关的基本概念及系统处理流程

2. 能够熟练应用各种常见的机器学习模型解决监督学习和非监督学习训练和测试问题，解决回归、分类问题

3. 熟练掌握常见的分类算法和回归算法模型，如KNN、决策树、随机森林、K-Means等

4. 掌握卷积神经网络对图像识别、自然语言识别问题的处理方式，熟悉深度学习框架TF里面的张量、会话、梯度优化模型等

5. 掌握深度学习卷积神经网络运行机制，能够自定义卷积层、池化层、FC层完成图像识别、手写字体识别、验证码识别等常规深度学习实战项目

知识点：

1、机器学习常见算法、sklearn数据集的使用、字典特征抽取、文本特征抽取、归一化、标准化、数据主成分分析PCA、KNN算法、决策树模型、随机森林、线性回归及逻辑回归模型和算法。熟悉机器学习相关基础概念，熟练掌握机器学习基本工作流程，熟悉特征工程、能够使用各种常见机器学习算法模型解决分类、回归、聚类等问题。

2、Tensorflow相关的基本概念，TF数据流图、会话、张量、tensorboard可视化、张量修改、TF文件读取、tensorflow playround使用、神经网络结构、卷积计算、激活函数计算、池化层设计，掌握机器学习和深度学习之前的区别和练习，熟练掌握深度学习基本工作流程，熟练掌握神经网络的结构层次及特点，掌握张量、图结构、OP对象等的使用，熟悉输入层、卷积层、池化层和全连接层的设计，完成验证码识别、图像识别、手写输入识别等常见深度学习项目全程实战。

❽ 为什么pandas有国内股票数据

都是公开发行上市的股票，当然会有的，Pandas是数据分析工具包
TuShare是国内股票数据抓取工具，除了股票的实时和历史数据，还有基本面数据，加上自然语言处理（比如情绪分析），或者机器学习，就比较有趣了。