导航:首页 > 数据行情 > r语言爬取大量股票数据库

r语言爬取大量股票数据库

发布时间:2024-05-14 09:41:48

‘壹’ 怎么提高R语言读取数据库的速度

会有影响的,机器性能对数据的导出速度有很大的影响。
exp和expdp这两个都是数据库冷备份的方法,备份的目的是防止数据库异常导致数据丢失,但是冷备份只能讲数据还原到指定时间点的数据。
一周一次备份,频率还是太低了。就一般生产库而已,基本上都是一天一备份的。exp对数据库没啥影响,只要是在业务相对少的情况下进行就好。
建议使用expdp数据泵方式备份,可以添加parallel参数,很快的。

‘贰’ 请问如何用R语言做大量次数的几何布朗运动的模拟(参数μ,σ已知)

这上网搜应该搜的到吧,比如这篇文章"
股票价格行为关于几何布朗运动的模拟--基于中国上证综指的实证研究
",照着几何布朗运动的公式直接写代码应该就行了吧,代码逻辑都很清晰。

下面是照着这片文章模拟一次的代码,模拟多次的话,外面再套个循环应该就行了。然后再根据均方误差(一般用这个做准则的多)来挑最好的。
话说你的数据最好别是分钟或者3s切片数据,不然R这速度和内存够呛。
N <- 2000 #模拟的样本数
S0 <- 2000 #初始值
mu <- 0.051686/100
sigma <- 1.2077/100
St <- rep(0,N)
epsion <- rnorm(N,0,1) #正态分布随机数
for(i in 1:N) {
if(i == 1) {
delta_St <- mu * S0 + sigma * S0 * epsion[i]
St[i] <- S0 + delta_St
}else {
delta_St <- mu * St[i-1] + sigma * St[i-1] * epsion[i]
St[i] <- St[i-1] + delta_St
}
}
Final_St <- c(S0,St) #最终结果
plot(Final_St,type = "l")

‘叁’ R语言如何从外部读取数据到R中

R语言如何从外部读取数据到R中
R语言可以从键盘,文本,excel,access,数据库,专业处理软件sas

一、使用键盘的输入
mydata<-data.frame(age=numeric(0),gender=character(0),weight=numeric(0))
mydata<-edit(mydata)
二、读入带有分隔符文本格式的数据
data<-read.table(文件,header=true/false,sep="delimeter",row.names=列名)
其中文件可以有很多选项的
file()gzfile(),bzfile(),等一些压缩文件以及url(http://,ftp://,smtp://)
例子:
默认的时候,字符串会自动使用factor转化为数值型
data<-read.table("student.csv",header=TRUE,sep=",",row.names="studentid",stringsAsFactors=FALSE)
三、将xls文件导入到R中
(1)将xls变成csv的格式导入
(2)在Windows系统中,你也可以使用RODBC包来访问Excel文件。
library(RODBC)
channel <- odbcConnectExcel("student.xls")
mydataframe<-sqlFetch(channel,"Sheet1")
odbcClose(channel)
四、抓取网页并且提取信息
五、导入spss数据
library(Hmisc)
mydata<-spss.get("mydata.sav",use.value.labels=TRUE)
六、导入SAS数据
将sas格式的数据转换为csv格式的数据 然后用read.table()形式导入
七、导入关系型数据库的数据
R中有多种面向关系型数据库管理系统(DBMS)的接口,包括Microsoft SQL Server、Microsoft Access、MySQL、Oracle、PostgreSQL、DB2、Sybase、Teradata以及SQLite。其中一些包通过原生的数据库驱动来提供访问功能,另一些则是通过ODBC或JDBC来实现访问的。
(1)使用ODBC的方式导入数据

‘肆’ R语言怎么把股票日收盘价转换成对数收益率

知道一系列收盘价向量X,length=1000,求对数收益率的R语言代码
acf(int[,2], lag.max = 15,type = "correlation", plot = TRUE,main='int monthly

acf(int.l[,2], lag.max = 15,type = "correlation", plot = TRUE,main='int monthly
log return')

Box.test(int[,2], lag = 5, type = "Ljung-Box")
Box.test(int[,2], lag = 10, type = "Ljung-Box")
Box.test(int.l[,2], lag = 5, type = "Ljung-Box")
Box.test(int.l[,2], lag = 10, type = "Ljung-Box")

运行结错误办

> int <- read.table("d-intc7208.txt", head=T)
错误于file(file, "rt") : 打链结
外: 警告信息:
In file(file, "rt") :
打文件'd-intc7208.txt': No such file or directory

+ acf(int.l[,2], lag.max = 15,type = "correlation", plot = TRUE,main='int monthly
错误: 意外符号 in:
"
acf(int.l[,2], lag.max = 15,type = "correlation", plot = TRUE,main='int"
> log return')
错误: 意外符号 in "log return"

‘伍’ 有哪些关于 R 语言的书值得推荐

数据挖掘与R语言
本书首先简要介绍了R软件的基础知识(安装、R数据结构、R编程、R的输入和输出等)。然后通过四个数据挖掘的实际案例 (藻类频率的预测、证券趋势预测和交易系统仿真、交易欺诈预测、微阵列数据分类)介绍数据挖掘技术。这四个案例基本覆盖了常见的数据挖掘技术,从无监督的 数据挖掘技术、有监督的数据挖掘技术到半监督的数据挖掘技术。全书以实际问题、解决方案和对解决方案的讨论为主线来组织内容,脉络清晰,并且各章自成体 系。读者可以从头至尾逐章学习,也可以根据自己的需要进行学习,找到自己实际问题的解决方案。

本书不需要读者具备R和数据挖掘的基础知识。不管是R初学者,还是熟练的R用户都能从书中找到对自己有用的内容。读者既可以把本书作为学习如何应用R的一本优秀教材,也可以作为数据挖掘的工具书。

机器学习:实用案例解析
机器学习是计算机科学和人工智能中非常重要的一个研究领域,近年来,机器学习不但在计算机科学的众多领域中大显身手,而且成为一些交叉学科的重要支撑技 术。本书比较全面系统地介绍了机器学习的方法和技术,不仅详细阐述了许多经典的学习方法,还讨论了一些有生命力的新理论、新方法。

全书案例既有分类问题,也有回归问题;既包 含监督学习,也涵盖无监督学习。本书讨论的案例从分类讲到回归,然后讨论了聚类、降维、最优化问题等。这些案例包括分类:垃圾邮件识别,排序:智能收件 箱,回归模型:预测网页访问量,正则化:文本回归,最优化:密码破解,无监督学习:构建股票市早闭郑场指数,空间相似度:用投票记录对美国参议员聚类,推荐系 统:给用户推荐R语言包,社交网络分析:在Twitter上感兴趣的人,模型比较:给你的问题找到最佳算法。各章对原理的叙述力求概陆颂念清晰、表达准确,突 出理论联系实际,富有启发性,易于理解。在探索这些案例的过程中用到的基本工具就是R统计编程语言。R语言非常适合用于机器学习的案例研究,因为它是一种 用于数据分析的高水平、功能性脚本语言。

R语言经典实例
本书涵盖200多个R语言实用方法,可以帮助读者快速而有效地使用R进行数据分析。R语言给我们提供了统计分析酣一切工具,但是R本身的结 构可能有些难于掌握。本书提供的这些面向任务、简明的R语言方法包含了从基本的分析任务到输入和输出、常用统计分析、绘图、线性回归等内容,它们可以让你 马上应用R高效地工作。
每一个R语言方法都专注于一个特定的问题,随后的讨论则对问题的解决方案给出解释,并阐释该方法的工作机理。对于R的初级用户,《R语言经典实例》将帮助 你步入R的殿堂;对于R的资深用户,本书将加深你对R的理解并拓展你的视野。通过本书,你可以使你的分析工作顺利完成并学习更多R语言知识。本书由蒂特 着。

R语言编程艺术
R语言是世界上最流行的用于数据态吵处理和统 计分析的脚本语言。考古学家用它来跟踪古代文明的传播,医药公司用它来探索哪种药物更安全、更有效,精算师用它评估金融风险以保证市场的平稳运行。总之, 在大数据时代,统计数据、分析数据都离不开计算机软件的支持,在这方面R语言尤其出色。

本书将带领你踏上R语言软件开发之旅,从最 基本的数据类型和数据结构开始,到闭包、递归和匿名函数等高级主题,由浅入深,讲解细腻,读者完全不需要统计学的知识,甚至不需要编程基础。而书中提到的 很多高级编程技巧,都是作者多年编程经验的总结,对有经验的开发者也大有裨益。本书精选了44个扩展案例,这些案例都源自于作者亲身参与过的咨询项目,都 是与数据分析相关的,生动展示了R语言在统计学中的高效应用。

金融数据分析导论:基于R语言
本书由统计学领域着名专家Ruey S. Tsay(蔡瑞胸)所着,从基本的金融数据出发,讨论了这些数据的汇总统计和相关的可视化方法,之后分别介绍了商业、金融和经济领域中的基本时间序列分析和计量经济模型。

时间序列分析及应用:R语言(原书第2版)
本书以易于理解的方式讲述了时间序列模型及其应用,主要内容包括:趋势、平稳时间序列模型、非平稳时间序列模 型、模型识别、参数估计、模型诊断、预测、季节模型、时间序列回归模型、异方差时间序列模型、谱分析入门、谱估计、门限模型.对所有的思想和方法,都用真 实数据集和模拟数据集进行了说明。
本书可作为高等院校统计、经济、商科、工程及定量社会科学等专业学生的教材或教学参考书,同时也可供相关技术人员使用。

‘陆’ 急!!!R语言读取万德数据库遇到问题 :CWSDService: quota exceeded.

是的,每个账户查询数据量有个限额,任意一个连续的7天之内都不能超过这个额度。你可以等到明天再跑一跑,或者联系客户经理要求提升权限。

‘柒’ 有哪些值得推荐的数据可视化工具

奥 威 推 出的跨平台大数据可视化工具(OurwayBI)

OurwayBI采用Node.js。Node.js是一个Javascript运行环境(runtime),它实际上是对Google V8引擎进行了封装。V8引擎执行Javascript的速度非常快,利用基于时间序列的内存计算技术,减少与数据库的交互,可大大提升效率。操作指引更易上手:OurwayBI为了让用户不进行任何培训即可掌握常用操作,设置了操作指引,智能引导用户逐步掌握基本操作及各项技巧。整个产品的UI进行了大量细节优化,以增加使用者的美观要求与使用体验等。

‘捌’ Python中怎么用爬虫爬

Python爬虫可以爬取的东西有很多,Python爬虫怎么学?简单的分析下:
如果你仔细观察,就不难发现,懂爬虫、学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样的编程语言提供越来越多的优秀工具,让爬虫变得简单、容易上手。
利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:
知乎:爬取优质答案,为你筛选出各话题下最优质的内容。
淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。
安居客、链家:抓取房产买卖及租售信息,分析房价变化趋势、做不同区域的房价分析。
拉勾网、智联:爬取各类职位信息,分析各行业人才需求情况及薪资水平。
雪球网:抓取雪球高回报用户的行为,对股票市场进行分析和预测。
爬虫是入门Python最好的方式,没有之一。Python有很多应用的方向,比如后台开发、web开发、科学计算等等,但爬虫对于初学者而言更友好,原理简单,几行代码就能实现基本的爬虫,学习的过程更加平滑,你能体会更大的成就感。
掌握基本的爬虫后,你再去学习Python数据分析、web开发甚至机器学习,都会更得心应手。因为这个过程中,Python基本语法、库的使用,以及如何查找文档你都非常熟悉了。
对于小白来说,爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python,然后哼哧哼哧系统学习 Python 的每个知识点,很久之后发现仍然爬不了数据;有的人则认为先要掌握网页的知识,遂开始 HTMLCSS,结果入了前端的坑,瘁……
但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议你从一开始就要有一个具体的目标。
在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy,搭建工程化爬虫
4.学习数据库知识,应对大规模数据存储与提取
5.掌握各种技巧,应对特殊网站的反爬措施
6.分布式爬虫,实现大规模并发采集,提升效率

阅读全文

与r语言爬取大量股票数据库相关的资料

热点内容
浦发银行股票08 浏览:671
你们股票开户用的什么软件 浏览:307
股票吸筹完毕指标公式 浏览:335
股票涨停的目的 浏览:484
首次发行股票最低多少 浏览:134
证券公司股票负债率多少合理 浏览:459
st股票上涨意味 浏览:233
股票重组时间规定最长多少天 浏览:581
长期股权投资和股票投资的区别 浏览:746
股票账户哪个银行能开 浏览:113
什么股票在外国却在中国赚钱 浏览:702
富威科技股票代码 浏览:63
史丹利股票走势图 浏览:935
股票st了能卖吗 浏览:621
买股票分分红股价涨都能赚钱 浏览:417
投资股票收益计算 浏览:337
行业板块中挑选股票 浏览:66
哪里可以查看股票前几年的价格走势 浏览:732
七匹狼股票走势分析预测 浏览:362
股票账户怎么统计今年利润 浏览:421