go爬去股票数据库

❶ matlab怎样抓取Yahoo/Sina的股票数据

给你一个例程，用于抓取新浪股票2017年1月份的股票数据。程序如下：

clc;
clear;
year=2017;
season = 1 ;
fprintf('抓取%d年%d季度的数据中...\n', year, season)
[sourcefile, status] = urlread(sprintf('http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_MarketHistory/stockid/000001/type/S.phtml?year=%d&season=%d', year));
expr2 = '<div align="center">(\d*\.?\d*)</div>';
[datafile, data_tokens] = regexp(sourcefile, expr2, 'match', 'tokens'); %从源文件中获取目标数据
data = zeros(size(data_tokens));%产生和数据相同长度的0
for idx = 1:length(data_tokens)
data(idx) = str2double(data_tokens{idx}{1}); %转变数据类型后存入data中
end
%%占坑打个广告，代写matlab程序（毕业设计，课程任务等）
%%信号处理，小波变换，PCA降维，ICA分析，分类器，滤波器等。QQ：1577232787

❷ 如何利用一些 finance 数据库 api 批量获取股票信息

使用Yahoo API获取股票信息。

❸ GO语言（三十二）：访问关系型数据库（下）

在本节中，您将使用 Go 执行 SQL INSERT语句以向数据库添加新行。

您已经了解了如何使用Query和QueryRow处理返回数据的 SQL 语句。要执行 不 返回数据的 SQL 语句，请使用Exec.

1、在albumByID下面，粘贴以下addAlbum函数以在数据库中插入新专辑，然后保存 main.go。

在此代码中：

（1）用DB.Exec执行INSERT语句。

Exec接受一条 SQL 语句，后跟 SQL 语句的参数值。

（2）检查尝试INSERT中的错误。

（3）使用Result.LastInsertId检索插入的数据库行的 ID 。

（4）检查尝试戚迟改检索 ID 的错误。

2、更新main以调用新addAlbum函数。

在main函数末尾添加以下代码。

在新代码中：

（1）调用addAlbum添加新专辑，将要添加的专辑的 ID 分配给albID变量。

从包含 main.go 目录的命令行中旦旁，运行代码。

恭喜！您刚刚使用 Go 对高判关系数据库执行了简单的操作。

本节包含您使用本教程构建的应用程序的代码。

❹ 如何获取股票数据与历史数据以数据库方式存储的

股票历史数据查询有个很不错的网页工具可以推荐，地址是http://tool.cnfunny.cn/#/打开就可以直接使用，还可以大批量下载，方便省事！

❺ 怎么做实时的股票数据库

如果主站提供有相关的接口的话,可以调主站的接口.如果主站不提供相关接口.那就不不断抓取.获取最新的信息了.

❻ GO数据库介绍（转载）

类似于语义网络。是为了生物界有一个统一的数据交流语言。 因为在生物学界，存在在种种同名异义、异议同名的现象。为此产生了GO项目。

GO是用一套统一的词汇表来描述生物学中的分子功能、生物过程和细胞成分。其思想大概过程：对于一个基因产品（蛋白质或RNA），用某些词汇来描述它是干什么的或位于细胞哪里、或者参与了哪个生物过程，而这些词汇就是来自GO的Term。

（1）提供生物学功能（术语）的逻辑结构及其相互之间的关系，表现为有向无环图
（2）给特定的基因产辩友举物（蛋白质，非编码RNA或大分子复合体，简称为'基因'）起一个特定的名字（唯一标识该基因）

Gene Ontology（GO）中最基本的概念是term。GO里面的每一个entry都有一个唯一的数字标记，形如GO:nnnnnnn，还有一个term名，比如"cell", "fibroblast growth factor receptor binding"，或者"signal transction"。每个term都属于一个ontology，总共有三个ontology，它们分别是
细胞成分：细胞的部分或其细胞外环境;
分子功能：基因产物在分子水平上的元素活性，例如结合或催化;
生物过程：具有确定开始和结束的分子事件的操作或集合，与综合生活单元的功能有关

理由一：
在基因表达谱分析中，GO常用于提供基因功能分类标签和基因功能研究的背景知识。利用GO的知识体系和结构特点，旨在发掘与基因差异表达现象关联的单个特征基因功能类或多个特征功能类的组合。
根据GO的知识体系，使用“功能类”（或者叫做“功能模块”）这一概念具有以下优点：我们认为，单个基因的表达情况的改变不足以反映特定功能/通路的整体变化情况。因为类似人类社会的组织结构，生物体的功能的实现决不仅仅是依靠一两个基因功能的改变来实现的。因此过分着重单个基因表达变化，将会在后期结果处理中严重携碧干扰对于结果的合理分析，导致偏倚性加大，而且是无法避免的。因此利用GO的结构体系，把参与同样功能/通路的基因进行“功能类”层面的抽象和整合，提供比基因更高一层次的抽象结论，对理解疾病的发病机制或药物的作用机理等更有帮助。
但是该方法也存在一定的不足，由于生物体内部的调控网络可能具有“scale-free network”的特点，个别功能重要的基因（主效基因）具有“Hub节点”的重要特性，它的功能改变可能对于整个网络来说是至关重要的，在这告凳点上，这些重要的基因又具有一定的“自私独裁”特点。而“功能类”之观点模糊了这种差别特性，过于强调“共性”，而忽视了“个性”，这也是“功能类”的一个不足之处，这就需要结合相关的生物学知识才能够实现

理由二：
GO（gene ontology）对大家而言也许会是一个相对陌生的名词，但是它已经成为生物信息领域中一个极为重要的方法和工具，并正在逐步改变着我们对 biological data的组织和理解方式，它的存在已经大大加快了我们对所拥有的生物数据的整合和利用，我们应该逐步学会理解和掌握这种思想和工具。
众所周知，sequence based biology中的核心内容即是对序列的Annotation（注释），其中主要包含structural annotation和functional annotation，前者涉及分析sequence在genome中的locus以及exon，intron，promoter等的location，而后者则是推断序列编码产物的功能
随着多种生物genome的相继解码，同时大量ESTs以及gene expression profile date的积累，使得annotation的工作量和复杂度大大增加。然而另一方面，大多数基因在不同真核生物中拥有共同的主要生物功能，通过在某些物种中获得的基因或者蛋白质（shared protein）的生物学信息，可以用以解释其他物种中对应的基因或蛋白（especially in comparative genomics）。由于这些繁复的功能信息主要是包含在积累的文献之中，如何有效的提取和综合这些信息就是我们面临的核心困难，这也是GO所要着力解决的问题。通过建立一套具有动态形式的控制字集（controlled vocabulary），来解释真核基因及蛋白在细胞内所扮演的角色，并随着生命科学研究的进步，不断积累和更新。一个ontology会被一个控制字集来描述并给予一定的名称，通过制定“本体”ontologies并运用统计学方法及自然语言处理技术，可以实现知识管理的专家系统控制

总结：
Gene Ontology（GO）包含了基因参与的生物过程，所处的细胞位置，发挥的分子功能三方面功能信息，并将概念粗细不同的功能概念组织成DAG（有向无环图）的结构。
Gene Ontology是一个使用有控制的词汇表和严格定义的概念关系，以有向无环图的形式统一表示各物种的基因功能分类体系，从而较全面地概括了基因的功能信息，纠正了传统功能分类体系中常见的维度混淆问题。
在基因表达谱分析中，GO常用于提供基因功能分类标签和基因功能研究的背景知识。利用GO的知识体系和结构特点，旨在发掘与基因差异表达现象关联的单个特征基因功能类或多个特征功能类的组合。
原文： https://mp.weixin.qq.com/s/e4BkqkMt7L9ZS_KBuv2rvQ

❼ GO语言（三十）：访问关系型数据库（上）

本教程介绍了使用 Godatabase/sql及其标准库中的包访问关系数据库的基础知识。

您将使用的database/sql包包括用于连接数据库、执行事务、取消正在进行的操作等的类型和函数。

在本教程中，您将创建一个数据库，然后编写代码来访问该数据库。您的示例项目将是有关老式爵士乐唱片的数据存储库。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 data-access 的目录。

3、创建一个模块，您可以在其中管理将在本教程中添加的依赖项。

运行go mod init命令，为其提供新代码的模块路径。

此命令创建一个 go.mod 文件，您添加的依赖项将在其中列出以供跟踪。

注意： 在实际开发中，您会指定一个更符合您自己需求的模块路径。有关更多信息，请参阅一下文章。

GO语言（二十五）：管理依赖项（上）

GO语言（二十六）：管理依赖项（中）

GO语言（二十七）：管理依赖项（下）

接下来，您将创建一个数据库。

在此步骤中，您将创建要使用的数据库。您将使用 DBMS 本身的 CLI 创建数据库和表，以及添加数据。

您将创建一个数据库，其中包含有关黑胶唱片上的老式爵士乐录音的数据。

这里的代码使用MySQL CLI，但大多数 DBMS 都有自己的 CLI，具有类似的功能。

1、打开一个新的命令提示符。

在命令行，登录到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，创建一个数据库。

3、切到您刚刚创建的数据库，以便您可以添加表。

4、在文本编辑器的 data-access 文件夹中，创建一个名为 create-tables.sql 的文件来保存用于添加表的 SQL 脚本。

将以下 SQL 代码粘贴到文件中，然后保存文件。

在此 SQL 代码中：

（1）删除名为album表。 首先执行此命令可以让您更轻松地稍后重新运行脚本。

（2）创建一个album包简罩扒含四列的表：title、artist和price。每行的id值由 DBMS 自动创建。

（3）添加带有值的四行。

5、在mysql命令提示符下，运行您刚刚创建的脚本。

您将使用以下形式的source命令：

6、在 DBMS 命令提示符处，使用SELECT语句来验证您是否已成功创建包含数据的表。

接下来，您将编写一些 Go 代码进行连接，以便进行查询。

现在你已经有了一个包含一些数据的数据库，开始你的 Go 代码。

找到并导入一个数据库驱动程序，该驱动程序会将您通过database/sql包中的函数发出的请求转换为数据库可以理解的请求。

1、在您的浏览器中，访问SQLDrivers wiki 页面以识别您可以使用的驱动程序。

2、使用页面上的列表来识别您将使用的驱动程序。为了在本教程中访问 MySQL，您将使用 Go-MySQL-Driver。

3、请注意驱动程序的包名闷渗称 - 此处为github.com/go-sql-driver/mysql.

4、使用您的文本编辑器，创建一个用于编写 Go 代码的文件，并将该文件作为 main.go 保存在您之前创建的数据访问目录中。

5、进入main.go，粘贴以下代码导入驱动包。

在此代码中：

（1）将您的代码添加到main包中，以便您可以独立执行它。

（2）导入 MySQL 驱动程序github.com/go-sql-driver/mysql。

导入驱动程序后，您将开始编拦昌写代码以访问数据库。

现在编写一些 Go 代码，让您使用数据库句柄访问数据库。

您将使用指向结构的指针sql.DB，它表示对特定数据库的访问。

编写代码

1、进入 main.go，在import您刚刚添加的代码下方，粘贴以下 Go 代码以创建数据库句柄。

在此代码中：

（3）使用 MySQL 驱动程序Config和FormatDSN类型以收集连接属性并将它们格式化为连接字符串的 DSN。

该Config结构使代码比连接字符串更容易阅读。

（4）调用sql.Open 初始化db变量，传递 FormatDSN。

（5）检查来自 的错误sql.Open。例如，如果您的数据库连接细节格式不正确，它可能会失败。

为了简化代码，您调用log.Fatal结束执行并将错误打印到控制台。在生产代码中，您会希望以更优雅的方式处理错误。

（6）调用DB.Ping以确认连接到数据库有效。在运行时， sql.Open可能不会立即连接，具体取决于驱动程序。您在Ping此处使用以确认 database/sql包可以在需要时连接。

（7）检查来自Ping的错误，以防连接失败。

（8）Ping如果连接成功，则打印一条消息。

文件的顶部现在应该如下所示：

3、保存 main.go。

1、开始跟踪 MySQL 驱动程序模块作为依赖项。

使用go get 添加 github.com/go-sql-driver/mysql 模块作为您自己模块的依赖项。使用点参数表示“获取当前目录中代码的依赖项”。

2、在命令提示符下，设置Go 程序使用的DBUSER和DBPASS环境变量。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 main.go 的目录中的命令行中，通过键入go run来运行代码。

连接成功了！

接下来，您将查询一些数据。

❽ Go 数据库操作异常处理

第一种写法

第二种写法

上述两种写法说明：

两陵橡种写法都没啥问题，第一种写法， 如果只插入一条数据，可以使用第一种写法简单；第二种写法可以拿到执行的 *DB ，方便后续的 DB 操作

说明:

update 方法将返回执行完之后的 *DB, 需要通过指针对象才能尺竖旁获取正确的 RowAffected 。

事务的提交也可能会有 error , 要判断是否正确 commit

需要判断 tx.Error ，因为事务的提交可能会有 error

其实要注意的是，没查询到结果，也会返回一个 Error

gorm 的 ErrRecordNotFound 也好理解，假设根据身份证号查询公民信息，如果是一个无效的身份证ID，那纤磨必然无法查询到结果， 其实就是查询不到结果，会返回一个错误。

当然 GORM 提供了一个处理 RecordNotFound 错误的快捷方式，如果发生了多个错误，它将检查每个错误，如果它们中的任何一个是RecordNotFound 错误。

当一个程序中使用两个不同的数据库时， 重写方法DefaultTableNameHandler()会影响到两个数据库中的表名。 其中一个数据库需要设置表前缀时，访问另一个数据库的表也可能会被加上前缀。 因为是包级别的方法，整个代码里只能设置一次值。

❾ 如何使用 Yahoo，Finance stock API 获取股票数据

有三种方法获得数据，具体如下：

1、通过API获取实时数据

请求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>

具体参数：

s – 表示股票名称，多个股票之间使用英文“+”分隔如：”XOM+BBDb.TO+MSFT”，表示三个公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回数据列，如”snd1l1yr”。更详细的参见雅虎股票 API f 参数对照表。

2、通过API获取历史数据

请求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具体参数：

s – 股票名称

a – 起始时间，月

b – 起始时间，日

c – 起始时间，年

d – 结束时间，月

e – 结束时间，日

f – 结束时间，年

g – 时间周期。

例如: g=w, 表示周期是“周"。d表示“日”(day)，w表示“周”(week)，m表示“月”(mouth)，一定注意月份参数，其值比真实数据少1。如需要9月数据，则写为08。

3、通过API获取深沪股票数据

雅虎的API是国际性的，支持查询国内沪深股市的数据，但代码稍微变动一下，如浦发银行的代号是：600000.SS。规则是：上海市场末尾加.SS，深圳市场末尾加.SZ。

❿ 使用Go实现一个数据库连接池

开始本文之前，我们看一段Go连接数据库的代码：

本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能。

转自：https://www.jianshu.com/p/cbfc398bd4d6

整理：地鼠文档：www.topgoer.cn

那么sql.DB连接池是如何工作的呢?

需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。

当您使用Go执行数据库操作时，它将首先检查池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。

当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。

连接池有四个方法，我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。

SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下，打开的连接数是无限的。

一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越睁嫌多，连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择。默认情况下，PostgreSQL最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动轿镇返回”sorry, too many clients already”错误。

为了避免这个错误，将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。

设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告。如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。

SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限。缺省情况下，最大空闲连接数为2。

理论上，在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—，因此有助于节省资源。

但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。例如，默认情况下MySQL会自动关闭任何8小时未使用的连接。

因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源。因此保持适量的空闲悉帆手连接是必要的。理想情况下，你只希望保持一个连接空闲，可以快速使用。

另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点，并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间。默认连接的存活时间没有限制，永久可用。

如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。但需要注意：

理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接。但是在某些情况下，设置短期存活时间有用。比如：

如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。

SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除。

这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源。

所以有很多信息要吸收。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。

1、根据经验，您应该显式地设置MaxOpenConns值。这个值应该低于数据库和操作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用。

对于本书中的项目，我们将MaxOpenConns限制为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值。

2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。

因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns限制为25个连接。

3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟。

4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬限制，或者您需要它协助一些操作，比如优雅地交换数据库。这些都不适用于本项目，所以我们将保留这个默认的无限制配置。

与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置。

ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。这里有几个选择:

1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration。

2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:

File: cmd/api/main.go