go爬去股票資料庫

❶ matlab怎樣抓取Yahoo/Sina的股票數據

給你一個常式，用於抓取新浪股票2017年1月份的股票數據。程序如下：

clc;
clear;
year=2017;
season = 1 ;
fprintf('抓取%d年%d季度的數據中...\n', year, season)
[sourcefile, status] = urlread(sprintf('http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_MarketHistory/stockid/000001/type/S.phtml?year=%d&season=%d', year));
expr2 = '<div align="center">(\d*\.?\d*)</div>';
[datafile, data_tokens] = regexp(sourcefile, expr2, 'match', 'tokens'); %從源文件中獲取目標數據
data = zeros(size(data_tokens));%產生和數據相同長度的0
for idx = 1:length(data_tokens)
data(idx) = str2double(data_tokens{idx}{1}); %轉變數據類型後存入data中
end
%%占坑打個廣告，代寫matlab程序（畢業設計，課程任務等）
%%信號處理，小波變換，PCA降維，ICA分析，分類器，濾波器等。QQ：1577232787

❷ 如何利用一些 finance 資料庫 api 批量獲取股票信息

使用Yahoo API獲取股票信息。

❸ GO語言（三十二）：訪問關系型資料庫（下）

在本節中，您將使用 Go 執行 SQL INSERT語句以向資料庫添加新行。

您已經了解了如何使用Query和QueryRow處理返回數據的 SQL 語句。要執行 不 返回數據的 SQL 語句，請使用Exec.

1、在albumByID下面，粘貼以下addAlbum函數以在資料庫中插入新專輯，然後保存 main.go。

在此代碼中：

（1）用DB.Exec執行INSERT語句。

Exec接受一條 SQL 語句，後跟 SQL 語句的參數值。

（2）檢查嘗試INSERT中的錯誤。

（3）使用Result.LastInsertId檢索插入的資料庫行的 ID 。

（4）檢查嘗試戚遲改檢索 ID 的錯誤。

2、更新main以調用新addAlbum函數。

在main函數末尾添加以下代碼。

在新代碼中：

（1）調用addAlbum添加新專輯，將要添加的專輯的 ID 分配給albID變數。

從包含 main.go 目錄的命令行中旦旁，運行代碼。

恭喜！您剛剛使用 Go 對高判關系資料庫執行了簡單的操作。

本節包含您使用本教程構建的應用程序的代碼。

❹ 如何獲取股票數據與歷史數據以資料庫方式存儲的

股票歷史數據查詢有個很不錯的網頁工具可以推薦，地址是http://tool.cnfunny.cn/#/打開就可以直接使用，還可以大批量下載，方便省事！

❺ 怎麼做實時的股票資料庫

如果主站提供有相關的介面的話,可以調主站的介面.如果主站不提供相關介面.那就不不斷抓取.獲取最新的信息了.

❻ GO資料庫介紹（轉載）

類似於語義網路。是為了生物界有一個統一的數據交流語言。 因為在生物學界，存在在種種同名異義、異議同名的現象。為此產生了GO項目。

GO是用一套統一的詞彙表來描述生物學中的分子功能、生物過程和細胞成分。其思想大概過程：對於一個基因產品（蛋白質或RNA），用某些詞彙來描述它是干什麼的或位於細胞哪裡、或者參與了哪個生物過程，而這些詞彙就是來自GO的Term。

（1）提供生物學功能（術語）的邏輯結構及其相互之間的關系，表現為有向無環圖
（2）給特定的基因產辯友舉物（蛋白質，非編碼RNA或大分子復合體，簡稱為'基因'）起一個特定的名字（唯一標識該基因）

Gene Ontology（GO）中最基本的概念是term。GO裡面的每一個entry都有一個唯一的數字標記，形如GO:nnnnnnn，還有一個term名，比如"cell", "fibroblast growth factor receptor binding"，或者"signal transction"。每個term都屬於一個ontology，總共有三個ontology，它們分別是
細胞成分：細胞的部分或其細胞外環境;
分子功能：基因產物在分子水平上的元素活性，例如結合或催化;
生物過程：具有確定開始和結束的分子事件的操作或集合，與綜合生活單元的功能有關

理由一：
在基因表達譜分析中，GO常用於提供基因功能分類標簽和基因功能研究的背景知識。利用GO的知識體系和結構特點，旨在發掘與基因差異表達現象關聯的單個特徵基因功能類或多個特徵功能類的組合。
根據GO的知識體系，使用「功能類」（或者叫做「功能模塊」）這一概念具有以下優點：我們認為，單個基因的表達情況的改變不足以反映特定功能/通路的整體變化情況。因為類似人類社會的組織結構，生物體的功能的實現決不僅僅是依靠一兩個基因功能的改變來實現的。因此過分著重單個基因表達變化，將會在後期結果處理中嚴重攜碧干擾對於結果的合理分析，導致偏倚性加大，而且是無法避免的。因此利用GO的結構體系，把參與同樣功能/通路的基因進行「功能類」層面的抽象和整合，提供比基因更高一層次的抽象結論，對理解疾病的發病機制或葯物的作用機理等更有幫助。
但是該方法也存在一定的不足，由於生物體內部的調控網路可能具有「scale-free network」的特點，個別功能重要的基因（主效基因）具有「Hub節點」的重要特性，它的功能改變可能對於整個網路來說是至關重要的，在這告凳點上，這些重要的基因又具有一定的「自私獨裁」特點。而「功能類」之觀點模糊了這種差別特性，過於強調「共性」，而忽視了「個性」，這也是「功能類」的一個不足之處，這就需要結合相關的生物學知識才能夠實現

理由二：
GO（gene ontology）對大家而言也許會是一個相對陌生的名詞，但是它已經成為生物信息領域中一個極為重要的方法和工具，並正在逐步改變著我們對 biological data的組織和理解方式，它的存在已經大大加快了我們對所擁有的生物數據的整合和利用，我們應該逐步學會理解和掌握這種思想和工具。
眾所周知，sequence based biology中的核心內容即是對序列的Annotation（注釋），其中主要包含structural annotation和functional annotation，前者涉及分析sequence在genome中的locus以及exon，intron，promoter等的location，而後者則是推斷序列編碼產物的功能
隨著多種生物genome的相繼解碼，同時大量ESTs以及gene expression profile date的積累，使得annotation的工作量和復雜度大大增加。然而另一方面，大多數基因在不同真核生物中擁有共同的主要生物功能，通過在某些物種中獲得的基因或者蛋白質（shared protein）的生物學信息，可以用以解釋其他物種中對應的基因或蛋白（especially in comparative genomics）。由於這些繁復的功能信息主要是包含在積累的文獻之中，如何有效的提取和綜合這些信息就是我們面臨的核心困難，這也是GO所要著力解決的問題。通過建立一套具有動態形式的控制字集（controlled vocabulary），來解釋真核基因及蛋白在細胞內所扮演的角色，並隨著生命科學研究的進步，不斷積累和更新。一個ontology會被一個控制字集來描述並給予一定的名稱，通過制定「本體」ontologies並運用統計學方法及自然語言處理技術，可以實現知識管理的專家系統控制

總結：
Gene Ontology（GO）包含了基因參與的生物過程，所處的細胞位置，發揮的分子功能三方面功能信息，並將概念粗細不同的功能概念組織成DAG（有向無環圖）的結構。
Gene Ontology是一個使用有控制的詞彙表和嚴格定義的概念關系，以有向無環圖的形式統一表示各物種的基因功能分類體系，從而較全面地概括了基因的功能信息，糾正了傳統功能分類體系中常見的維度混淆問題。
在基因表達譜分析中，GO常用於提供基因功能分類標簽和基因功能研究的背景知識。利用GO的知識體系和結構特點，旨在發掘與基因差異表達現象關聯的單個特徵基因功能類或多個特徵功能類的組合。
原文： https://mp.weixin.qq.com/s/e4BkqkMt7L9ZS_KBuv2rvQ

❼ GO語言（三十）：訪問關系型資料庫（上）

本教程介紹了使用 Godatabase/sql及其標准庫中的包訪問關系資料庫的基礎知識。

您將使用的database/sql包包括用於連接資料庫、執行事務、取消正在進行的操作等的類型和函數。

在本教程中，您將創建一個資料庫，然後編寫代碼來訪問該資料庫。您的示例項目將是有關老式爵士樂唱片的數據存儲庫。

首先，為您要編寫的代碼創建一個文件夾。

1、打開命令提示符並切換到您的主目錄。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，為您的代碼創建一個名為 data-access 的目錄。

3、創建一個模塊，您可以在其中管理將在本教程中添加的依賴項。

運行go mod init命令，為其提供新代碼的模塊路徑。

此命令創建一個 go.mod 文件，您添加的依賴項將在其中列出以供跟蹤。

注意： 在實際開發中，您會指定一個更符合您自己需求的模塊路徑。有關更多信息，請參閱一下文章。

GO語言（二十五）：管理依賴項（上）

GO語言（二十六）：管理依賴項（中）

GO語言（二十七）：管理依賴項（下）

接下來，您將創建一個資料庫。

在此步驟中，您將創建要使用的資料庫。您將使用 DBMS 本身的 CLI 創建資料庫和表，以及添加數據。

您將創建一個資料庫，其中包含有關黑膠唱片上的老式爵士樂錄音的數據。

這里的代碼使用MySQL CLI，但大多數 DBMS 都有自己的 CLI，具有類似的功能。

1、打開一個新的命令提示符。

在命令行，登錄到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，創建一個資料庫。

3、切到您剛剛創建的資料庫，以便您可以添加表。

4、在文本編輯器的 data-access 文件夾中，創建一個名為 create-tables.sql 的文件來保存用於添加表的 SQL 腳本。

將以下 SQL 代碼粘貼到文件中，然後保存文件。

在此 SQL 代碼中：

（1）刪除名為album表。 首先執行此命令可以讓您更輕松地稍後重新運行腳本。

（2）創建一個album包簡罩扒含四列的表：title、artist和price。每行的id值由 DBMS 自動創建。

（3）添加帶有值的四行。

5、在mysql命令提示符下，運行您剛剛創建的腳本。

您將使用以下形式的source命令：

6、在 DBMS 命令提示符處，使用SELECT語句來驗證您是否已成功創建包含數據的表。

接下來，您將編寫一些 Go 代碼進行連接，以便進行查詢。

現在你已經有了一個包含一些數據的資料庫，開始你的 Go 代碼。

找到並導入一個資料庫驅動程序，該驅動程序會將您通過database/sql包中的函數發出的請求轉換為資料庫可以理解的請求。

1、在您的瀏覽器中，訪問SQLDrivers wiki 頁面以識別您可以使用的驅動程序。

2、使用頁面上的列表來識別您將使用的驅動程序。為了在本教程中訪問 MySQL，您將使用 Go-MySQL-Driver。

3、請注意驅動程序的包名悶滲稱 - 此處為github.com/go-sql-driver/mysql.

4、使用您的文本編輯器，創建一個用於編寫 Go 代碼的文件，並將該文件作為 main.go 保存在您之前創建的數據訪問目錄中。

5、進入main.go，粘貼以下代碼導入驅動包。

在此代碼中：

（1）將您的代碼添加到main包中，以便您可以獨立執行它。

（2）導入 MySQL 驅動程序github.com/go-sql-driver/mysql。

導入驅動程序後，您將開始編攔昌寫代碼以訪問資料庫。

現在編寫一些 Go 代碼，讓您使用資料庫句柄訪問資料庫。

您將使用指向結構的指針sql.DB，它表示對特定資料庫的訪問。

編寫代碼

1、進入 main.go，在import您剛剛添加的代碼下方，粘貼以下 Go 代碼以創建資料庫句柄。

在此代碼中：

（3）使用 MySQL 驅動程序Config和FormatDSN類型以收集連接屬性並將它們格式化為連接字元串的 DSN。

該Config結構使代碼比連接字元串更容易閱讀。

（4）調用sql.Open 初始化db變數，傳遞 FormatDSN。

（5）檢查來自 的錯誤sql.Open。例如，如果您的資料庫連接細節格式不正確，它可能會失敗。

為了簡化代碼，您調用log.Fatal結束執行並將錯誤列印到控制台。在生產代碼中，您會希望以更優雅的方式處理錯誤。

（6）調用DB.Ping以確認連接到資料庫有效。在運行時， sql.Open可能不會立即連接，具體取決於驅動程序。您在Ping此處使用以確認 database/sql包可以在需要時連接。

（7）檢查來自Ping的錯誤，以防連接失敗。

（8）Ping如果連接成功，則列印一條消息。

文件的頂部現在應該如下所示：

3、保存 main.go。

1、開始跟蹤 MySQL 驅動程序模塊作為依賴項。

使用go get 添加 github.com/go-sql-driver/mysql 模塊作為您自己模塊的依賴項。使用點參數表示「獲取當前目錄中代碼的依賴項」。

2、在命令提示符下，設置Go 程序使用的DBUSER和DBPASS環境變數。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 main.go 的目錄中的命令行中，通過鍵入go run來運行代碼。

連接成功了！

接下來，您將查詢一些數據。

❽ Go 資料庫操作異常處理

第一種寫法

第二種寫法

上述兩種寫法說明：

兩陵橡種寫法都沒啥問題，第一種寫法， 如果只插入一條數據，可以使用第一種寫法簡單；第二種寫法可以拿到執行的 *DB ，方便後續的 DB 操作

說明:

update 方法將返回執行完之後的 *DB, 需要通過指針對象才能尺豎旁獲取正確的 RowAffected 。

事務的提交也可能會有 error , 要判斷是否正確 commit

需要判斷 tx.Error ，因為事務的提交可能會有 error

其實要注意的是，沒查詢到結果，也會返回一個 Error

gorm 的 ErrRecordNotFound 也好理解，假設根據身份證號查詢公民信息，如果是一個無效的身份證ID，那纖磨必然無法查詢到結果， 其實就是查詢不到結果，會返回一個錯誤。

當然 GORM 提供了一個處理 RecordNotFound 錯誤的快捷方式，如果發生了多個錯誤，它將檢查每個錯誤，如果它們中的任何一個是RecordNotFound 錯誤。

當一個程序中使用兩個不同的資料庫時， 重寫方法DefaultTableNameHandler()會影響到兩個資料庫中的表名。 其中一個資料庫需要設置表前綴時，訪問另一個資料庫的表也可能會被加上前綴。 因為是包級別的方法，整個代碼里只能設置一次值。

❾ 如何使用 Yahoo，Finance stock API 獲取股票數據

有三種方法獲得數據，具體如下：

1、通過API獲取實時數據

請求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名稱>&f=<數據列選項>

具體參數：

s – 表示股票名稱，多個股票之間使用英文「+」分隔如：」XOM+BBDb.TO+MSFT」，表示三個公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回數據列，如」snd1l1yr」。更詳細的參見雅虎股票 API f 參數對照表。

2、通過API獲取歷史數據

請求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具體參數：

s – 股票名稱

a – 起始時間，月

b – 起始時間，日

c – 起始時間，年

d – 結束時間，月

e – 結束時間，日

f – 結束時間，年

g – 時間周期。

例如: g=w, 表示周期是「周"。d表示「日」(day)，w表示「周」(week)，m表示「月」(mouth)，一定注意月份參數，其值比真實數據少1。如需要9月數據，則寫為08。

3、通過API獲取深滬股票數據

雅虎的API是國際性的，支持查詢國內滬深股市的數據，但代碼稍微變動一下，如浦發銀行的代號是：600000.SS。規則是：上海市場末尾加.SS，深圳市場末尾加.SZ。

❿ 使用Go實現一個資料庫連接池

開始本文之前，我們看一段Go連接資料庫的代碼：

本文內容我們將解釋連接池背後是如何工作的，並 探索 如何配置資料庫能改變或優化其性能。

轉自：https://www.jianshu.com/p/cbfc398bd4d6

整理：地鼠文檔：www.topgoer.cn

那麼sql.DB連接池是如何工作的呢?

需要理解的最重要一點是，sql.DB池包含兩種類型的連接——「正在使用」連接和「空閑」連接。當您使用連接執行資料庫任務(例如執行SQL語句或查詢行)時，該連接被標記為正在使用，任務完成後，該連接被標記為空閑。

當您使用Go執行資料庫操作時，它將首先檢查池中是否有可用的空閑連接。如果有可用的連接，那麼Go將重用這個現有連接，並在任務期間將其標記為正在使用。如果在您需要空閑連接時池中沒有空閑連接，那麼Go將創建一個新的連接。

當Go重用池中的空閑連接時，與該連接有關的任何問題都會被優雅地處理。異常連接將在放棄之前自動重試兩次，這時Go將從池中刪除異常連接並創建一個新的連接來執行該任務。

連接池有四個方法，我們可以使用它們來配置連接池的行為。讓我們一個一個地來討論。

SetMaxOpenConns()方法允許您設置池中「打開」連接(使用中+空閑連接)數量的上限。默認情況下，打開的連接數是無限的。

一般來說，MaxOpenConns設置得越大，可以並發執行的資料庫查詢就越睜嫌多，連接池本身成為應用程序中的瓶頸的風險就越低。

但讓它無限並不是最好的選擇。默認情況下，PostgreSQL最多100個打開連接的硬限制，如果達到這個限制的話，它將導致pq驅動轎鎮返回」sorry, too many clients already」錯誤。

為了避免這個錯誤，將池中打開的連接數量限制在100以下是有意義的，可以為其他需要使用PostgreSQL的應用程序或會話留下足夠的空間。

設置MaxOpenConns限制的另一個好處是，它充當一個非常基本的限流器，防止資料庫同時被大量任務壓垮。

但設定上限有一個重要的警告。如果達到MaxOpenConns限制，並且所有連接都在使用中，那麼任何新的資料庫任務將被迫等待，直到有連接空閑。在我們的API上下文中，用戶的HTTP請求可能在等待空閑連接時無限期地「掛起」。因此，為了緩解這種情況，使用上下文為資料庫任務設置超時是很重要的。我們將在書的後面解釋如何處理。

SetMaxIdleConns()方法的作用是：設置池中空閑連接數的上限。預設情況下，最大空閑連接數為2。

理論上，在池中允許更多的空閑連接將增加性能。因為它減少了從頭建立新連接發生概率—，因此有助於節省資源。

但要意識到保持空閑連接是有代價的。它佔用了本來可以用於應用程序和資料庫的內存，而且如果一個連接空閑時間過長，它也可能變得不可用。例如，默認情況下MySQL會自動關閉任何8小時未使用的連接。

因此，與使用更小的空閑連接池相比，將MaxIdleConns設置得過高可能會導致更多的連接變得不可用，浪費資源。因此保持適量的空閑悉帆手連接是必要的。理想情況下，你只希望保持一個連接空閑，可以快速使用。

另一件要指出的事情是MaxIdleConns值應該總是小於或等於MaxOpenConns。Go會強制保證這點，並在必要時自動減少MaxIdleConns值。

SetConnMaxLifetime()方法用於設置ConnMaxLifetime的極限值，表示一個連接保持可用的最長時間。默認連接的存活時間沒有限制，永久可用。

如果設置ConnMaxLifetime的值為1小時，意味著所有的連接在創建後，經過一個小時就會被標記為失效連接，標志後就不可復用。但需要注意：

理論上，ConnMaxLifetime為無限大（或設置為很長生命周期）將提升性能，因為這樣可以減少新建連接。但是在某些情況下，設置短期存活時間有用。比如：

如果您決定對連接池設置ConnMaxLifetime，那麼一定要記住連接過期(然後重新創建)的頻率。例如，如果連接池中有100個打開的連接，而ConnMaxLifetime為1分鍾，那麼您的應用程序平均每秒可以殺死並重新創建多達1.67個連接。您不希望頻率太大而最終影響性能吧。

SetConnMaxIdleTime()方法在Go 1.15版本引入對ConnMaxIdleTime進行配置。其效果和ConnMaxLifeTime類似，但這里設置的是：在被標記為失效之前一個連接最長空閑時間。例如，如果我們將ConnMaxIdleTime設置為1小時，那麼自上次使用以後在池中空閑了1小時的任何連接都將被標記為過期並被後台清理操作刪除。

這個配置非常有用，因為它意味著我們可以對池中空閑連接的數量設置相對較高的限制，但可以通過刪除不再真正使用的空閑連接來周期性地釋放資源。

所以有很多信息要吸收。這在實踐中意味著什麼？我們把以上所有的內容總結成一些可行的要點。

1、根據經驗，您應該顯式地設置MaxOpenConns值。這個值應該低於資料庫和操作系統對連接數量的硬性限制，您還可以考慮將其保持在相當低的水平，以充當基本的限流作用。

對於本書中的項目，我們將MaxOpenConns限制為25個連接。我發現這對於小型到中型的web應用程序和API來說是一個合理的初始值，但理想情況下，您應該根據基準測試和壓測結果調整這個值。

2、通常，更大的MaxOpenConns和MaxIdleConns值會帶來更好的性能。但是，效果是逐漸降低的，而且您應該注意，太多的空閑連接(連接沒有被復用)實際上會導致性能下降和不必要的資源消耗。

因為MaxIdleConns應該總是小於或等於MaxOpenConns，所以對於這個項目，我們還將MaxIdleConns限制為25個連接。

3、為了降低上面第2點的風險，通常應該設置ConnMaxIdleTime值來刪除長時間未使用的空閑連接。在這個項目中，我們將設置ConnMaxIdleTime持續時間為15分鍾。

4、ConnMaxLifetime默認設置為無限大是可以的，除非您的資料庫對連接生命周期施加了硬限制，或者您需要它協助一些操作，比如優雅地交換資料庫。這些都不適用於本項目，所以我們將保留這個默認的無限制配置。

與其硬編碼這些配置，不如更新cmd/api/main.go文件通過命令行參數讀取配置。

ConnMaxIdleTime值比較有意思，因為我們希望它傳遞一段時間，最終需要將其轉換為Go的time.Duration類型。這里有幾個選擇:

1、我們可以使用一個整數來表示秒(或分鍾)的數量，並將其轉換為time.Duration。

2、我們可以使用一個表示持續時間的字元串——比如「5s」(5秒)或「10m」(10分鍾)——然後使用time.ParseDuration()函數解析它。

3、兩種方法都可以很好地工作，但是在這個項目中我們將使用選項2。繼續並更新cmd/api/main.go文件如下:

File: cmd/api/main.go