股票數據爬蟲演算法

❶ java 如何實現 獲取實時股票數據

一般有三種方式：

1. 網頁爬蟲。採用爬蟲去爬取目標網頁的股票數據，去GitHub或技術論壇（如CSDN、51CTO）上找一下別人寫的爬蟲集成到項目中。

2. 請求第三方API。會有專門的公司（例如網路API市場）提供股票數據，你只需要去購買他們的服務，使用他們提供的SDK，仿照demo開發實現即可。如下圖所示：

❷ 如何利用一些 finance 資料庫 api 批量獲取股票信息

使用Yahoo API獲取股票信息。

❸ 爬取股票信息是網路爬蟲的應用場景嗎

網路爬蟲可以用來爬取股票信息，因為股票信息可以在互聯網上搜索並獲取，網路爬蟲可以自動收集這些信息。網路爬蟲是一種自動地抓取互聯網信息的程序，能夠按照指定的規則自動地抓取網站上的信息，是一種常見的數據抓取技術。

❹ 怎麼學python爬取財經信息

本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。

由於Yahoo Finance的股票頁面中的數值都有相應id。

例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_qqq">87.49</span>

而標普500指數ETF（SPY）


其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_spy">187.25</span>

因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）

樣本輸出：

數據依次是

數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價

[python]view plain

• 05/05/(IBB)233.281.85%225.34233.28

• 05/05/(SOCL)17.480.17%17.1217.53

• 05/05/(PNQI)62.610.35%61.4662.74

• 05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41

• 05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56

• 05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42

• 05/05/(VBK)119.97-0.03%118.37120.09

• 05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97

• 05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89

• 05/05/(DFE)62.33-0.11%61.9462.39

• 05/05/(PBD)13.030.00%12.9713.05

• 05/05/(EIRL)38.52-0.16%38.3938.60

❺ 1、如何將財經類網上股票歷年分紅數據提取到EXCEL表裡，並獲取股票實時價格

回答此類問題的描述會被網路知道判違規。

請在「數據」選項下的「自網站」進行相應的操作，然後設置數據更新頻率，即可。

❻ 互聯網金融爬蟲怎麼寫

Previous on 系列教程：

互聯網金融爬蟲怎麼寫－第一課 p2p網貸爬蟲（XPath入門）

互聯網金融爬蟲怎麼寫－第二課 雪球網股票爬蟲（正則表達式入門）
互聯網金融爬蟲怎麼寫－第三課 雪球網股票爬蟲（ajax分析）

哈哈，一小時不見，我又來了，話說出教程就是這么任性，咱們乘熱打鐵，把上節課分析完成但是沒寫的代碼給完成了！

工具要求：教程中主要使用到了 1、神箭手雲爬蟲 框架 這個是爬蟲的基礎，2、Chrome瀏覽器和Chrome的插件XpathHelper 這個用來測試Xpath寫的是否正確 3、Advanced REST Client用來模擬提交請求
基礎知識：本教程中主要用到了一些基礎的js和xpath語法，如果對這兩種語言不熟悉，可以提前先學習下，都很簡單。
還記得我們在遙遠的電商系列爬蟲教程的第一課里提到具體寫爬蟲的幾個步驟嗎？我們沿著路徑再來走一遍：

第一步：確定入口URL
暫且使用這個第一頁的ajax的url鏈接：

[html] view plain
http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12

第二步：區分內容頁和中間頁

這次大家有點犯難了，雖然說每一個股票都有一個單獨的頁面，但是列表頁的信息已經蠻多的了，光爬取列表頁信息就已經夠了，那怎麼區分內容頁和中間頁呢？其實我們只需要將內容頁和中間頁的正則設置成一樣的既可。如下：

[html] view plain
http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12
在提醒大家一下，這里之所以轉義符用了兩個是因為在神箭手中，設置正則時，是字元串設置，需要對轉義符再做一次轉義。

第三步：內容頁抽取規則
由於ajax返回的是json，而神箭手是支持jsonpath的提取方式的，因此提取規則就很簡單了。不過這里要特殊注意的是，由於我們是在列表頁抽取數據，因此數據最頂層相當於是一個列表，我們需要在頂層的field上設置一個列表數據的值。具體抽取規則如下：

[javascript] view plain
fields: [
{
name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}
]

我簡單抽取了一些信息，其他信息都類似。

好了，主要的代碼基本已經寫好了，剩下的還需要解決兩個問題
1.爬取前需要先訪問一下首頁獲取cookie
2.雖然可以直接加入下一頁，但是一共有多少頁並不知道。
首先對於第一點，我們只需要在beforeCrawl回調中訪問一下首頁即可，神箭手會自動對cookie進行處理和保存，具體代碼如下：

[javascript] view plain
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};
好了，除了下一頁基本已經沒什麼問題了，我們先測試一下看看效果：

數據已經出來了，沒問題，第一頁的數據都有了，那下一頁怎麼處理呢？我們有兩個方案：
第一個方案：
我們可以看到json的返回值中有一個count欄位，這個欄位目測應該是總數據量的值，那沒我們根據這個值，再加上單頁數據條數，我們就可以判斷總共有多少頁了。
第二個方案：
我們先訪問一下，假設頁數很大，看看會雪球會返回什麼，我們嘗試訪問第500頁，可以看到返回值中的stocks是0個，那麼我們可以根據是否有數據來判斷需不需要加下一頁。
兩個方案各有利弊，我們這里選擇用第一個方案來處理，具體代碼如下：

[javascript] view plain
configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
好了，通過三課的艱苦奮戰，終於完成了雪球滬深一覽的征服。先看下跑出來的效果。

完整代碼如下：

[javascript] view plain
var configs = {
domains: ["xueqiu.com"],
scanUrls: ["http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12"],
contentUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
helperUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
fields: [
{

name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}

]
};

configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};

var crawler = new Crawler(configs);
crawler.start();

❼ python用什麼方法或者庫可以拿到全部股票代碼

首先你需要知道哪個網站上有所有股票代碼，然後分析這個網站股票代碼的存放方式，再利用python寫一個爬蟲去爬取所有的股票代碼

❽ 如何用爬蟲抓取股市數據並生成分析報表

1. 關於數據採集
股票數據是一種標准化的結構數據，是可以通過API介面訪問的（不過一般要通過渠道，開放的API有一定的局限性）。也可以通過爬蟲軟體進行採集，但是爬蟲軟體採集數據不能保證實時性，根據數據量和採集周期，可能要延遲幾十秒到幾分鍾不等。我們總結了一套專業的爬蟲技術解決方案(Ruby + Sidekiq)。能夠很快實現這個採集，也可以後台可視化調度任務。

2. 關於展現
網路股票數據的展現，網頁端直接通過HTML5技術就已經足夠，如果對界面要求高一點，可以採用集成前端框架，如Bootstrap；如果針對移動端開發， 可以使用Ionic框架。

3. 關於觸發事件
如果是採用Ruby on Rails的開發框架的話，倒是很方便了，有如sidekiq, whenever這樣子的Gem直接實現任務管理和事件觸發。

❾ 東方財富數據中心資金流交易時段能實時查看嗎

dhswgc
如何爬東方財富網資金流的往日數據
東方財富網 ，見下圖，個股資金流 板塊資金流能爬往日的數據嗎？比如爬前一段時間主力凈流入，超大單流入等

行業板塊資金流向排行 _ 數據中心 _ 東方財富網
​
data.eastmoney.com
圖標

編輯於 06-20
著作權歸作者所有 · 申請轉載
分享到
​
​
​
股票
金融
python爬蟲
評論

添加評論...
推薦閱讀
中國股市：我最看好的一份科技龍頭，未來翻倍空間至少50倍（名單）
A市觀票的文章 · 352 贊同
爬取東方財富網當日股票交易情況
介紹爬蟲內容爬蟲的第一步是得到數據的存放地址，因此，爬取股票行情數據之前，第一步的工作是解析網頁，尋找數據的url。 東方財富網股票行情界面如圖： 此頁面的鏈接為： 行情中心：國內最…
依若學術的文章 · 1 贊同
A股養家，走進游資大佬——歡樂海岸
歡樂海岸之所以被稱作為歡樂海岸，是因為其席位叫做中泰證券深圳歡樂海岸證券營業部，當然協同席位超過10個，通道極好，其資金規模超10億，對龍頭股主升浪情有獨鍾，並且敢於鎖倉，市場號召…
傅盤的文章 · 5 贊同
【盤點】十大熱門股票app
當今社會經濟快速發展，老百姓的生活也是越過越滋潤，加之隨著互聯網的發展，各種信息滲透我們的生活，越來越多的人了解到投資理財的重要性，炒股成為當下熱門的投資方式。但是對於炒股軟體…
愛飛翔的的文章 · 15 贊同
北上跑了，全球股市躺了，白銀崩了！
laod...的文章 · 9 贊同
北上跑了，全球股市躺了，白銀崩了！
9.21 午評 : 解析北上行為
周五北上資金大筆買入，創了3個月流入新高，94億。 今天又大筆賣出…
laod...的文章 · 6 贊同
9.21 午評 : 解析北上行為
資金凈流入/流出
關於資金的凈流入和凈流出問題，我個人一直很是疑惑，股票既然是一…
小馬說券的文章 · 24 贊同
資金凈流入/流出
比茅台還穩的「低調」牛股？年內上漲240%，背後有何貓膩？
股浪風乘的文章 · 15 贊同
數據採集-python爬蟲項目-3.股票新聞抓取和輿情分析（附代碼）
懶懶的兔...的文章
數據採集-python爬蟲項目-3.股票新聞抓取和輿情分析（附代碼）