新浪股票數據寫入mongodb

㈠ linux速成培訓哪個好

一般情況下來說，零基礎進行linux培訓的話，從入門到精通可以工作，學習周期需要5個月左右。
而且現在linux培訓機構有很多，不同的機構教學質量上存在一定差異的，一定要認真挑選，根據自己的情況試聽選擇最合適的。

㈡ 如何進行大數據分析及處理

探碼科技大數據分析及處理過程

聚雲化雨的處理方式

• 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

• 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

• 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

㈢ 如何運用大數據

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統
計
學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如
果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術
數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取： 關系資料庫、NOSQL、SQL等。
基礎架構： 雲存儲、分布式文件存儲等。
數
據處理： 自然語言處理(NLP，Natural Language
Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理
解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。
統計分析：
假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、
卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、
因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數
據挖掘： 分類
（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity
grouping or association rules）、聚類（Clustering）、描述和可視化、Description and
Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測 ：預測模型、機器學習、建模模擬。
結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理
1. 大數據處理之一：採集
大
數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的
數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除
此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時
有可能會有成千上萬的用戶
來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間
進行負載均衡和分片的確是需要深入的思考和設計。
2. 大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些
海量數據進行有效的分析，還是應該將這
些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使
用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析
統
計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通
的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於
MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘
與
前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數
據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於

統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並
且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。

㈣ NoSQL自動生成上千萬的數據可以有哪些方法

1. CouchDB

所用語言： Erlang
特點：DB一致性，易於使用
使用許可： Apache
協議： HTTP/REST
雙向數據復制，
持續進行或臨時處理，
處理時帶沖突檢查，
因此，採用的是master-master復制（見編注2）
MVCC – 寫操作不阻塞讀操作
可保存文件之前的版本
Crash-only（可靠的）設計
需要不時地進行數據壓縮
視圖：嵌入式 映射/減少
格式化視圖：列表顯示
支持進行伺服器端文檔驗證
支持認證
根據變化實時更新
支持附件處理
因此， CouchApps（獨立的 js應用程序）
需要 jQuery程序庫

最佳應用場景：適用於數據變化較少，執行預定義查詢，進行數據統計的應用程序。適用於需要提供數據版本支持的應用程序。

例如： CRM、CMS系統。 master-master復制對於多站點部署是非常有用的。

（編注2：master-master復制：是一種資料庫同步方法，允許數據在一組計算機之間共享數據，並且可以通過小組中任意成員在組內進行數據更新。）

2. Redis

所用語言：C/C++
特點：運行異常快
使用許可： BSD
協議：類 Telnet
有硬碟存儲支持的內存資料庫，
但自2.0版本以後可以將數據交換到硬碟（注意， 2.4以後版本不支持該特性！）
Master-slave復制（見編注3）
雖然採用簡單數據或以鍵值索引的哈希表，但也支持復雜操作，例如 ZREVRANGEBYSCORE。
INCR & co （適合計算極限值或統計數據）
支持 sets（同時也支持 union/diff/inter）
支持列表（同時也支持隊列；阻塞式 pop操作）
支持哈希表（帶有多個域的對象）
支持排序 sets（高得分表，適用於范圍查詢）
Redis支持事務
支持將數據設置成過期數據（類似快速緩沖區設計）
Pub/Sub允許用戶實現消息機制

最佳應用場景：適用於數據變化快且資料庫大小可遇見（適合內存容量）的應用程序。

例如：股票價格、數據分析、實時數據搜集、實時通訊。

（編注3：Master-slave復制：如果同一時刻只有一台伺服器處理所有的復制請求，這被稱為
Master-slave復制，通常應用在需要提供高可用性的伺服器集群。）

3. MongoDB

所用語言：C++
特點：保留了SQL一些友好的特性（查詢，索引）。
使用許可： AGPL（發起者： Apache）
協議： Custom, binary（ BSON）
Master/slave復制（支持自動錯誤恢復，使用 sets 復制）
內建分片機制
支持 javascript表達式查詢
可在伺服器端執行任意的 javascript函數
update-in-place支持比CouchDB更好
在數據存儲時採用內存到文件映射
對性能的關注超過對功能的要求
建議最好打開日誌功能（參數 –journal）
在32位操作系統上，資料庫大小限制在約2.5Gb
空資料庫大約占 192Mb
採用 GridFS存儲大數據或元數據（不是真正的文件系統）

最佳應用場景：適用於需要動態查詢支持；需要使用索引而不是 map/rece功能；需要對大資料庫有性能要求；需要使用
CouchDB但因為數據改變太頻繁而占滿內存的應用程序。

例如：你本打算採用 MySQL或 PostgreSQL，但因為它們本身自帶的預定義欄讓你望而卻步。

4. Riak

所用語言：Erlang和C，以及一些Javascript
特點：具備容錯能力
使用許可： Apache
協議： HTTP/REST或者 custom binary
可調節的分發及復制(N, R, W)
用 JavaScript or Erlang在操作前或操作後進行驗證和安全支持。
使用JavaScript或Erlang進行 Map/rece
連接及連接遍歷：可作為圖形資料庫使用
索引：輸入元數據進行搜索（1.0版本即將支持）
大數據對象支持（ Luwak）
提供「開源」和「企業」兩個版本
全文本搜索，索引，通過 Riak搜索伺服器查詢（ beta版）
支持Masterless多站點復制及商業許可的 SNMP監控

最佳應用場景：適用於想使用類似 Cassandra（類似Dynamo）資料庫但無法處理
bloat及復雜性的情況。適用於你打算做多站點復制，但又需要對單個站點的擴展性，可用性及出錯處理有要求的情況。

例如：銷售數據搜集，工廠控制系統；對宕機時間有嚴格要求；可以作為易於更新的 web伺服器使用。

5. Membase

所用語言： Erlang和C
特點：兼容 Memcache，但同時兼具持久化和支持集群
使用許可： Apache 2.0
協議：分布式緩存及擴展
非常快速（200k+/秒），通過鍵值索引數據
可持久化存儲到硬碟
所有節點都是唯一的（ master-master復制）
在內存中同樣支持類似分布式緩存的緩存單元
寫數據時通過去除重復數據來減少 IO
提供非常好的集群管理 web界面
更新軟體時軟無需停止資料庫服務
支持連接池和多路復用的連接代理

最佳應用場景：適用於需要低延遲數據訪問，高並發支持以及高可用性的應用程序

例如：低延遲數據訪問比如以廣告為目標的應用，高並發的 web 應用比如網路游戲（例如 Zynga）

6. Neo4j

所用語言： Java
特點：基於關系的圖形資料庫
使用許可： GPL，其中一些特性使用 AGPL/商業許可
協議： HTTP/REST（或嵌入在 Java中）
可獨立使用或嵌入到 Java應用程序
圖形的節點和邊都可以帶有元數據
很好的自帶web管理功能
使用多種演算法支持路徑搜索
使用鍵值和關系進行索引
為讀操作進行優化
支持事務（用 Java api）
使用 Gremlin圖形遍歷語言
支持 Groovy腳本
支持在線備份，高級監控及高可靠性支持使用 AGPL/商業許可

最佳應用場景：適用於圖形一類數據。這是 Neo4j與其他nosql資料庫的最顯著區別

例如：社會關系，公共交通網路，地圖及網路拓譜

7. Cassandra

所用語言： Java
特點：對大型表格和 Dynamo支持得最好
使用許可： Apache
協議： Custom, binary (節約型)
可調節的分發及復制(N, R, W)
支持以某個范圍的鍵值通過列查詢
類似大表格的功能：列，某個特性的列集合
寫操作比讀操作更快
基於 Apache分布式平台盡可能地 Map/rece
我承認對 Cassandra有偏見，一部分是因為它本身的臃腫和復雜性，也因為 Java的問題（配置，出現異常，等等）

最佳應用場景：當使用寫操作多過讀操作（記錄日誌）如果每個系統組建都必須用 Java編寫（沒有人因為選用
Apache的軟體被解僱）

例如：銀行業，金融業（雖然對於金融交易不是必須的，但這些產業對資料庫的要求會比它們更大）寫比讀更快，所以一個自然的特性就是實時數據分析

8. HBase

（配合 ghshephard使用）

所用語言： Java
特點：支持數十億行X上百萬列
使用許可： Apache
協議：HTTP/REST （支持 Thrift，見編注4）
在 BigTable之後建模
採用分布式架構 Map/rece
對實時查詢進行優化
高性能 Thrift網關
通過在server端掃描及過濾實現對查詢操作預判
支持 XML, Protobuf, 和binary的HTTP
Cascading, hive, and pig source and sink moles
基於 Jruby（ JIRB）的shell
對配置改變和較小的升級都會重新回滾
不會出現單點故障
堪比MySQL的隨機訪問性能

最佳應用場景：適用於偏好BigTable:)並且需要對大數據進行隨機、實時訪問的場合。

例如： Facebook消息資料庫（更多通用的用例即將出現）

編注4：Thrift
是一種介面定義語言，為多種其他語言提供定義和創建服務，由Facebook開發並開源。

當然，所有的系統都不只具有上面列出的這些特性。這里我僅僅根據自己的觀點列出一些我認為的重要特性。與此同時，技術進步是飛速的，所以上述的內容肯定需要不斷更新。我會盡我所能地更新這個列表。

㈤ 段友們，有沒有比較好看的直播軟體.求推薦

不得用於商業用途，請在下載後24小時內刪除

㈥ 分布式微博就是實現微博龐大數據的處理，類似於新浪那種的，老師讓使用nosql完成，我想選用Hadoop+ Hbase，

建議還是使用mongodb之類的吧，hbase不是純nosql，而且實時性能還不知道怎麼樣

㈦ 10億級別的資料庫 用什麼比較好mysql合適嗎

10億級別的什麼數據？

如果是 關系型很強，而且數據很值錢的數據， 例如 顧客--交易--商品--金額 一個系列的， 那麼這種很重要的數據，建議是 Oracle， 因為 數據丟不起啊。

如果是 關系型強， 但是數據不是很值錢的數據， 例如 A股 從開市以來， 所有股票的 每日，每小時，30分，15分，5分 鍾的行情數據。 那麼你可以使用 Mysql。 反正丟了就重新導入一次。

如果是 關系型不強， 數據也不是很值錢的數據， 例如 論壇的帖子 這一類的， 那麼用 mongodb 就更合適一些。

㈧ 如何搜集金融類數據

Tushare金融大數據開放社區,
1、擁有豐富的數據內容，如股票、基金、期貨、數字貨幣等行情數據，公司財務、基金經理等基本面數據。
2、SDK開發包支持語言，同時提供HTTP Restful介面，最大程度方便不同人群的使用。
3、提供多種數據儲存方式，如Oracle、MySQL，MongoDB、HDF5、CSV等，為數據獲取提供了性能保證。

㈨ 淺談BI實時圖表實現數據可視化的原理

淺談BI實時圖表實現數據可視化的原理
不久前，在商業智能實時圖表解決方案的選擇中，我們簡單講了下實時分析的工作流程。今天我們就來詳細討論一下這個話題。
如果你已經使用過實時dashboard，或者正打算建立一個，那麼，這篇文章可以幫助你理解實時dashboard背後的故事以及實時數據如何展現在你的dashboard中，從而實現數據可視化。
除去端到端之間極短的時間，數據實時可視化主要有四大步驟。這里我們用一張圖來展示。


1、捕獲數據流
實時數據流使用 scrapers、collectors、agents、listeners捕獲，並且存儲在資料庫中。資料庫通常是NoSQL資料庫，例如， Cassandra、MongoDB, 或者有時候是你只是Hadoop Hive。關系資料庫不適合這種高展現的分析。NoSQL資料庫的崛起也增強了實時數據分析向他靠攏的趨勢。
2、數據流處理
數據流可以通過許多方式處理，比如，分裂、合並、計算以及與外部數據源結合。這些工作由一個容錯分布式資料庫系統，比如， Storm、Hadoop，這些都是比較常用的大數據處理框架。但是他們卻不是實時數據分析的理想選擇。因為他們依賴MapRece面向批量的處理。不過Hadoop 2.0允許使用其他計算演算法代替MapRece，這樣使得Hadoop在實時分析系統中運用又進了一步。處理之後，數據就可以很可視化組件讀取了。
3、數據可視化組件讀取處理過的數據
處理過的數據以結構化的格式(比如JSON或者XML)存儲在NoSQL資料庫中，被可視化組件讀取。在大多數情況下，這會是一個嵌入到一個內部BI系統的圖表庫，或者成為像Tableau這種更加廣泛的可視化平台的一部分。處理過的數據在JSON/XML文件中的刷新頻率，稱為更新時間間隔。
4、可視化組件更新實時DASHBOARD
可視化組件從結構數據文件(JSON/XML),在圖表界面繪制一個圖表、儀表或者其他可視化行為。處理過的數據在客戶端展現的頻率叫做刷新間隔時間。在一些應用程序中，比如帶有圖表渲染功能的股票交易應用程序,會預先設置基於數據流的觸發功能。
會不會覺得很復雜呢?只不過這些過程會在幾秒鍾內，甚至更短時間內完成。這些操作因為不斷進步的資料庫及實時功能變成現實，特別是NoSQL資料庫。再由諸如Storm這種專用於實時進程處理的工具輔助，可以讓其性能效果更上一層能。現在的可視化數據已經支持需求場景，在當今的大數據應用程序中建立了一個實時分析生態圈。

㈩ 存儲海量圖片數據用mongoDB還是Hbase呢

我所知道的FackBook、Instagram、Twitter 都是用的Redis，國內的新浪微博、騰訊微博、搜狐等也是用的它