㈠ 怎麼學慣用 R 語言進行數據挖掘
什麼是R語言?應該如何開始學習/使用R語言呢?
學習R有幾個月了,總算是摸著了一點門道。
寫一些自己的心得和經驗,方便自己進一步鼓搗R。如果有人看到我寫的東西而得到了幫助,那就更好了。
什麼是R?R的優點何在?
R是一個數據分析軟體。簡單點說,R可以看做MATLAB的「替代品」,而且具有免費開源的優勢。R可以像MATLAB一樣解決有關數值計算的問題,而且具有強大的數據處理,繪圖功能。
R擁有大量的統計分析工具包,我的感覺是——只有我們沒聽說過的工具,絕對沒有R沒有的工具包。配合著各種各樣的工具包,你可以毀滅任何關於數據和統計的問題。因為數據包的數量龐大,所以查找自己需要的數據包,可能很煩惱。
如果有以下技能,學R會很方便:
1.已經了解些高級程序語言(非常重要)
2.英語不壞
3.概率統計理論基礎
4.看數據不頭疼
5.看cmd or terminal 也不頭疼
你需要一本適合你的R語言教材
我開始學習R的時候,找到了這個帖子
非常強大的關於R語言教材綜述。我非常感謝原帖作者。你可以參考這個帖子選一本適合你的教材。
我這里在說一下我主要使用的幾本教材的心得:
1. 統計建模與R軟體(薛毅著):非常優秀的R語言入門教材,涵蓋了所有R的基礎應用&方法,示例代碼也很優秀。作為一本中文的程序語言教材,絕對是最優秀的之一。但是要看懂這本書,還是需要「已經了解些高級程序語言」。PS:我親愛的吉林大學圖書館,有兩本該教材流通,我常年霸佔一本。
2. R in Nutshell:從講解內容上看,與上一本差別不大,在R語言的應用上都是比較初級的入門,但是有些R軟體&語言上的特性,寫得比薛毅老師的教材深刻。這本書最大的優點就是工具書,方便開始入門時候,對有些「模稜兩可」的東西的查詢。PS:我將這本書列印了出來,簡單的從頭到尾翻過,最大的用途就是像一本字典一樣查詢。
3. ggplot2 Elegant Graphics for Data:這是一本介紹如何使用ggplot2包,進行繪圖的書。ggplot2包,非常強大的繪圖工具,幾乎可以操作任何圖中的元素,而且是提供添加圖層的方式讓我們可以一步步的作圖。提到ggplot2包,應該提到一個詞——「潛力無窮」,每一個介紹
ggplot2的人,都會用這個形容詞。這本書最大的作用也是當做一本繪圖相關的工具書,書中講解詳細,細致,每個小參數的變動都會配圖幫你理解。PS:這本書我也列印出來了,非常適合查詢。
幾個可以逐步提高R能力的網站
1.R-bloggers: 這里有關於R和數據的一切討論,前沿的問題,基礎的問題,應有盡有。可以說這些傢伙們讓R變得越來越強大。我RSS了這個網站,每天都看一下有什麼我感興趣的方法和話題,慢慢的積累一些知識,是一個很有意思的過程。
2.統計之都: 這是一個有大量R使用者交流的論壇,你可以上去提問題,總有好心人來幫助你的。
3.R客: 是關於R的一個博客,更新不快,偏重國內R的一些發展。
R的使用環境
如果你看見terminal or cmd就打怵的話,一定要使用Rstudio。Rstudio的優點是,集成了Rconsole、腳本編輯器、可視化的數據查詢、歷史命令、幫助查詢等,還有的完美的腳本和console的互動。畢竟是可視化的界面,有許多按鈕可以用。R 的腳本編輯器很蛋疼,就比記事本多了個顏色高亮吧,不適合編寫腳本,但適合調試腳本。
最後,說一下,剛開始學習R或者其他什麼語言,都有一個通病,就是一些小細節的不知道,或者是記得不清楚,往往一個蛋疼的bug就可以耗掉大量的時間,這是一個讓人想砸電腦的過程。我往後,會在博客里記錄一些讓我蛋很疼的小細節。本文分為6個部分,分別介紹初級入門,高級入門,繪圖與可視化,計量經濟學,時間序列分析,金融等。
1.初級入門
《An Introction to R》,這是官方的入門小冊子。其有中文版,由丁國徽翻譯,譯名為《R導論》。《R4Beginners》,這本小冊子有中文版應該叫《R入門》。除此之外,還可以去讀劉思喆的《153分鍾學會R》。這本書收集了R初學者提問頻率最高的153個問題。為什麼叫153分鍾呢?因為最初作者寫了153個問題,閱讀一個問題花費1分鍾時間,全局下來也就是153分鍾了。有了這些基礎之後,要去讀一些經典書籍比較全面的入門書籍,比如《統計建模與R軟體》,國外還有《R Cookbook》和《R in action》,本人沒有看過,因此不便評論。
最後推薦,《R in a Nutshell》。對,「果殼裡面的R」!當然,是開玩笑的,in a Nutshell是俚語,意思大致是「簡單的說」。目前,我們正在翻譯這本書的中文版,大概明年三月份交稿!這本書很不錯,大家可以從現在開始期待,並廣而告知一下!
2.高級入門
讀了上述書籍之後,你就可以去高級入門階段了。這時候要讀的書有兩本很經典的。《Statistics with R》和《The R book》。之所以說這兩本書高級,是因為這兩本書已經不再限於R基礎了,而是結合了數據分析的各種常見方法來寫就的,比較系統的介紹了R在線性回歸、方差分析、多元統計、R繪圖、時間序列分析、數據挖掘等各方面的內容,看完之後你會發現,哇,原來R能做的事情這么多,而且做起來是那麼簡潔。讀到這里已經差不多了,剩下的估計就是你要專門攻讀的某個方面內容了。下面大致說一說。
3.繪圖與可視化
亞里斯多德說,「較其他感覺而言,人類更喜歡觀看」。因此,繪圖和可視化得到很多人的關注和重視。那麼,如何學習R畫圖和數據可視化呢?再簡單些,如何畫直方圖?如何往直方圖上添加密度曲線呢?我想讀完下面這幾本書你就大致會明白了。
首先,畫圖入門可以讀《R Graphics》,個人認為這本是比較經典的,全面介紹了R中繪圖系統。該書對應的有一個網站,google之就可以了。更深入的可以讀《Lattice:Multivariate Data Visualization with R》。上面這些都是比較普通的。當然,有比較文藝和優雅的——ggplot2系統,看《ggplot2:Elegant Graphics for Data Analysis》。還有數據挖掘方面的書:《Data Mining with Rattle and R》,主要是用Rattle軟體,個人比較喜歡Rattle!當然,Rattle不是最好的,Rweka也很棒!再有就是交互圖形的書了,著名的交互系統是ggobi,這個我已經喜歡兩年多了,關於ggobi的書有《Interactive and Dynamic Graphics for Data Analysis With R and GGobi》,不過,也只是適宜入門,更多更全面的還是去ggobi的主頁吧,上面有各種資料以及包的更新信息!
特別推薦一下,中文版繪圖書籍有《現代統計圖形》。
4.計量經濟學
關於計量經濟學,首先推薦一本很薄的小冊子:《Econometrics In R》,做入門用。然後,是《Applied Econometrics with R》,該書對應的R包是AER,可以安裝之後配合使用,效果甚佳。計量經濟學中很大一部分是關於時間序列分析的,這一塊內容在下面的地方說。
5.時間序列分析
時間序列書籍的書籍分兩類,一種是比較普適的書籍,典型的代表是:《Time Series Analysis and Its Applications :with R examples》。該書介紹了各種時間序列分析的經典方法及實現各種經典方法的R代碼,該書有中文版。如果不想買的話,建議去作者主頁直接下載,英文版其實讀起來很簡單。時間序列分析中有一大塊兒是關於金融時間序列分析的。這方面比較流行的書有兩本《Analysis of financial time series》,這本書的最初是用的S-plus代碼,不過新版已經以R代碼為主了。這本書適合有時間序列分析基礎和金融基礎的人來看,因為書中關於時間序列分析的理論以及各種金融知識講解的不是特別清楚,將極值理論計算VaR的部分就比較難看懂。另外一個比較有意思的是Rmetrics推出的《TimeSeriesFAQ》,這本書是金融時間序列入門的東西,講的很基礎,但是很難懂。對應的中文版有《金融時間序列分析常見問題集》,當然,目前還沒有發出來。經濟領域的時間序列有一種特殊的情況叫協整,很多人很關注這方面的理論,關心這個的可以看《Analysis of Integrated and Cointegrated Time Series with R》。最後,比較高級的一本書是關於小波分析的,看《Wavelet Methods in Statistics with R》。附加一點,關於時間序列聚類的書籍目前比較少見,是一個處女地,有志之士可以開墾之!
6.金融
金融的領域很廣泛,如果是大金融的話,保險也要被納入此間。用R做金融更多地需要掌握的是金融知識,只會數據分析技術意義寥寥。我覺得這些書對於懂金融、不同數據分析技術的人比較有用,只懂數據分析技術而不動金融知識的人看起來肯定如霧里看花,甚至有人會覺得金融分析比較低級。這方面比較經典的書籍有:《Advanced Topics in Analysis of Economic and Financial Data Using R》以及《Modelling Financial Time Series With S-plus》。金融產品定價之類的常常要用到隨機微分方程,有一本叫《Simulation Inference Stochastic Differential Equations:with R examples》的書是關於這方面的內容的,有實例,內容還算詳實!此外,是風險度量與管理類。比較經典的有《Simulation Techniques in Financial Risk Management》、《Modern Actuarial Risk Theory Using R》和《Quantitative Risk Management:Concepts, Techniques and Tools》。投資組合分析類和期權定價類可以分別看《Portfolio Optimization with R》和《Option Pricing and Estimation of Financial Models with R》。
7.數據挖掘
這方面的書不多,只有《Data Mining with R:learing with case studies》。不過,R中數據挖掘方面的包已經足夠多了,參考包中的幫助文檔就足夠了。
㈡ 如何使用r語言搭建數據挖掘平台
昨天圍觀了在一個問題下的兩伙人掐架,深深感受到了因不同需求而導致觀點上的分歧真的可以器質性地不可調和。如果下面的回答不是題主希望想看到的那類,就當是給其他答案做一個有分歧意義的補充。
首先,我認為,想做好數據挖掘工作應該先著眼於學習理論知識,並且不間斷學習。學習的方法有很多,不一定是非要給自己安排讀 papers 的任務不可。如果數據挖掘就是日常工作或其中的一項,實際操作中不斷發現問題總結問題的同時還有機會開啟新的學習點,那真是再好不過。否則就真的要強迫自己在工作之餘主動學習了,比如給自己安排讀 papers 的任務、去論壇了解新的話題,等等。
再其次的關注點才輪到實際應用。善用可以利用的一切資源。有包就用包,有不會的馬上去 stackoverflow 問,甚至懶到去抓現成的 code 來用,只要真懂自己在做什麼,都沒關系。技術上的問題自己解決不了的還可以靠別人,技術背後的就真沒人能幫了。
我就想說這兩點,說完了。
第二次分享這本神作:Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition. 網頁還提供了書中用到的數據和一些 R 函數,很適合邊看邊學。
㈢ 怎麼學慣用r語言進行數據挖掘
首先R是一種專業性很強的統計語言,如果想學得快一些的話,基本的統計學知識要懂,不然很多東西會掌握的比較慢。
掌握基本語法和操作,推薦國內的已經翻譯的比如《R語言實戰》《R語言編程藝術》,這個過程中最好結合一些小例子來做一些分析的東西。如果需要可視化的話,強烈不推薦學習R本身的作圖系統,實在是太不友好了.....還是用ggplot2吧。
掌握了上面的,就可以深入一些了,如果是做數據分析和可視化,推薦《ggplot2:數據分析與圖形藝術》,這個才是作圖的神器啊.....如果是空間分析相關的,推薦《Applied Spatial Data Analysis with R》,這個如果可以的話看英文版,而且要有地學的一些知識背景,中文版翻譯的太次了,盡量不要看。數據挖掘機器學習之類的,可以看看比如《數據挖掘與R語言》、《機器學習——實用案例解析》,不過我覺得這幾本書沒上面的那幾本好,但是可以大概看看是咋回事,最好還是看看專門的相關書籍,熟悉各種演算法和流程,到時候搜索R的package,照著文檔和例子搞定,不是特別難。
-
㈣ 求教R軟體做數據挖掘的兩個問題
互聯網的很大優勢就是數據驅動的,數據往往是被有效收集的。
但是,也存在數據沒有被記錄情況。支持產品功能的數據,會被記錄,但是很多行為數據只能通過調取介面數據或埋點的方式進行記錄。這就需要業務人能夠提前規劃所需數據,讓工程師將數據記錄在庫。
在收集數據的過程中,需要注意到就是有效數據量不能太小。
㈤ 怎麼學慣用R語言進行數據挖掘
我不知道你的程度,幾個建議:
1、數據挖掘導論這本書先看看,各種經典演算法,Aprior、C4.5、決策樹分類等等先弄明白;
2、學習R語言,可以通過例子來滲透這門語言的語法規則等,多用help命令,有個Rstudio軟體輔助學習,界面比R友好,如果英文理解有困難,網上很多博客幾乎對每一個語法規則都有涉及;
3、有一些有名的網站,如統計之都,可以多逛逛。
㈥ R或Python可以做數據挖掘方面的演算法開發嗎
這兩個工具都很方便,不需要非常高深的編程能力,都適合演算法開發,有大量的package供你使用。 Python入門簡單,而R則相對比較難一些(純個人感覺,依據每個人之前的經驗,可能不同的體驗)。 R做文本挖掘現在還有點弱,當然它的優點在於函數都給你...
㈦ 怎麼學慣用R語言進行數據挖掘
1、掌握各種數據挖掘演算法
2、熟練使用R語言相應演算法的包
3、掌握數據處理的能力
㈧ 如何在r語言中抓取股票數據並分析論文
用quantomd包
然後getsymbols函數
分析論文 要看你研究方向
如果是看影響因素 一般回歸就行
如果看股票波動和預測 可能需要時間序列
㈨ 如何用R語言提取股票行情數據
最上邊一行菜單欄倒數第二個「高級」-「關聯任務定義」-選取最右邊從上到下第二個按鈕,找到2009年決算任務安裝路徑-確定。 然後 最上邊一行菜單欄正數第二個「錄入」-「上年數據提取」即可 提取完了,注意修改與去年不同的科目代碼!
㈩ 值得推薦的數據可視化工具有哪些
推薦幾款我比較常用的可視化工具
Excel
通常認為Excel不是可視化工具,不過也確實能作出一些很漂亮的圖表,主要問題在於默認的圖表設計都太丑了太丑了。如果你想做得好一點,可能要花的時間比較多。不支持一鍵拖拽生成圖表,在細節的處理上需要花更多的時間。
實際上還有很多其他的像echart,D3.js,highcharts等等,工具的選擇上是非常多的,我個人的建議是在精專一個的同時多了解一下其他的工具。「你手裡拿著錘子,看什麼都是釘子」,不要被你自己所掌握的工具所限制,我們的出發點始終是問題解決的。我們應當做的是「你眼裡看著釘子,拿什麼都是錘子」。(文/艾萌atanqing,一個略懂數據分析的心理咨詢師)