因為朋友也想走資料科學這領域，問說到底該學R還是Python（想當年因為很擔心怕學錯，還趁演講後去問陳昇瑋博士，答案是都可）。 這篇文章 有提到大概趨勢。簡單來說，列在人力銀行的技能需求上，Python大於R，而且近年來Python是成長的，R則是向下的趨勢。 台灣我自己之前...
最近爬蟲偶爾遇到爬某網站時就卡住， 因此想說可否設定當讀取超過多少秒時， 則判斷為錯誤， 然後跳到下一個。 後來發現 R.utils 的 evalWithTimeout ， 他可以設定當某個指令或 function 跑多少秒以上就丟出 TimeoutExcep...
有時候一個Col中的每個Row可能含有多個值（如範例中alphabet欄位）， 想把這些值切開產生新的Row作分析的話， 可以參考 此篇 ， 其中使用 tidyr 中的 separate_rows() 相對較直覺， separate_rows() 中第一個參數為 d...
一般判斷句子中是否出現文字常用的是 grepl， 不過 grepl 是回傳 TRUE 或 FALSE， 而要計算文字在句中出現次數的話， 就要使用 stringr 套件中的 str_count ， 其回傳值為出現次數（數值）， 下面範例可以試試看， 會比較好理解。...
最近在作些一般分析時， 發現當資料量大的時候， dplyr 跟 data.table 處理會差很多（個人處理到200萬筆資料時速度上就有明顯差異）。 此篇文章有 data.table 的介紹： 連結 ， 詳細內容可以看上述文章， 下面舉三個例子（有的文章內沒有）...
最近發現比較有趣的功能， R也可以結合迴圈等語法修改以及壓縮大量檔案。 修改檔名是用 file.rename ， 下面範例中 from 帶入的是原本的檔案名稱， to 則是修改後的名稱。 壓縮檔案是用 zip ， zipfile 是帶入壓縮檔的名稱， files...
![[R] Data Frame 資料集合併（merge, join）](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEigvf2ugokMjePNjol9HQ98rki1-QG5bk6Q293CcOoJGDKeLQRkXESH12qS0NyDazbRO13xtEqX6r8uHbG2m8krI2FWgvE75SpGXPhK6_3JDOh4NtgQCPHPdHailu1GMaPgn1um2g7FFuo/s72-c/%25E7%25B0%25A1%25E5%25A0%25B12.png)
資料集的合併常用的大致為Inner Join、Full Join、Left Join、Right Join。 這些方式的差異主要為最後留下的key（依照哪個欄位來合併）是什麼。 下圖整理了大致上差異為何。 下面依照網路資源， 修正整理了四大類join方法， 分別...
![[R] 將多個 col 轉成一個 col 以利處理資料（melt 與 dcast）](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhN40gzB32JWyIx0173MJmyfDh9MSbxUEuMphMeuVXuYRz1dJXldL_eYhXeHbQP50Bg2l7LPahSqXCz5ogd8gmCsEq7SY8tXBFQlDAPx4saq99SxjztvT0Efh5g6ShUl7tPRL5efrYnv_M/s72-c/melt.png)
有時候在資料篩選處理或繪圖上， 需要將多個col轉換成一個col。 類似以下這張圖。 例如當要篩選出多個col的值>0的資料， 轉換成右方格式即能很快的處理。 這部分真的還是要自己去實作比較能感受到實際狀況。 下面為範例， melt 為左圖格式轉...
最近看到滿有趣的幾個用法。 第一個是 .Last.value ， 他會等於是最新剛剛宣告的物件。 另一個是當原本在賦予值給物件時， 是不會顯示物件的值為何， 不過用引號包起來的話， 賦予值時， 也會顯示其值為何， 就不需要再打一次物件名稱來觀察其值。...
有時在用 dplyr 時， 會發現有些函數失效， 或是出現錯誤， 有一個可能是除了有載入 dplyr 之外， 也載入了 plyr ， 導致產生衝突（兩個library都有此函數，如 summarize ）。 解決辦法很簡單， 假設我要使用 sum...
R預設會將過大的數值會轉成科學記號(scientific notation)呈現， 例如 999999999999999 會顯示 1e+15。 想要不要讓它以科學記號呈現， 加入 options(scipen=999) ， 就都不會以科學記號方式呈現了。 以下為範例： ...
![[玩玩小數據] 從人力銀行職缺看資料分析師需要些什麼技能（R? Python? ...?）](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjJpRxh9rN71YnKYldWEysKE3dnrrfxvFKs_iXJtvogSSFQtnH7Jwu-bHoCJ_1oNWBKu5yS6zN4j1AilzOPHtwfI8pJS1j6Zo-m2Gf75-Wd0iJ5IsKJ5pkkPCFVc0D_rwsiVQl-zH78zqs/s72-c/2016-08-18_wordcloud.png)
一直到現在，到底該學R還是Python其實一直沒有特別的定論，個別有其特色與優缺點，還是以個人需求作抉擇（可參考國外網站與趨勢： 1 , 2 ）。而台灣企業對資料分析師的能力需求，或許可以看看人力銀行中，資料分析師相關的職缺要求能力有哪些。 先從國際上2016年 ...
有些時候在處理很大的data frame時會相當緩慢， 套件 data.table 在這時就會相當有用， 使用 setDT(df) 即可將 data frame 轉成 data table， 如我想轉回原本 data frame格式， 就使用 setDF(df) 即...
整理一下常用的讀取Excel檔所使用的函式， 主要會讀到的是xlsx、xls以及csv檔。 xlsx、xls可以用 read_excel 來讀取， 結合 excel_sheets 與 rbind 則可抓出檔中所有sheet的資料。 也可使用 readWorksheet ...
如果想客製化R的初始環境， 可以找到 Rprofile.site 這個檔案做設定， 這檔案在 ....\R-X.X.X\etc 中（例如C:\Program Files\R\R-X.X.X\etc，X.X.X為R的版本）。 例如在檔案加入 setwd(...
在做分析時會用到長條圖， 不過有些時候因為類別名稱太長， 用橫條圖再顯示上會比較美觀。 長條圖的ggplot2實作網路很多， 這篇就很詳細： 連結 。 橫條圖實際上也很簡單， 只要在ggplot後面加入 coord_flip() ， 就會將長條圖變成橫條圖了（其他...
網路資源： ［中］包含R的教學文 http://blog.gtwang.org/ ［中］R、Python..等相關Blog http://bryannotes.blogspot.tw/search/label/R?max-results=20 ［...
假設建立一個數值型Vector， 當數值型資料轉成Factor後， 再轉回數值型態， 可能會遇到問題。 例如建立一個 tmp： tmp <- c(2,3,3,2,4,4) ， 將其轉成Factor： f_tmp <- factor(tmp) ， 當再把...
![[R] R教學 - R? Rstudio?](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhG3wRN469ZWXatCtsde61YC7Fn04nAcFOIPDhxC8lRtaSJ5j-TsvEQHeZh437Pu3Jl9Y3gyrtUBJbpsoJELnX_tEWHGVK2uohhqtBbLFxsBF3RqDUM0PSvxSWSzc1SgfQ-1YGRCZiawmc/s72-c/R.png)
最近有朋友想學R， 問說到底該安裝R還是Rstudio， 簡單講， 要寫R語言就要安裝R， 而Rstudio是一個R語言的IDE， IDE就是整合開發環境， 在這環境寫code更加方便。 以R的環境而言， R的介面如下圖： 而R...