Return to laughter

School of Data 第三門課程名為：A gentle introduction to exploring（數據探索之道）。前二門課程「數據資料基礎」和「數據清理」是讓初學者了解如何利用試算表工具來整理表格、清理數據，運用軟體內鍵函數等技巧技術，也應該在清掃數據的過程中，體會到資料類型的重要區別，盡量遵守共識規則來處理數據記錄的重要性。而接下來的這門課程則將會進一步帶領學習者來體驗認識試算表工具底下pivot table 的基礎操作控制知識，透過約20道習作題目的自行練習操作，來熟悉了解pivot table的妙用，好讓初學者經此工具的輔助，更輕鬆地進行數據探索的旅程。除了花時間在試算表pivot　table的介紹體驗外，這門課另一半則是處理ＳＱＬ的學習，讓初學者練習從圖型介面操作的舒適區開始慢慢滑入文字指令的深水區囉～～

以下就針對本門課程所畫分的四大單元再作點概要整理：

1)　A gentle introduction to exploring and understanding your data
介紹試算表的資料透視表（pivot table）。以前從不知道Excel等試算表工具底下還有這pivot table功能，google spreadsheet把它的中文譯為「資料透視表」，而在EXCEL底下好像叫做「樞紐分析表」（據說還有暱稱其為「飄忽分析表」）。簡單來說，它的功能就是在一大張（欄列很多，各種分類、項目、戳記等等）試算表中，可讓使用者進一步決定要挑選哪幾個認定要先檢查分析的資料欄列，把它特別挑出來查看這些指定資料之間的關聯性，試算表還是自動給這些資料作分類。我個人在試作的過程中覺得最有趣的，就是可在 pivot table 底下把原始表格的欄列移來移去，每一次改變資料的呈現，其背後似乎都有著更深的故事可以去探掘。絕大部份介紹試算表或數據分析的課程，多是以股票漲跌、公司收支利潤為示範案例。但本課程中預設學習對象可能是NGO工作人員或社會議題關心者，故以NGO組織GRAIN的所作的2012年全球土地掠奪狀況數據為分析示範樣本。如果對土地正義有感者練習這份資料數據，心中一定會激發出許多想法。譬如說是哪些跨國企業在哪裏佔用土地資源、其土地利用目的用途、投注經費、計畫階段等資料。


2) Advanced Spreadsheet Formulas 試算表的進階公式計算與內建函數應用
SPLIT, SUBSTITUTE（其功能作用已在上篇作了整理，但在LibreOffice Calc似乎沒有split函數,若要進行同一欄中多筆資料的分割，多是叫出data/text to columns這個功能來進行）

=VLOOKUP(SearchCriterion; Array; Index; SortOrder)：參照右方相鄰的儲存格之垂直搜尋。此函數的第一個參數為：數據比對的依據值，通常為某儲存格，作為檢查第二個參數即陣列，其寫法為Sheet2!C:D(Sheet2為要查找的試表算Sheet2的查找範圍限於C,D二欄，若在同一個試算表則為C:D)的第一欄是否包含特定值。接著，此函數會傳回 Index 指定欄之同一列中的值。若忽略 SortOrder 參數，或將參數設定為 TRUE 或 1，則假定資料依向上排序。此時，如果找不到完全相符的SearchCriterion，則會傳回比條件小的最後一個值。若將 SortOrder 設定為 FALSE 或零，則必須找到完全相符的項目，否則結果會是錯誤 Error: Value Not Available (錯誤：數值不存在)。因此，資料值若為零，則不需要依向上排序。

3) An Introduction to SQL Database for analysing data - part 1
雖然前面介紹了試算表的內建函數、表格資料透視分析等功能，讓習慣圖型介面操作的使用者可以好好地分折研究數據資料，但是試算表卻有其不足，尤其在處理大型巨量數據上更為吃力有限，如果以類比來作說明，試算表只能處理單一試算表格，但資料庫卻可以處理運作多重表格的資料結構，故接下來的二章則以介紹資料庫最流行的結構查詢語法（ＳＱＬ）
這個單元先是介紹進入SQL之前的準備工作：如何在電腦上安裝免不用附在伺服器套件下的SQL輕量版SQLITE。因為我已改用ubuntu作業系統，linux真的比蠻windows更適合進行文字指令環境。只要叫出端終機程式，看看是否有安裝了SQLITE($sqlite3)，如果沒有，它也會提示利用apt-get install sqlite3進行安裝。

安裝好SQLITE3之後，這節就是簡單地練習如何在SQL底下新建一個表格table, 表格欄位的資料類型與值設定、如果把資料放入表格中等等基本語法。我比較看不懂的是如何把作成的資料滙出，查了一下指令要這樣下：
sqlite> .mode csv (csv為要滙出的檔案格式)
sqlite> .output people.csv (people.csv為要滙出的檔案)
sqlite> select * from people; （把表格people上的資料全部抓出來）
然後就可以看到目前所在的工作檔案目錄下多了一個people.csv檔案，其內容完全和利用SQL語法建立的表格一致


4) An Introduction to SQL Database for analysing data - part 2
了解文字指令介面下的SQL基本語法操作後，接下來就是要進一步介紹如何利用SQLite做數據的分析。這裏它用了一個１百多ＭＢ內含100多萬筆在挪威註冊登記的公司資料為操作示範。嗯，不知道別人電腦的效能如何，但在我2009～2011年出廠的中古舊型筆電上，用LIBREOFFCE CALC來開這個檔案肯定是要當機的，由此可知SQL處理大型數據資料的強處優勢何在。不過因為是文字指令操作環境，可能要花一點时間想像和習慣到底要在這個數據庫裏面找什麼東西，如何來分析。

我個人感覺本單元後來部份處理的比較零亂，尤其在中後段它的SQL程式碼已經不再只是一二行而是突然增加三四倍，來到了十來行的長度，初學者可能會看得頭昏腦脹。建訪不妨同時也多到其所推薦的閱讀清單，到 SQL動物園來多作點練習。

如果還是習慣圖型介面者，有一個瀏覧器的外掛（sqlite manager， 供應firefox, chrome版本），也不需要安裝伺服器而可以用來解析sql檔案。雖然它是在瀏覧器下分頁的圖形介面環境，但還是得會一點基本的ＳＱＬ語法才知道如何下指令操作資料庫。

本文為繼之前School of Data 數據基礎入門後，再繼續整理ＳＯＤ引入Tactical Collective Technology 所編寫的「A Gentle Introduction to Data Cleaning：數據清理的友善入門」。查了一下，原來它是ＴＣＴ在２０１２年與開放知識基金會（Open Knowledge Foundation）所發展的一個課程合作計畫，ＴＣＴ協助編寫了二套數據相關課程資源,除了談數據清理的入門方法外，另一篇則是討論數據探索之道（A gentle introduction to exploring data）。為尊重ＳＯＤ與ＴＣＴ的課程安排次序，本文先介紹數據清理入門技巧，之後再來介紹第二篇數據探索的妙趣之處。以我自己讀完的感受，其實如果先介紹第二篇或許比較能夠找到樂趣與刺激學習者堅持學習的信念，因為在第一篇很容易遇上撞牆打擊初學者的信心（其實是我自己玻璃心啊XDXD）。

接觸過數據處理利用者，應該都知道：數據清理是第一道非常非常非常*3重要工序，先踏實做好數據清理基本工夫，接下來才能確保處理的數據資料不會出錯，否則不管是在進一步分析的過程産生令人頭大的公式失靈、不對的計算結果，抑或最後呈現了未查覺的要命錯誤卻作公開發表等後續連鎖的倒牌效果。故數據清理的重要性自不言可喻，但它也是一個非常瑣碎又讓人頭痛的過程，我自己在摸索這一道習題過程中，就常常在公式處理上碰壁撞牆好久，根本都想放棄了。不過進入到第二階段，面對處理過完整乾淨的數據，可以在試算表或相關軟體中玩出許多有趣的東西，才會讓人發覺數據之中的妙趣故事。所以無論如何，還是得先硬著頭皮來理解一點基本的數據清理入門之術吧。

這門「數據清理」的課程目的是，讓學習者理解如何查察、找出試算表中不對勁的資料並加以移除以免干援影響正確公式的運算，再者學習者在這門課程後將會知道如何正確地掌握數據格式與資料類型，並將之以規則化、結構化地統一有效使用，慢慢強化自身對於收據的敏感度與洞察力。因此在學習「數據清理」之前，最好有先上過數據基礎，掌握其基本重要知識。數據清理的友善之道主要可分成以下四大單元，而每一個單元的撰寫教學架構則是分成：a） 引言式的介紹；b)小任務練習（quick task）； c)大任務挑戰（longer task）； d)閱讀清單與參考資源補充，讓學習者可以再去探索更深入的技能知識； e) 休息與反思；此五個組成元素。

前面提過，這門數據清理入門，是在Tactical Collective Technology協助下所發展出來的學習資源，一開始ＴＣＴ做出來的應該是一套工具指南： Using a spreadsheet to clean up a dataset。而ＳＯＤ/ＴＣＴ為了讓學習者不至於因為原始文本過長（其實也不算太長）而感到恐懼，故又再分割成為四大單元，並以上述abcde的架構來重組、串連原本工具指南中函蓋的四大單元。

1） Nuts and chewing gum：　許多時候，我們拿到的試數表，上面的數據可能是雜亂、殘缺，同一份檔案可能經過多人編輯，數據格式每個人的寫法並未統一而亂七八糟。更甚者，有些試算表也很容易被「動手腳」，刻意把某些欄列隱藏起來或是把數值資料存成文字格式所以根本無法進行計算。本單元就是讓學習者了解試算表閱讀介面的眉眉角角，並學會如何重新整理試算表格式版型編蜇排，好一步一步讓工作檔案呈現易於使用閱讀，也讓資料數據在一步一步清理的工序更為接近正確！

2） the Invisible Man is in your spreadsheet, messing with your data：開啟一張試算表檔案，除了透過（李探長「眉頭一皺」）肉眼直觀式地發現許多明顯的怪異處外，其實更隱藏了許多無法一眼就認出來的錯誤待進一步細緻處理，例如儲存格中莫名的空白鍵、跨行，拼字錯誤、大小寫不同等狀況，如何透過試算表軟體的內建功能（如ＣLEAN, TRIM）來處理這類錯誤。
TRIM(text):移除指定字串中開頭和結尾的空格
text - 要移除的字串。
CLEAN(text): 傳回包含無法列印且被移除的 ASCII 字元文字
text - 將移除不可列印字元的文字內容。

3） your data is a witch’s brew: 經過單元二的牛刀小試，這裏要進入學習使用試算表當中更複雜的公式與函數功能來清理試算表中不一致的數據資料。例如 ISBLANK(); LEFT(); SUBSTITUTE(); SEARCH()等函數的運用。兹將本單元中用上的函數功能作點整理：

• ISBLANK(value):括弧中要放入一個參數值，即為要檢查的儲存格代號，以返回該儲存格是否為空值，如果則回傳值為TRUE,否則回傳為FALSE。注意，如儲存格中內含公式，則雖然可能該儲存未顯示表面上起來未顯示任何東鈿，但ISBLANK()不會當它為空值。
• SUBSTITUTE(text_to_search, search_for, replace_with, occurrence_number):括弧中要放入四個參數，分別為要搜㝷對象目標、要搜㝷的內容、代換的值、發生次數。除了最後一個參數可以不放入（即默認為取代所有搜尋文字），前面三個參數都要放入。例如
  

  =SUBSTITUTE("123123123";"3";"abc") 傳回 12abc12abc12abc
  =SUBSTITUTE("123123123";"3";"abc";2) 傳回 12312abc123。

• LEFT(string, number_of_characters)：傳回文字中的第一個或前幾個字元。括弧中要放入二個參數，第一個參數為「決定其初始部分字詞的文字」，第二個參數為指定起始文字的字元數，第二個參數可不放，則會默認傳回一個字元。例如

=LEFT("output";3) 傳回「out」

• SEARCH(search_for, text_to_search, starting_at):傳回字元字串中的指定的文字段位置，第一個參數是搜㝷符合的文字段，第二個參數是搜㝷對象目標，第三個參數則表示為對第一個參數開始搜尋的位置，此參數可以不放。例如
  

  =SEARCH(54;998877665544) 傳回 10。

其它試算表的函數功能，請參考：
Google spreadsheets function list
LibreOffice Calc Functions by Category

經過本單元的介紹與示範案例的動手練習後，將會更了解試算表中不同的數據資料類型，更進階高深的試算工具內建函數功能運用，如何擅用它們來檢查錯誤並清理數據。最重要的是，在這些學習清理數據的過程中，也讓初學者了解到自己在第一時間進行數據整理時，要留意檢查數據類型輸入保存的標準一致化不要犯下太多低級錯誤，方可大量減少在數據清理上要花的時間和工夫。

4） 數據資料的結構化問題:到了這裏，其實正試圖把數據資料整理從試算表工具的引入使用，慢慢轉入到「資料庫」另一種結構化關聯的介紹。因為在試算表的不同欄列與各別儲存格底下，這種表現方法很難呈現某些資料其本身具有一對多面向的關係，正因為試算表這樣的据限，所以進一步學習database及其最流行的程式語言SQL，就成了繼續追㝷數據探索之道的另一個應備工具了。

以上是ＳＯＤ對於數據清理的原因、基本作法、資料型態應用的介紹。除了本課程外，ＳＯＤ網站上的資源手冊中另有一篇文章整理了如何利用Ｏpen Ｒefine來做數據清理的工作。Open Refine的前身是google refine，故名思義，其原本一度由google併購Freebase Gridworks底下的一個開源數據清理開源工具專案個專案，但自2012年後google 不再支援該專案，故其主力開發團隊轉而尋求社群支援，並更名為Open Refine。

為考量有些數據的敏感與資訊安全，Open Refine僅提供桌面安裝版，讓使用者能在自己的電腦上處理數據清理工作，而不需上傳到遠端伺服器。它是以java 程式開發，其作業工作界面要透過瀏覧器開啟。我自己還沒有認真把它摸熟，先介紹二篇中文資料作參考：

• 資料視覺化網站所撰寫的圖文介紹：史上最強大的資料整理工具 － Open Refine　
• 全球深度報導網（Global Investigative Journalism network）的簡體中文版介紹：数据清洗神器Open Refine简明入门

之前有提過Advocacy Assembly這個適合NGO/NPO/對社會議題有興趣的朋友，去體驗看看的線上學習資源網站。之後我又聽了其中二門與數據分析處理的課程，認真地聽完(可見時常不認真無法專注地進行線上學習)後，覺得這二堂數據分析入門課程比起我曾經接觸的一些同樣也是介紹數據分折、基礎統計學的課程（Coursera:Excel to MySQL: Analytic Techniques for Business Specialization、Data Analysis and Interpretation Specialization ;Future Learner: learn to code for data analysis、 SAS tutorial and training），更是平易近人地較符合我的口味與程度，便好奇地連去看看負責設計提供這二門課程的合作單位： School of Data官網，是否還有其它有關數據分析的進階課程資源可以來參考。School of Data 是開放知識基金會（Open Knowledge Foundation）與P2PU (Peer 2 Peer University)共同合作的一個專案計畫，我居然居然還看到它與Tactical Collective Technology 合作的二個課程單元，ＴＣＴ是我大愛的ＮＧＯ，所以一定要來了解與支持一下它所編寫的數據使用介紹文本。

目前在School of Data 網站列出的課程目錄有以下九門課：
1. Data Fundamentals（其實這門課程就是ＡＡ多媒體影片示範版的前身文字版）
2. A Gentle Introduction to Data Cleaning（與ＴＣＴ合作）
3. A gentle Introduction into Extracting Data（與ＴＣＴ合作）
4. Introduction into Exploring Data
5. A Gentle Introduction to Mapping
6. Working with Budgets and Spending Data.
7. Collecting data using smartphones
8. School of Data Journalism
9. An Introduction to Aid Data


本文集中在介紹第一個入門課程「Data Fundamentals」，在School of Data的網站上，它大約用了１０個小模組（module）或稱之為小單元，來介紹數據基礎入門知識，分別為：

1) What is data?
2) Finding data
3) Sort and filter: basic of spreadsheet　：介紹辦公室套裝軟體中的試算表最最基礎操作，例如資料欄位的篩選，排序等功能。
4) Taming the Fierce Beast – The Math you need to start：　介紹最基礎的統計學常識，如平均數、眾數、中位數、資料範圍、常態分佈、標準差、標準分數等概念
5) But what does it mean?　Analyzing data (spreadsheets continued)：繼續介紹試算表，先從一張示範性的試算表案例中，讓學習者思考可以從中問出什麼問題找到什麼答案，再引入在試算表中的公式計算介紹。
6) From Data to Diagrams: An introduction to plots and charts：整理計算好的試算表，如何把數據表格轉換成為「圖表」，又，不同的數據資料類型，適合以哪一種圖表來呈現，以造成較佳的視覺效果？
7) Look Out!: Common Misconceptions and how to avoid them：提醒初學者在面對統計資料以及處理圖表過程不留意而追成的誤導與陷井,以慢慢培養出對數據與呈現訊息的敏感度。
8) Tell me a story， Working out what’s interesting in your data：前面介紹的數據收集、整理、處理的技巧或許多是偏技術性的操作熟悉，但回到數據視覺化用之於社會改變的意識提昇與倡議行動，則必須思考我要利用這些數據來反應、引證什麼現象?這個現象或趨勢中哪些人受到影響？你能說什麼樣的故事？有誰會對此故事感到興趣？本章的重點以一些案例，鼓勵數據利用者進一步把數據背後的故事發展出來，它可能是連結了個人生活的切身體驗，可能是成為倡議改變的動力燃料，也可能是深度調查報導的某塊磚石。
9) Data provenance：本章主要介紹數據處理過程中留下明確記錄的重要，以及相關記錄工具。之所也要對數據資訊的整理過程作記錄，主要有以下目的：方便版本分析，明確化初始資料組的收集整理者，以建立相關的透明、公信和問責。
10) Basic graphs：和前面第6單位的From Data to Diagrams有點重覆，再次介紹試算表軟體中內建的圖表轉換功能。

以上為「Data Fundamentals」10個小單元的簡要整理。建議完全對試算表沒概念，沒沾過統計學的數據白丁們，可以先從Advocacy Assembly 上面的二門數據相關課程入手Data Gathering for Beginners、Data for change: data visualisation for human rights，這兩門課其實就是把Data Fundamentals的文本作成了用影片示範操作，變成更為可親的多媒體版本。上完ＡＡ的的這二門課，基本上就可以直接跳過（或快速掃一下）ＳＯＤ的第一門Data Fundamentals，準備好進一步了解其它Data Cleaning、 Data Ｅxploring、Extracting Data、Ｍap and geocoding、......等等面向的基礎數據處理基本知識。

我自己對使用辦公室軟體（Office Suite）知識與技能很低階一般，只能應付寫報告之類的文書處理，而試算表也只會用簡單的加減乘除公式計算、插入圖表之類的水準。再加上後來改用ubuntu 作業系統，當然也沒有MS Office（或曰：「辦公室家用生産力工具」）可用，改下載使用開源又免費的Libre Office。但老實說近一年來很少需要打開「辦公室家用生産力工具」（應該直接說是「沒工作」可作，而不是沒用「辦公室家用生産力工具」XDXD），書寫習慣上改成在某些網路筆記服務（如hackpad，draftit）或是部落格平台下打文字草稿；而要使用試算表則用Google提供的Spreadsheet。這一年來雖然一直想學學現在很夯的數據分析入門，但大多數課程中所演示的軟體都是以微軟Excel為示範，雖然與LibreOffice Calc、Google Spreadsheet功能大同小異，但本人心理總覺得不能適應，故往往容易半途而廢！！（藉口真多）School of Data與ＡＡ上的演示，顯然有考量到使用者的便利，學習者不用花錢買商業辦公室套件也不鼓勵使用者讓商用軟體所綁架，故其軟體使用示範就是以LibreOffice Calc、Google SpreadSheet為主，完全解除了我對於試算表工具的排斥心防。



再者，透過SOD的課程讓我隱隱地理出了一條學習數據分析的路徑。以我個人過去一年來自學摸索數據分析的曲折體驗，還是建議對於數據分析有興趣了解，但本身並無任何程式編碼的先修知識也沒有統計學基礎者，不妨先從套裝的圖型介面環境，如試算表軟體入手，這是對一般使用者而言最為熟悉的工作環境來認識、親近數據資料。於此同時，不妨可同步開始學一點「主流」的程式語言，如python、javascript等，這些程式語言的入門基礎，如數學運算、邏輯、條件式等東西，因為要透過一步步編碼練習，會大大有助於理解試算表中一些內鍵公式函數的使用與表達方式。

等到圖型指令介面的試算表基本功能摸熟，接下來可學習ＳＱＬ結構式資料庫語法，後者的強處在於文字指令界面下處理大量數據資料。至於前面同時在繼續學習python、javascript，到了這個階段可以已經有了一點寫些最簡單函數的能力，也知道如何引入各家高手開發累積的資源，利用許多現成可用的程式庫（library）來作圖表視覺化工具。例如前者有：matplotlib、numpy、pygal，後者則有D3。一般而言，得利用自編的程式碼來進行數據視覺化的處理，勢必是在試算表其內建的圖表功能已無法滿足的狀況下，需要進行更細膩更互動化的視覺感官呈現，這當然也就涉及到想要讓數據資料說出什麼樣的故事，讓讀者有著什麼樣體會感受的設計思考。

至於傳統上就是用來作數據處理的二大山頭：開源的Ｒ以及商用軟體SAS，前者是純文字指令介面，後者是圖像式作業環境，現在大學裏社會科學學科有用到統計學的，學生們應該多少有接觸過一點SAS的使用吧？我個人對這二套軟體還是完全不熟，這要怪錯於早已久日荒廢的初級統計學知識，但感覺這個軟體還是比較合適用來專做數攄整理分析，如果有興趣深入了解統計學，或許應該要好好掌握了解其中任一件軟體的使用操作。