「讓數字說話」，是很常見的說法。科學研究若沒有提出數據，論述就顯得沒有說服力；管理者若沒有運用KPI指標，似乎就很難評量下屬的工作成效。然而指標過於氾濫，讓各行各業都深陷「績效評量管理」泥沼。指標數據過多，不僅限制人們的思考，更可能形成指標暴政。
本文作者Jerry Z. Muller為美國歷史學教授，在擔任學術單位主管時經歷高等教育評鑑，因而深切感受指標氾濫帶來的問題。「失控的數據」這本書探問的是，人們究竟從什麼時候開始使用統計數字來思考？量化思維何時成為論述的主流？「指標執著」(metric fixation)的原因為何？帶來哪些問題？
本書共四部份，有16章。各章內容與重點扼要摘錄如下。
第一部份：論點 The Argument
1. 論點簡述 The argument in a nutshell
l 「指標執著」的原因包括：(1)相信指標優於個人的經驗與判斷、(2)相信將指標公開，會讓機關確實執行工作、(3)相信依據指標建立的獎懲機制(最常見的是按質計酬)會讓人產生工作動力。作者認為，上述論點都有其限制，而且過度依賴指標會造成很多負面後果。 作者不是在反對所有指標，而是反對「指標固著」。
2.
一再出現的瑕疵 Recurring flaws
l 常聚焦於最容易衡量但也常是最不重要的事，導致虛假不實的結果。
l 常只衡量投入（金錢、資源），而非成果。
l 標準化的量化數據，反而會導致資訊品質下降，且簡化事實，造成去脈絡的詮釋。甚至助長美化、操弄、作弊。
第二部份 背景 The background
3.
評量制度與按質計酬的起源 The origins of measuring and paying for performance
l 19世紀末，英國用3R(reading, writing and arithmetic)來做為分配學校經費的指標，是首度出現的論質計酬，透過標準化績效衡量，來給予獎勵或懲罰。
l 20世紀初，科學管理在美國興起(代表者如Frederick Taylor，提倡標準化以提升生產效率)，應用於工廠，也應用於公立學校管理。
l 此觀念於1950s開始廣泛為製造業所採用，至1990s已廣泛為服務業所採用。於此同時會計管理也興起(代表者如Robert McNamara最早用於評估美國陸軍績效)，1950s美國商學院從訓練學生進入某個實業領域(有特定know-how)，轉而成為訓練學生成為「專業經理人」。
l 過度追求可以被衡量的「效率」，對於需要整體策略等級的思考剛好背道而馳(56)。可被衡量的部分受到過度重視，難以衡量的部分則被過度忽視。
4. 為何指標受到歡迎 Why metrics became so popular
l 對判斷力的不信任：傾向尋求外部、「客觀」指標來作為判斷的依據，可衡量的指標數字，常有一種令人覺得客觀、可信的感受。包括對自己判斷利的不信任，以及對掌權者權威的不信任(美國1960s以來政治基調)，包括對政府，以及對專業組織，因此若有數字作為判斷依據，而且是公開透明的數字，相對具有公信力。優點在於可以破除老人政治、威權政治的束縛，缺點是會造成人們對於指標過度依賴，這種依賴也可能會反過來繼續削弱對人為判斷信任度，迫使人們更為依賴指標。
l 害怕訴訟(或行政責任追究)：因此所有過程都要記錄下來，並且有客觀指標佐證，以預備未來受到行政調查或司法追究時做為決策依據的證據。
l 消費者自主權利意識：消費者，以及原本在某領域中較為弱勢的團體(例如醫療關係中的病人一方)，自主選擇的權利意識抬頭，透過要求公開透明績效指標，對抗原本具有絕對權力優勢的大企業或專業權威。人們相信「更多資訊」就意味著有「更多自主選擇」的空間。
l 組織複雜化：組織高層與現場工作人員之間的距離隨著組織越複雜化而越遠，高層需要仰賴許多數據來做決策。收集和報告數據所需要的人力時間成本時常被低估，決策者可能也會傾向於相信數據而非相信自己下屬員工(在某專長方面具有全局觀和實際know-how者)的判斷。專業經理人(時常在跨公司、跨產業之間流動)的文化，也造成經理人或團隊對於經營的公司了解甚微，也與公司原本專業人員更無信任關係，更需要仰賴績效管理數據。
l 資訊科技普及：讓更多、更精緻、更全面的量化指標得以被收集、被呈現。技術的可行，的確可能蒐集到更為完善、接近真實的數據(並協助人們做判斷)，但也可能更助長了過度仰賴數據來做判斷、相信資料就是答案的文化。
l 簡評（from 葉明叡老師）：公開透明，讓數字說話，是在打破舊政治階段時重要的手段，可以提升客觀程度，減少舊派閥與舊勢力的權力分贓結構的影響力(儘管還是存在)，台灣在民主化的過程中相當得益於這種手段。也因此在今日的台灣社會，要求公開透明也成為確保政治中立、接受公眾檢驗的公信力展現，但是對於呈現出來的眾多指標是如何生產、如何被詮釋，較少反思，對於適用公開透明的時機也缺少反省，某種程度也是顯現作者所說的指標固著文化全面盛行。
5. 委託人、代理人、誘因 Principals, agents, and motivation
l 在「委託人─代理人」(principal-agent)關係中，兩方的利益和目的可能不一致，對於委託人來說，在意的是如何透過某些監督機制，來確保代理人的行為符合委託人的委託(這點也如前述，受到專業經理人文化的增強)。在私部門領域，委託人(公司股東)主要追求的是最大化公司的利潤，這相對容易衡量，也就是錢；「新公共管理」將此關係的概念帶入公部門，但在公部門，委託人(納稅人、全民)所追求的公共目的(e.g.全民的健康、小學生的讀寫與分析能力)並不是能用錢衡量的利潤，因此必須製造出許多績效指標來作為替代。
l 除此之外，也在公部門製造出金錢誘因，以論質計酬的方式來獎懲代理人(教育、醫療的提供者)。論質計酬的概念假設「人們工作只是為了要獲得物質上的獎賞」(77)，嚴重扭曲了人的動機。投身公部門，或是醫療教育工作的人，可能原本有其他的內在動機、專業動機或其他使命感，這些都受到忽視，甚至具有排擠效應，因為職場中鼓勵的是「盡量追求外在獎賞」。
l 簡評（from 葉明叡老師）：公共衛生與健康政策大量仰賴這種作者批判的統計監測與績效評估，收集資料來做為衛生工作或政策制定的依據。管理者仰賴的指標，與臨床工作或其他實務工作者的觀點產生衝突，時常也是來自這種全局觀點與現場觀點的差異。嚴謹的健康政策制定，應該是盡力追求指標與現實之間的相近度，但實際化為政策以及評鑑指標時，總會產生很多非預期後果，或是扭曲受到政策影響者的行為。現代組織的複雜度，使決策者(不論是委託者或代理人皆然)無法不依賴這些指標，但本章提醒決策者，指標並非唯一，指標也應適時檢討。甚而，整個蒐集指標、評鑑指標達成度的活動，本身成為一種利害關係複合體的產業(如醫院評鑑、高教評鑑、企業CSR評鑑、綠能環保評鑑)。這些評鑑確實達成了某種基本服務或產品品質的確保，但與財務獎懲聯結以後，也引起許多扭曲原本目的的競逐行為，反而不利於真正的績效(而非被測量到的績效)。
6. 哲學性批判 Phylosophical critiques - 作者指出，對過度量化及過度指標化的批判，來自以下思想：
l 馬克思主義者：降低人們對於技能的重視，組織高層更有理由忽視基層的技術與經驗。
l 保守古典派自由主義者：現實中充滿許多「實用性知識」、「特定情境下生成的知識」和「即時的判斷利」，這些都難以透過標準化的知識傳遞方式傳授，也難以被評估，此為理性主義假設的謬誤，理性主義假設所有知識都是「技術知識」。理性主義和科學主義認為，只要能夠掌握越多的技術知識，就能夠對人類社會生活做出最完善的規劃，這基本上就是海耶克曾批評的蘇維埃式計劃經濟，但卻在今日的資本主義社會大行其道。過度要求績效評估與數據管理，這些活動本身所耗費的精力可能還超過原本實用性知識所需花費的力氣。
l 一言以蔽之，作者認為「數據計算是想像力的敵人」。
l 簡評（from 葉明叡老師）：作者精闢指出當代不論是左派或右派，都對於這套指標固著文化很採信，右派認為是提升組織效率的良方(效益主義邏輯，用最少錢換到最多效益)，左派認為是監督並打破保守價值的良方(要求公開透明)，但作者從左右兩派的經典論述之中，找出左右都共同反對指標固著文化的理據。
第三部份 被誤測了嗎？案例研究 The mismeasure of all things? Case studies
7.
大學院校
colleges and universities
l 每個人都要上大學的信念，但隨著大學畢業生變多，大學學位的價值降低，因此出現教育評量制度
l 大學、政府，沒有底線地投入資源；管理人大量增長。
l 大學的排名角力。
l 學術生產力的計算，造成製造數量的行為
l 作弊行為的出現；如impact factor的操弄、自我引用等等。
8.
各級學校：美國12年國教的學生學業評量
l 2001年小布希總統的政策，no child left behind，受到共和民主兩黨支持；此法案與評量方式，在這之前花超過10年醞釀。著重在族群之間的「成就落差」。
l 後果：學生老師與家長只重視考試技巧，而非知識；強化數據管理的功能；產生對教師的激勵與績效薪酬制度；成就差距沒有改變；忽略了成績之外的面向。
9.
醫療
l 指標的出現，主要是為了控制開銷；資訊科技、電子病例讓資料蒐集更佳便利且即時；公開醫療資訊與按質計酬的普及
l 醫療系統的排名，從醫院間的比較，到國家間的比較；作者指出，人口健康狀況，不能只看醫療制度的狀況…（為這段內容比較離題，因為影響人口健康的原因多重，不是只有醫療因素，還有很多外在社會環境與個人因素）
l 管理學家波特Michael Porter是醫療管理指標的重要推動者；品質指標、公信力、透明度；進行長期追蹤
l 波特倡議的三個成功例子：克里夫蘭醫療中心、Geisinger
Health System；加護病房的中央靜脈導管醫療處置，推動基石計畫與併發症的控制
l 對於以上三個例子，作者提出質疑：克里夫蘭醫療中心原本的表現就很好，並非引入指標之後才成功；這兩個醫學機構的指標，均由醫師主導或與行政團隊合作，關鍵是，由第一線工作者自己決定，評量與自身專業使命感一致；加護病房的基石計畫也有以上特質。所以，作者認為，以上三個例子有其特殊性。
l 全局樣貌：指標、論質計酬、排名、計分卡，推動者的研究發現不論如何，結論都是繼續改善指標。
l 後果：醫療行為的目標轉變、想辦法美化指標（例如避免高風險病人）、評鑑行政帶來人力與時間的負荷、改變工作者的內在動機、產生對管理者的敵意
10. 警政
l 警政管理系統，1994年由紐約警察局開發，追蹤犯罪事件、分析比較犯案模式、計算各區的犯罪件事、熱點，製作犯罪統計
l 犯罪率、受害者人數等統計，成為施政表現，受到政治人物與外界重視
l 後果：隱匿、低報、造假、挑容易的案子來辦…
11. 軍隊
12. 商業與財務
l 公司表現、員工管理、金融體系的管理
l 商業管理者依賴指標，造成的問題。
13. 慈善與國外援助
l 捐贈者為了確保接受者的工作與可信度，仰賴指標所帶來的問題
附錄 excursus
14. 當透明度成為績效表現的敵人
l 維持一定「不透明度」對於很多事務的真正績效而言非常重要，例如政治協商、外交談判，可能只有在閉門會議的狀況下，才能真正開誠布公地協商，談條件；行政部門制定政策時，過程中有許多層面的考量，也不是在每個階段都適合全部公開。隱私與秘密，仍應該在人類活動中有一席之地，有價值上的意義，也有手段效率上的意義，全面公開透明徵信，反而不利追求真正績效。
l 簡評(葉明叡老師）：特別是在這個後真相時代，支持者擷取自己想要相信的資訊來閱讀、來相信，進而來建構「真實」，並據以攻擊建構出來的「反對者/敵人」。指標固著文化中預設的「更多的資訊公開，就能夠更具公信力、帶來更好的決策結果」的因果想像，在現在這個時代更必須進一步反省檢驗。
第四部份 結論 Conclusions
15. 非計畫但可預期的負面後果 Unintended but predictable negative consequences
l 工作目標的扭曲
l 短期主義
l 員工的時間成本
l 指標的效益日益衰減
l 為了避免造假、目標轉移等後遺症，又弄出更多規定與指標
l 不公平的感受
l 不鼓勵創新與承擔風險
l 不鼓勵合作與擁有共同目標
l 工作的價值感／意義感降低
l 員工被管理者控制
l 組織動力下降
16. 何時使用指標的查核清單 When and how to use metrics: A checklist
- 評量什麼？無生命的客體，越有可能被評量；越牽涉到人的行為，越不可靠
- 有效性？想要知道什麼？真正能用指標來反應嗎？
- 加入更多指標，效果更好嗎？
- 不採納標準化評量，會有什麼代價？
- 資料透明化，是要給誰看？內部還是外部？指標的目標，必須與工作執行者的目標是一致的。
- 取得指標，需要付出多少成本？
- 高層為何想要績效指標？
- 績效評量如何開發？被誰開發？
- 注意敗壞與目標轉移的危險
- 瞭解公開透明的問題與風險
問題與討論
- 管理者使用標準化指標來評量員工工作表現，其動機為何？為何指標會越來越受到歡迎？
- 管理者若過度依賴標準化的指標，可能會帶來哪些問題？
- 請閱讀第9章，簡述美國醫療評量指標的發展歷程。你認為這些針對醫療機構的評鑑指標，帶來哪些好處？哪些問題或弊端？
- 作為管理者，你會如何使用指標？請參考第16章，提出使用指標時應考量的面向。
沒有留言:
張貼留言