「讓數字說話」,是很常見的說法。科學研究若沒有提出數據,論述就顯得沒有說服力;管理者若沒有運用績效管理指標(Key Performance Indicators, KPI),好像就很難評量下屬的工作成效;學術表現、教學品質、醫療照顧、政府公共行政等等,充斥著各種數據與指標。指標的氾濫,讓各行各業的工作者都深陷「績效評量管理」泥沼。
本文作者Jerry Z. Muller為美國歷史學教授,在擔任學術單位主管時經歷高等教育評鑑,因而深切感受指標氾濫帶來的問題。「失控的數據」這本書出版於2018年,探問的是,人們究竟從什麼時候開始使用統計數字來思考?量化思維何時成為政策與管理論述的主流?「指標執著」(metric fixation)的原因為何?帶來哪些問題?本書共四部份,有16章。各章內容與重點扼要摘錄如下。
第一部份:論點 The Argument
1. 論點簡述 The argument in a nutshell
作者指出,「指標執著」(metric fixation)的原因包括:(1)相信指標優於個人的經驗與判斷;(2)相信指標是客觀公正的,並透過公開,可讓機關與人員確實執行工作;(3)相信依據指標建立的獎懲機制(最常見的是按質計酬),會讓人產生工作動力。
作者認為,上述論點都有限制,而且過度依賴指標會造成很多負面後果,尤其是牽涉到人的社會心理與行為的指標。僅以指標來進行管理,不僅限制人們的思考,更可能形成指標暴政,對個人與組織都帶來深遠影響。作者不是在反對指標,而是在反對「指標執著」文化。
2.
一再出現的瑕疵 Recurring flaws
作者指出,指標常僅聚焦於最容易衡量的事,但這些往往是最不重要的。常只衡量投入的資源(金錢、資源)或短期產出,而非長期成果。標準化的量化數據,時常會簡化真實世界的樣貌,造成去脈絡的詮釋。甚至會助長美化、操弄、作弊等負面行為;管理者仰賴指標來進行管理,若缺乏溝通,或在指標管理過程未充分納入被管理者的想法,會導致被管理者的工作動機被扭曲、工作士氣低落,甚至產生反彈、敵意、不願留任的態度。
第二部份 背景 The background
3.
評量與按質計酬制度,是怎麼出現的?The origins of measuring and paying for performance
19世紀末,英國用3R(reading, writing and arithmetic)來做為分配學校經費的指標,是首度出現的論質計酬,透過標準化績效衡量,來給予獎勵或懲罰。
20世紀初,科學管理在美國興起(代表者如Frederick Taylor,提倡標準化以提升生產效率),應用於工廠,也應用於公立學校管理。
此觀念於1950s開始廣泛為製造業所採用,至1990s已廣泛為服務業所採用。於此同時,會計管理也興起(代表者如Robert McNamara最早用於評估美國陸軍績效);1950s美國商學院從訓練學生進入某個實業領域(有特定know-how),轉而成為訓練學生成為「專業經理人」。
過度追求可以被衡量的「效率」,對於需要整體策略等級的思考剛好背道而馳。可被衡量的部分受到過度重視,難以衡量的部分則被過度忽視。
4.
為何指標越來越受到歡迎 Why metrics became so popular ,作者耙梳發展歷程,指出以下原因:
- 對判斷力的不信任:由於對自己判斷力的不信任,對掌權者權威的不信任(美國1960s以來政治基調),或者對專業組織的不信任,因而傾向於尋求外部、看來客觀中立的指標來作為判斷依據。可衡量的指標數字,尤其是公開透明的數字,常使人覺得是客觀、中立、可信的依據。指標確實可評量事物,且有助於破除老人權威、減少威權政治的束縛,然而指標濫用會帶來很多問題,並導致人們不信任自身判斷,加強指標依賴。
- 消費者自主權利意識:消費者,尤其是在某些領域中原本較為弱勢的團體(例如醫療關係中的病人一方),以指標來對抗權威。例如,要求機構將績效指標公開,以對抗原本具有絕對權力優勢的大企業或專業權威。很多人們相信,「更多資訊」就意味著有更多監督。
- 組織複雜化:組織高層與現場工作人員之間的距離,隨著組織越複雜化而越遠;高層管理者需要仰賴許多數據來做決策。收集和報告數據所需要的人力時間成本時常被低估,決策者可能也會傾向於相信數據,而非相信自己下屬員工的判斷,而下屬反而是在該專長或實務工作較有觀察與經驗的人。由於專業經理人時常在跨公司、跨產業之間流動,造成經理人或經營團隊對於所管理的公司所知有限,與公司原本的專業人員更缺乏信任關係,而更需要仰賴績效管理數據。
- 害怕訴訟(或行政責任追究):所有過程都要記錄下來,並且有客觀指標佐證,以預備未來受到行政調查或司法追究時做為決策依據的證據(可能屬美國情境)
- 資訊科技普及:讓更多、更精緻、更全面的量化指標得以被收集、被呈現。技術的可行,的確可能蒐集到更為完善、接近真實的數據(並協助人們做判斷),但也可能更助長了過度仰賴數據來做判斷、相信資料就是答案的文化。
簡評:公開透明,讓數字說話,是在打破舊政治階段時重要的手段,可以提升客觀程度,減少舊派閥與舊勢力的權力分贓結構的影響力(儘管還是存在),台灣在民主化的過程中相當得益於這種手段。也因此,在今日的台灣社會,要求公開透明也成為確保政治中立、接受公眾檢驗的公信力展現,但是對於呈現出來的眾多指標是如何生產、如何被詮釋,較少反思;對於適用公開透明的時機也缺少反省,某種程度也是顯現作者所說的指標固著文化全面盛行。
5.
委託人與代理人之間的關係,以及誘因機制 Principals, agents, and motivation
商業管理領域的「委託人─代理人」(principal-agent)分析,指出兩方的利益和目的經常不一致。對於委託人來說,在意的是如何透過監督機制,確保代理人(例如專業經理人、受僱者)的行為能符合委託人的目的。在私部門領域,委託人為公司股東或老闆,組織目的是最大化利潤,大多是以金錢量化的利潤。
在公部門,主張「新公共管理」的學者將私部門的專業經理思維帶入。然而作者指出,公領域的委託人(納稅人、全民)所追求的公共目的(例如全民健康、學童讀寫與分析能力),很難以金錢衡量,因此製造出許多績效指標來作為替代。
公部門也製造出各種金錢誘因,以論質計酬的方式來獎懲代理人,例如教育領域的教師、醫療照顧領域的服務提供者。
作者認為,論質計酬的薪酬設計,奠基於「人們工作只是為了金錢獎賞」的假設,但此假設可能嚴重扭曲了很多人的工作動機,甚至造成專業精神的流失。例如投身公部門的工作者,或是投入醫療照顧、教育工作的人,原本有其「內在動機」(追求專業、服務、其他使命感),這些精神很難量化,在推崇指標治理的文化中受到忽視,甚至被排擠,因為職場中鼓勵的是「盡量追求外在獎賞」。
簡評:
現代組織的複雜度,使決策者(不論是委託者或代理人皆然)無法不依賴這些指標。在健康政策與管理領域,管理者仰賴大量統計監測數據與績效指標,作為評估工作表現與配置資源的依據。
然而,管理者仰賴的指標,與基層實務工作者的經驗或觀點,時常產生衝突。嚴謹的健康政策指標,應該盡力追求指標與現實之間的相近度,但實際化為政策以及評鑑指標時,總會產生很多非預期後果,或是扭曲受到政策影響者的行為。
蒐集指標及追求評鑑指標達成度等活動,本身成為一種利害關係複合體的產業(如醫院評鑑、高教評鑑、企業CSR評鑑、綠能環保評鑑)。
本章提醒決策者與管理者,指標應適時檢討。指標確實可能有助於服務或產品品質的確保,但工作指標若與財務獎懲機制聯結,會引起許多扭曲原本目的的競逐行為,反而不利於真正的績效。
6.
哲學性批判 Phylosophical critiques
作者指出,當代不論是左派或右派,都很採信指標治理。右派認為是提升組織效率的良方(效益主義邏輯,用最少錢換到最多效益),左派認為是監督並打破保守價值的良方(要求公開透明)。但作者從左右兩派的經典論述之中,找出左右派都存在著反對指標固著文化的理據:
馬克思主義者的批判:認為指標治理,會降低人們對於技能的重視,組織高層更有理由忽視基層的技術與經驗。
保守古典派自由主義者的批判:認為現實中充滿許多「實用性知識」、「特定情境下生成的知識」和「即時的判斷力」,而這些,都難以透過標準化的知識傳遞方式傳授,也難以被評估。例如海耶克曾批評蘇維埃式的計劃經濟模式,認為不能僅使用數據來作經濟政策規劃。此外,自由派學者也認為,過度要求績效評估與數據管理,這些活動本身所耗費的精力,可能還超過原本仰賴實用性知識所需花費的力氣。
第三部份 被誤測了嗎?案例研究
The mismeasure of all things? Case studies
7.
大學院校
colleges and universities
教育評量制度
大學排名的角力
學術生產力的計算,導致各種弊端(impact
factor的操弄、自我引用、期刊營利行為等等)
8.
美國12年國教的學生學業評量制度
2001年小布希總統的政策,no child left behind,受到共和民主兩黨支持;此法案與評量方式,在這之前花超過10年醞釀。著重在族群之間的「成就落差」。
後果:學生老師與家長只重視考試技巧,而非知識;強化數據管理的功能;產生對教師的激勵與績效薪酬制度;成就差距沒有改變;忽略了成績之外的面向。
9.
醫療
作者指出,醫療機構是指標管理最普遍的場域。各類醫療品質指標、論質計酬制度、醫院排名、計分卡、醫療資訊公開、病患滿意度等制度均相當普及。指標推動者的研究發現不論如何,結論都是建議繼續改善指標。
在美國,醫療場域使用指標的初始目的,是為了監測並提升醫療品質,後來是保險公司與付費的雇主與政府單位為了控制醫療開銷,以及民眾為了更瞭解醫療資訊,而讓指標管理制度越來越受到重視。資訊科技、電子病例等數位工具的興起,也讓資料蒐集更佳便利且即時。
管理學家波特Michael Porter是醫療管理指標的重要推動者,他倡議品質指標、公開機制、透明度等制度的建置。書中特別介紹波特倡議的三個成功實例:克里夫蘭醫療中心、Geisinger
Health System,以及Peter J. Pronovost的基石計畫(加護病房的中央靜脈導管醫療處置)。
對於以上三個例子,本書作者提出質疑。他認為,克里夫蘭醫療中心原本的表現就很好,並非引入指標之後才成功;而其他兩個醫學機構的指標,均由醫師主導或與行政團隊合作。作者認為,以上三個例子有其特殊性。
關鍵是,由第一線工作者自己決定指標,評鑑的內容才會與自身專業使命感一致。
若缺乏這些脈絡,僅試圖將外部發展的指標,強加到其他醫療場域,就會出現問題。書中提到很多問題:醫療行為的目標轉變、工作者的內在動機被忽視(覺得自身的專業判斷不受尊重)、醫療提供者會想辦法美化指標(例如避免高風險病人以降低住院後死亡率、讓病人在救護車等待以降低急診停留時間等等);評鑑行政帶來龐大的人力、時間與各種成本負荷;另外,實務工作者會對管理者產生敵意。
10. 警政
警政管理系統,1994年由紐約警察局開發,追蹤犯罪事件、分析比較犯案模式、計算各區的犯罪件事、熱點,製作犯罪統計
犯罪率、受害者人數等統計,成為施政表現,受到政治人物與外界重視
後果:隱匿、低報、造假、挑容易的案子來辦…
11. 軍隊
12. 商業與財務
有關公司表現、員工管理、金融體系的管理
企業管理者過度依賴指標所造成的問題
13. 慈善與國外援助
捐贈者為了確保接受者的工作與可信度,會檢視績效指標,但仰賴指標也帶來諸多問題
附錄 excursus
14. 當透明度成為績效表現的敵人
作者指出,維持一定的「不透明度」,對於很多事務的真正績效,是重要的。例如政治協商、政治監督、外交談判、商業協商,只有在閉門會議的狀況下,才能真正開誠布公地協商;若在媒體鎂光燈注視之下,很難達到真正的溝通(反而需要在會前把該談的事談好)。行政部門在制定政策的過程中,有許多層面的考量,不是在每個階段都適合全部公開。隱私與秘密,仍應該在人類活動中有一席之地,有價值上的意義,也有手段效率上的意義,全面公開透明徵信,反而不利追求真正績效。
「更多的資訊公開,就能夠更具公信力、帶來更好的決策」的預設,是需要被檢討的。
第四部份 結論 Conclusions
15. 非計畫但可預期的負面後果 Unintended but predictable negative consequences
- 工作目的被扭曲、工作價值與意義感(內在動機)降低
- 員工被管理者控制
- 組織士氣下降
- 重視短期績效的短期主義
- 不鼓勵創新與承擔風險
- 員工的時間成本增加
- 指標的效益日益衰減;為了避免負面問題,又產生更多指標,造成惡性循環
- 指標設計不當很容易造成員工產生不公平感受
- 個人化指標造成個人主義、不鼓勵團隊合作或共同目標
16. 何時使用指標的查核清單 When and how to use metrics: A checklist
- 指標的目的:到底要評量什麼?為了什麼目的?是誰的目的?是否與政策最終的目的符合?是否與第一線工作者的工作目標是一致的?
- 指標的制訂:指標由誰開發?如何開發?在制訂過程,第一線工作者有發言權嗎?
- 指標的有效性:指標可靠嗎?
- 指標的必要性:不採納標準化評量,就無法管理嗎?
- 指標的成本:取得指標數據,需要付出多少成本?
- 指標的使用:如何使用資料?是否需要公開透明?
- 指標的負面影響:是否造成工作的目標被轉移、是否造成美化、造假、敗壞等問題
問題與討論
- 管理者使用標準化指標來評量員工工作表現,其動機為何?為何指標會越來越受到歡迎?
- 管理者若過度依賴標準化的指標,可能會帶來哪些問題?
- 請閱讀第9章,簡述美國醫療評量指標的發展歷程。你認為這些針對醫療機構的評鑑指標,帶來哪些好處?哪些問題或弊端?
- 作為管理者,你會如何使用指標?請參考第16章,提出使用指標時應考量的面向。