Research Assessment
前略
例によって,WEB上の科学ニュース等を眺めていて, "Let's move beyond the rhetoric: it's time to change how we judge research" というNatureの記事を見つけました。2月7日のもので,Imperial College Londonの構造生物学教授 Stephen Curryが書いたものです。
彼はDORA(Decralation on Research Assessment)の運営委員会議長(chair of the DORA steering committee)です。DORAは,アメリカ細胞生物学会(ASCB)とさまざまな資金団体,学術誌出版社が主導し,科学研究成果の評価方法を改善しようという目的のもと,2012年にサンフランシスコで宣言を行ったもので,多くの大学・研究機関・研究者が宣誓にサインしているようです(2018年3月17日現在,466団体,11,884個人)。早い話,単なる引用件数(JIF,ジャーナル・インパクト・ファクター)で評価されがちな学術研究について,その評価指標,ものさし,メトリクスを提案・実践しようというものでしょう(実際,インパクト・ファクターだけで研究費や雇用が決まるのは嫌ですものね)。
タイトル(WEB版は上記の通り,PDF版は"Words were a good start - now it is time for action" )が示してるように,これまで実質的な成果が上がっていなかったということでしょうか。"it's worth doing the experiment to properly evaluate evaluation." と書いていますので,いろいろな評価方法を「試行」し,それを「評価」していこうよ,ということでしょう。彼は自身の研究をお休みして,DORAの仕事(だけではなく所属先での "Equality, Diversity and Inclusion" に関する仕事にも)専念しようという決意のようです。
彼が挙げているように,"Bibliometrics: The Leiden Manifesto for research metrics""The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management"など,科学研究の評価についての提案がさまざま行われている一方,AltmetricF1000Primeなど,実践されているものもあります。
こういった提案や評価の取り組みを眺めてみると,その研究が持つ影響力はもちろん,研究データや再現のための資料保全の状態,オープンか透明性が担保されているかなど,グローバルな視点だけでなく地域性なども考慮した評価が議論されているようです。また,研究者自身の評価については単に専門領域での研究成果だけでなく,教育や社会活動も評価対象に入ってくるのでしょう。大学,研究機関,資金援助団体,奨学金制度等も評価の対象ですね。
でも,評価というとどうしてもメトリクス,数値化のところが気になります。今の時代はさまざまなものに対し数値化されることが求められいて,本来定量化などできないことまで数値で評価することが求められ,実際行われているように思います。そして,そういった数値は,数字の特性として客観的という衣服を着ているので,提示sあれただけで非常に精密な印象を与え説得力を持ってしまいます。でも,定義が明確な物質量,質量・体積などの計測値と違って,学術論文の影響力などどのように数値化するのか見当もつきません。そういう意味では,インパクト・ファクターなど,名称からして,すぐに「ははァー」とひれ伏してしまいそうです。人はわかりやすいものはすぐに受け入れ,そしてほどなく問題点を棚上げにし無批判になり,ますます単純化されて数字が独り歩きするようなるのかもしれません。
適切とは言えない方法で数値化されたものが,あるいは改善の余地があると誰の眼にも明らかでありながら,きちんと見直しもされずそのまま使われている事例はたくさんあるように思います。学者・研究者集団であっても案外そんなものなのかしら,などと思うのは失礼というものでしょうか。「人間」の評価,「人間の活動成果」の評価は難しいものです。時間という「ものさし」も忘れないようにしないといけません。数年,数十年,数百年後に見直され大きな影響力を発揮した研究や研究者の例はいくつもあるでしょう。DORAの活動がこれからどのように展開していくのかわかりませんが,時々はDORAのサイトを開いて見守っていきたいと思います。
あなたにとっては実際に我が身に降り懸かるものです,それが火の粉になるか粉雪か,あるいは春の桜の花びらか,太陽の光か,他人事ではありませんね。実際,日本の大学ではこういった話題はどのようになっているのでしょう,あなたの研究室ではどうですか。日々の活動の中で意識することなどない,あるいは,常に頭から離れない切実な問題,私にはわかりません。あなたが,あなたの活動が公正に公平に評価されることを祈るのみです。
なお,DORAの宣言については,デジタル・リポジトリ連合(DRF)日本語訳(5ページほど)がありますので興味があれば読んでみて下さい(DRFはJPCOAR(オープンアクセスリポジトリ推進協会)に移行するようですね)。
では。体を大切に。
草々
2018年3月19日