STI Hz Vol.7, No.1, Part.8:(レポート)大学の研究力を総合的に把握する「量」、「質」、「厚み」に関する5つの指標と、新しい国際ベンチマーク手法の提案STI Horizon

  • PDF:PDF版をダウンロード
  • DOI: https://doi.org/10.15108/stih.00248
  • 公開日: 2021.03.22
  • 著者: 小泉 周、調 麻佐志、鳥谷 真佐子
  • 雑誌情報: STI Horizon, Vol.7, No.1
  • 発行者: 文部科学省科学技術・学術政策研究所 (NISTEP)

レポート
大学の研究力を総合的に把握する「量」、「質」、「厚み」に
関する5つの指標と、新しい国際ベンチマーク手法の提案

第2研究グループ 客員研究官 小泉 周、調 麻佐志
慶應義塾大学大学院システムデザイン・マネジメント研究科 特任講師 鳥谷 真佐子

概 要

世界大学ランキング等で活用されている研究力に関する指標も参考とし、大学の研究力を総合的に把握することが可能となる「量」・「質」・「厚み」及び「国際性」に関する5つの指標を選定した。5つの指標は、「量」を示す論文数(著書も含む)、「質」を表すFWCI(Field-Weighted Citation Index)、「厚み」のh5-indexとトップ10%論文数、「国際性」のCNI(Collaborative Network Index, 分数)である。また、この5つの指標について、FWCIが1以上の論文を5年で2,000本以上の算出している世界の研究大学1,238校を選定(エルゼビア社のScopus(スコーパス)収録大学)、それぞれの中央値を算出、これを、世界の研究大学の「研究大学群標準指数」(R-Standard)とし、国際比較可能なベンチマーク指標として提案する(分野ごとに算出も可能である)。

キーワード:大学,研究力,指標,厚み,国際比較

1. 量・質、そして厚み指標

ここ数年、EBPM(Evidence-Based Policy Making)の重要性が叫ばれる中で、「何をもって大学の研究力を測ればよいのか」が課題となっている。2016年5月、文部科学省・科学技術・学術審議会・学術分科会において、大学の研究分野ごとに研究力の特徴を把握するための指標・手法の開発を行う必要性が議論された。これをうけて、科学研究費助成事業・特別研究促進費の対象課題として、研究力分析指標プロジェクト(小泉周代表)が採択され、我々の研究チームは、2016年5月から2年間の調査検討を行った。このプロジェクトについては、既に報告書にまとまっている1)。この報告の中で、研究のアウトプットの「量」を示す論文数(article, review, conference paper, book, book chapterを含む)や、その論文の「質」を示す代表的な指標として被引用数・被引用指数(どれだけ引用されたか)を組み合わせて分析することが重要であることを指摘した。特に後者については、分野ごとに引用の傾向が大きく異なることから、FWCI(Field Weighted Citation Impact)2)と呼ばれる分野や文献タイプ・年などで補正された分野補正された引用度(世界平均を1とする)をもととしたものがあり、Times Higher Education(THE)世界大学ランキング3)でも、論文数とともに、この指標が用いられている。このように、従前より、大学の研究力の把握において、「量」及び「質」に関する幾つかの指標を組み合わせることが必須となっている(図表1)。

さらに、研究力分析指標プロジェクトの研究チームでは、従来の「量」と「質」の計測を組み合わせた、「厚み」という概念を提唱した。「厚み」は「量」と「質」の指標だけでは捉えきれないものであり、「一定の質をクリアしたものの量」と考えることができる1)

このように、従来の研究のアウトプットの「量」と、被引用指数に基づく「質」とともに、研究の「厚み」も重要な概念である。これらの3つのカテゴリーの幾つかの指標を組み合わせることによって、それぞれの大学の研究力の全体像を把握することができると考えられる。

図表1 世界大学ランキング等で用いられる研究力を評価するための指標図表1 世界大学ランキング等で用いられる研究力を評価するための指標

2. 大学の研究力を総合的に把握する5つの基本指標

今回の分析においては、以下の5つの基本指標を選定し、これらを用いた比較によって、「量」・「質」・「厚み」、さらに、「国際性」について、多角的に大学の研究力を把握することとした。

今回選定した5つの指標、それぞれの指標について説明を加える(図表2)。

図表2 5つの基本指標注1と3つの参考指標図表2 5つの基本指標注1と3つの参考指標

2-1)量
○論文数

2016年以来、THEの世界大学ランキング等においても、論文数には、article, review, conference paper, book, book chapterが含まれるようになった。このような世界的な流れをうけ、今回の論文数には、このカテゴリーの研究成果がすべて含まれるものを算出している。

2-2)質
○FWCI

FWCIは、Field-Weighted Citation Impactと呼ばれる被引用指数であり、THE世界大学ランキングにおける被引用数指標の主指標となっている。世界平均は1として、論文ごとに算出される。分野、文献タイプなどで標準化されており、分野間の偏りが補正されている。

2-3)厚み
○h5-index

大学やその分野ごとに、ある5年間の発表論文群を分析し、h-countの方法5)を用いて「被引用数が X 回以上の論文が X 本ある」としたとき、この X の最大値を、h5-index と定義する。大学やその分野の「厚み」を示す主要指標として、研究力分析指標プロジェクトで提案した1)

○Top10%論文数

被引用数で上位Top10%に入る論文群の論文数を示すものであり、「一定の質をもった量」を示す指標である。今回の計算では、FWCIを用いて分野ごとに補正した被引用指数を使うため、分野補正がなされたものである。

なお、Top10%論文数を全論文数で割ったものが、Top10%論文割合(参考指標)となる。

2-4)国際性
○CNI(分数)

「研究力分析指標プロジェクト」で提案した指標1)。Collaborative Network Index(CNI)と呼ぶ。国際的な共同研究ネットワークの中で、国際的な大学間の共著関係性の強さを定量的に把握する指標である。

具体的には、「国際的な大学間のつながりの強さを共著論文数で把握し、さらに、それを分数カウントして、大学ごとに共著の重みを割り振る。その上で、国際共著機関数と共著論文数(分数カウント)の間で、h-countの手法5)を用いて、どれだけ多くの機関と強くつながっているかを定量的に把握する」指標である。つまり、CNIの値(仮にXとすれば)は、「X本以上共著論文がある海外大学・機関がX大学・機関ある」という説明になる。多ければ多いほど、国際的な共同研究ネットワークの中で、より多くの大学と、強い論文共著関係をもっていることがわかる。

○(参考指標)国際共著論文率

国際性を測る上で、従来良く使われる指標に「国際共著論文率」がある。これは、国際共著論文数を全論文数で割った割合である。しかし、これは、多分に、地理的・政治的条件に依存しており、地域によっても大きく異なる。単純な国際比較は危険だ。

○(参考指標)研究者数

Active Authorsとは、論文著者として名前がでている研究者数である。論文データベースを用いてカウントが可能である。

3. 研究大学群標準指数(R-Standard)(中央値)の算出

今回、上記、量・質・厚みに関する5つの基本指標について、研究大学群の標準指数(中央値)を計算し、これを、研究大学群標準指数(R-Standard)として提案する。平均値ではなく、中央値としたのは、これらの指数が必ずしも正規分布しておらず、分布に偏りがみられるためであり、平均値よりも中央値がそれぞれの指標を代表する数値であると判断したためである。

なお、今回の調査においては、エルゼビア社Scopusのデータベースを用いた。

●R-Standard算出方法(図表3)

上記5つの指標について、エルゼビア社Scopus掲載の研究大学群のうち、5年間で2,000本以上の論文を出し、FWCIが総合で1以上になっている研究大学群1,238校を選定、その中央値を算出した。つまり、R-Standardとは、世界の研究大学群の5つの指標に関する標準値(「研究大学群標準指数」と呼ぶ)であるともみなせる。

さらに、それぞれの指標の値について、指標ごとに1,238校の中から、Sライン(100位)、Aライン(250位)、Bライン(500位)の値をとり、国際比較のためのベンチマークとして活用することを提案する(図表4)。

各大学は、この5つの指標のR-Standardをベンチマークとし、自大学の数値を比較することにより、自大学の量・質・厚み・国際性の現況と特徴を把握することが可能となる。

なお、これらの値は、すべて分野ごとに算出することができるものであり、分野ごとにベンチマークすることも可能である。

図表3 5つの基本指標のR-Standard図表3 5つの基本指標のR-Standard

図表4 5つの基本指標のR-Standard、S・A・Bラインの数値図表4 5つの基本指標のR-Standard、S・A・Bラインの数値

●世界の研究大学群の比較

例として、これらの数値を用いて、世界の研究大学群を比較してみた(図表5)。オレンジ色をつけた数値がSラインを超えた指標、黄色がR-Standardを超えた指標である。日本の大学は、東京大学や京都大学でさえ、「質」の指標が弱く、R-Standardにも到達していないことがわかる。一方、「量」は、東京大学・京都大学ともに、Sラインを超えている。

図表5 世界の研究大学の比較図表5 世界の研究大学の比較

●日本の大学の現況と3年前調査との比較

日本国内においては、3年前調査と比較すると(2011-2015 と2014-2018の比較)、国立大学全体では、論文数(中央値)は減少したものの、FWCI(中央値)は上昇し、「厚み」h5-index(中央値)はほぼ同水準で、Top10%論文数は減少した。それに比して、RU11を含む研究大学コンソーシアム所属の33大学・研究機関では、論文数は増加、厚みも大幅な上昇がみられ、FWCIも上昇していたものの、Top10%論文数は減少した。一方、国際性については、国際共著論文率は、大幅に上昇しているものの、国際的な組織的なつながりの強さを示すCNI(分数)には変化がなかった。

以上、日本国内においては、トップ研究大学とそれ以外の地方大学等との間で、特に論文数や厚みで、大きな溝が生まれているようである。

以下の図表6、図表7において、R-Standardを超えている数字をハイライトしたが、S、A、Bラインを超えたものはどれもなかった。

図表6 国立大学(86大学)の数値(2011-2015 と2014-2018の比較)図表6 国立大学(86大学)の数値(2011-2015 と2014-2018の比較)

図表7 研究大学コンソーシアム33国公私立大学群の数値(2011-2015 と2014-2018の比較)図表7 研究大学コンソーシアム33国公私立大学群の数値(2011-2015 と2014-2018の比較)

●国際化を測る指標について

一点、国際化を測る指標について、ここで指摘しておきたい。ここ3年で大きく伸びている指標として、「国際共著論文率」があげられる。国立大学の国際共著率の平均は、3年前は25%程度だったが、今回の調査では28%にまで上昇している。ただ、CNI(分数)の変化はない。国際共著論文率は、個々の論文が国際共著であるかどうかによるものであるが、CNI(分数)は、大学組織間の国際共著論文数をもとに把握した国際連携の「厚み」とも言えるものであり、組織のつながりの「強さ」を反映していると考えられる。このことから、CNI(分数)が変化せず、国際共著論文率が高まるという結果は、組織的な国際連携強化の結果ではなく、個別の研究者がそれぞれ論文を執筆する際に、国際共著として執筆する率が高まったからであるといえる。

既に、2018年に筆者自身が警鐘を鳴らしたように4)、国際共著論文率では、研究大学の研究力を把握することはできず、また、その数値だけが目標になってはいけない。国際共著論文率のみを目的化してしまうことにより、個々の研究者においては国際共著が増えたとしても、それが必ずしも、各大学の研究力の向上に結びつかないと考えられる。単に国際共著論文率を増やすことを目的にするのではなく、組織間の有機的・実質的な国際連携を促す努力が必要である。

●今後の課題

今回提案する手法で見えない「研究力」があることも理解しておく必要がある。

まず、これら「量」「質」「厚み」の指標は、基本的に世界的な論文書誌データベースに登録された数字に基づいたものであることは留意しておく必要がある。特に、日本語文献などについては、エルゼビア社のScopusやクラリベイト・アナリティクス社のWeb Of Scienceなど世界の有力な論文書誌データベースには、多くは収録されていないと考えられ、そうした研究成果(文献だけに限らないかもしれない)をどのように研究力分析に反映させられるか、検討が必要である。

また、特に、今回提案する「質」や「厚み」の指標は、被引用数に依存している。もちろん、分野補正は厳密にされるような手法が導入されるなど分野による違いは考慮されているが、一方で、「引用を測る」ということが果たして研究の「質」を測る手法として適切なのか、分野によってもその考えは大きく異なり、引き続き議論が必要であろう。

さらに、論文が出版され引用されるまでに理系でも数年程度は時間がかかることもあり(文系では100年前の論文も引用されることもある)、被引用数では、最新の研究力をとらえられないという指摘もある。こうしたことも考えれば、被引用数以外の手法で、論文の「質」を評価する新しい考え方が必要であろう。論文のダウンロード数やSNSでのメンション数など、いわゆるオルトメトリクス(新しい研究評価指標)といわれる指標を、より精緻に検討する必要もあると考える。

一方、雑誌の評価である「インパクトファクター」を研究力の評価に用いるといった間違った手法が、少なからず日本では見られることはゆゆしき事態である。「研究評価に関するサンフランシスコ宣言」6)にもあるように、「個々の研究論文の質を測る代替方法として、インパクトファクターのような雑誌ベースの数量的指標を用いないこと」が強く求められる。そのためにも、今回提案するような定量的手法を複数組み合わせることにより、多角的かつ客観的に研究力の評価を行うことが求められる。

4. 最後に

今回のベンチマークの指標を用いることにより、それぞれの大学は、世界の中での自大学の研究力を多角的な立ち位置を知ることができる。特に、「量」だけでなく「質」を重視した研究力の把握が重要であるとともに、将来の「質」を生み出す源泉となりえる「厚み」にも注目することが重要であろう。中でも、日本における研究大学群の研究力の「厚み」の停滞は深刻であると考えられ、その充実をより一層図ることが、将来の研究力向上に向けて必要不可欠である。


注1 論文数及びTop10%(FWCI)論文数は全数カウントによる(以下でも同様)。

参考文献・資料

1) 小泉、調、清家.(2018).特別研究促進費「研究力分析指標プロジェクト」報告書(2016-2017年度).
参照先:https://www.ruconsortium.jp/site/tf/248.html

2) Elsevier. (2014). SciVal Metrics Guidebook.
参照先:https://www.elsevier.com/research-intelligence/resource-library/research-metrics-guidebook

3) Time Higher Education. (2018). World University Rankings 2018.
参照先:https://www.timeshighereducation.com/news/world-university-rankings-2018-results-announced

4) 小泉周.(2018年5月8日). 大学国際化 指標に踊らされず.読売新聞「論点」.

5) HirschE.J. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Science of the United States of America., vol. 102, no. 46, p. 16569-16572.

6) The Declaration on Research Assessment (DORA). (2012). 研究評価に関するサンフランシスコ宣言.
参照先:https://sfdora.org/wp-content/uploads/2020/12/DORA_Japanese-1.pdf