STI Hz Vol.4, No.4, Part.8:(レポート)論文の生産性分析を考える:分析者・利用者が確認すべきことと、分析を実施する上での課題STI Horizon

  • PDF:PDF版をダウンロード
  • DOI: http://doi.org/10.15108/stih.00156
  • 公開日: 2018.12.20
  • 著者: 伊神 正貫
  • 雑誌情報: STI Horizon, Vol.4, No.4
  • 発行者: 文部科学省科学技術・学術政策研究所 (NISTEP)

レポート
論文の生産性分析を考える:
分析者・利用者が確認すべきことと、
分析を実施する上での課題

科学技術・学術基盤調査研究室 室長 伊神 正貫

概 要

本レポートでは、論文生産性として行われる分析や分析結果の解釈に際して考慮すべきポイントについて議論する。また、幾つかのパターンについて論文生産性の分析を行うことで、論文生産性の分析は分母、分子の選択によって、分析結果が変化し国際比較における順位すら変わり得ることを示す。これらを通じて、論文生産性の分析実施や分析結果の利用に際しては、データの内容や分析方法等の情報(メタデータ)を確認することが重要であること、論文生産性の分析自体の課題を認識する必要があることを述べる。また、論文生産性の数字は、単なるアウトプットとインプットの比であることが多く、研究経営や政策立案に結び付けるには、インプットとアウトプットの間を結ぶプロセスの理解が必要であることを指摘する。

キーワード:研究開発費,論文数,論文生産性,科学技術指標

1.はじめに

我が国が厳しい財政状況にある中、科学技術イノベーションへの公的投資に対する説明責任が求められている。その際、科学技術への公的資金投入から生み出された成果の計測という観点から、研究開発費あたりの論文数(総論文数、被引用度Top10%論文数など)などが、論文生産性の指標であるとして分析がなされることがある。論文生産性については、経済学における労働生産性のように確立した定義があるわけではない。そのため、分析に用いられたデータ、得られた結果の解釈に十分な注意を要するが、その結果のみが注目されることがある。仮に不十分なデータに基づき論文生産性の分析が行われ、日本が実態よりも過小評価されることは、今後の科学技術・学術政策を検討する上でも、日本の国際的プレゼンスを正しく認識する上でも望ましいことではないだろう。

そこで、本レポートでは、限られた統計データ等の条件下での論文生産性の分析や分析結果の解釈に際して考慮すべきポイントについて議論する。また、幾つかのパターンについて論文生産性の分析を行うことで、論文生産性の分析は分母、分子の選択によって、分析結果が変化し国際比較における順位すら変わり得ることを示す。これらを通じて、論文生産性の分析実施や分析結果の利用に際しては、データの内容や分析方法等の情報(メタデータ)を確認することが重要であること、論文生産性の分析自体の課題を認識する必要があることを述べる。また、論文生産性の数字は、単なるアウトプットとインプットの比であることが多く、研究経営や政策立案に結び付けるには、インプットとアウトプットの間を結ぶプロセスの理解が必要であることを指摘する。

2.論文生産性の分析について考慮すべきこと:UKレポートを例に

論文生産性については、これまでに何度も議論になっているが12)、最近、メディア等で話題となった分析例として、「International comparative performance of the UK research base,2016」3)がある(以降ではUKレポートと呼ぶ)。この報告書中のChapter 1のKey findingsに掲載されているTable 1.3では、研究開発投資額(100万ドル)あたりの論文数が計測されているが、日本の生産性は0.75であり、UKレポート中で示されている他国(英国:3.72、ドイツ:1.52、中国:1.39、米国:1.25)と比べて低い注1

この結果をもって日本の論文生産性は低いと言えるのだろうか。あるいは、そもそもどのように解釈すればよいのであろうか。まずは、UKレポートの分析方法を見ることで、論文生産性の分析について考慮すべき点を明らかにする。ここでの論文生産性とは、研究開発費あたりの論文数(=論文数/研究開発費)を意味しているが、分母、分子に何を用いるかで、その結果は大きく変化し得る注2

UKレポートについて、分母、分子の観点から内容を見ると、分母となっている研究開発費としてはGross Domestic Expenditure on R&D(GERD)が用いられており、その出典はOECD Main Science and Technology Indicators 2015/2となっている。GERDとは、国全体の総研究開発費である。次に、論文に注目すると、集計対象となったドキュメントの種類はArticleであり、論文数のカウント方法は整数カウント、論文の分野としては全分野を集計対象としている。データの出典はエルゼビア社のScopusである。

2-1.インプットとアウトプットの部門構造の整合性

まず、アウトプットである論文数について、日本を例として部門別の論文産出構造を見る(図表1)。以降の議論では、科学技術・学術政策研究所(NISTEP)による集計結果を用いる。分析対象は、ArticleとReviewであり、論文のカウントには分数カウント法を用いている。論文数の集計に用いたデータベースは、クラリベイト・アナリティクス社のScience Citation Index Expanded(SCIE)である。SCIEは自然科学系のジャーナルを中心に収録したデータベースである。

部門別の論文産出構造を見ると、大学部門と公的機関部門で、日本の論文数の約9割(2014年値)を占めており、企業部門が占める割合は6%にすぎない。これに加えて、企業部門の論文は、1990年代後半から減少傾向にある。このように、論文をアウトプットと考えた際に、研究活動の主体となるのは大学部門や公的機関部門である注3

この論文産出の構造を頭に置きつつ、日本について研究開発費の負担部門から使用部門への流れを確認する。図表2は経済協力開発機構(OECD)のデータを用いて研究開発費の流れを可視化した結果である。まず、日本の研究開発費を部門別という観点から見ると企業部門が、負担部門、使用部門のいずれにおいても約8割を占めていることが分かる。図表2中で、GERDは(1)の部分に対応している。日本の論文を生み出すような研究活動の主体は大学や公的機関部門であることを踏まえると、企業部門が8割を占めるGERDの値を分母に用いるのは、インプットとしての研究開発費を過剰に見積もっているように見える。GERD以外のインプットに注目すると、アウトプットである論文数との整合性を考えるのであれば、例えば大学部門と公的機関部門の研究開発費の合計(図表2中の(2))を考えることができる。また、政府投資の説明責任という観点からは、政府が負担した研究開発費に注目するという考え方もあるだろう(図表2中の(3))。

図表1 部門別の論文産出構造(日本)図表1 部門別の論文産出構造(日本)

注:分析対象は、Article,Reviewである。論文のカウントは分数カウント法で行った。年の集計は出版年を用いた。自然科学系全分野、3年移動平均値。
出典:科学研究のベンチマーキング2017,科学技術・学術政策研究所調査資料-262(2017)

図表2 日本(OECD推計)の負担部門から使用部門への研究開発費の流れ(2016年)図表2 日本(OECD推計)の負担部門から使用部門への研究開発費の流れ(2016年)

出典:科学技術指標2018,科学技術・学術政策研究所調査資料-274(2018)
2-2.論文のカウント方法の影響

これに加えて、論文数のカウント方法についても注意が必要である。論文数のカウント方法には大きく分けて、整数カウント法と分数カウント法がある。整数カウント法とは、1件の論文の著者の所属欄に複数の国・地域が出現していた場合、いずれの国・地域についても論文数を1件と数える方法である。分数カウントでは、複数の国・地域が出現した場合、論文数を(あん)(ぶん)して数える。(あん)(ぶん)の際には、国・地域単位、組織単位、著者単位で重みを考えることができるが、NISTEPの分析では、組織単位で重みを付けた集計を行っている。整数カウント法による集計結果と分数カウントによる集計結果は、国際共著が増加するとともに、その差が大きくなる。図表3は、英国を例として整数カウントと分数カウントの比較を行った結果である。2016年の論文数を見ると、整数カウント法で105,416件、分数カウント法では60,799件であり、両者には44,617件の差が見られる。整数カウント法と分数カウント法の差は、最近になるほど顕著になる。この差を、英国以外の国の貢献と考えると、整数カウント法よりは分数カウント法を用いる方が、インプットである研究開発費との整合性は高まると考えられる注4

図表3 英国の論文数(整数カウントと分数カウントの比較)図表3 英国の論文数(整数カウントと分数カウントの比較)

注:分析対象は、Article,Reviewである。年の集計は出版年を用いた。自然科学系全分野、単年の値。
出典:科学技術指標2018,科学技術・学術政策研究所 調査資料-274 (2018)

3.論文生産性の試算:主要国間の比較

前節までに述べた考察を踏まえて、幾つかのパターンについて、論文生産性についての試行的な分析を行う。本来は分析の目的に照らし合わせて分母、分子を選択するべきであるが、ここでは分母と分子の選び方で、結果がどれくらい変化するかを見る目的で、機械的に各パターンについて集計を行う。具体的には、研究開発費として(1)総研究開発費、(2)大学部門と公的機関部門の研究開発費の合計、(3)総研究開発費の中の政府負担分、論文数として(1)整数カウント、(2)分数カウントを考え、合計6(=3×2)パターンについて試行的な分析を行う。なお、比較対象国としては、科学技術指標で主要国としている日本、米国、ドイツ、フランス、英国、中国、韓国の7か国を用いた。論文数については、先述のSCIEを用いた、国全体の値である。分母、分子ともに2013~2015年の平均値を求め、3年平均値を用いて論文生産性を求めた。研究開発費については、2010年を基準とした物価補正を行った後、OECD購買力平価換算を用いてドルへの換算を行った。

図表4に結果を示す。ドイツをベンチマーキング相手と考えると、分子に整数カウントの論文数、分母に総研究開発費を用いた場合(パターン1)、日本の研究開発費(100万ドル)あたりの論文数は0.5、ドイツは1.0となり倍の差がある。分子に整数カウントの論文数、分母に政府負担研究開発費を用いると(パターン3)、日本の研究開発費(100万ドル)あたりの論文数は3.1、ドイツは3.5となり差はほとんどなくなる。これは、ドイツと日本を比べると、日本の方が研究開発費に占める政府以外の寄与が大きい、言い換えると日本は研究開発費に占める政府の寄与が小さいことを意味している。論文数のカウント方法を分数カウントにすると(パターン6)、日本の研究開発費(100万ドル)あたりの論文数は2.5、ドイツは2.3となり日本がドイツを上回る。

これまでに示してきたように、論文生産性については、分母、分子に何を使うかで結果が変化する。研究開発統計の国際比較性の限界を考慮すると、UKレポートで見えているように、日本の論文生産性が、他国と比べて突出して低いということはなく、他の主要国と同程度であるように見える。英国については、いずれの分析でも、主要国の中で1番であった。しかしながら、他国との差が大きく、研究開発費の測定方法が影響していることも否定できない。

図表4 論文生産性の分析(幾つかのパターンについての主要国の比較、2013~2015年の平均)注5図表4 論文生産性の分析(幾つかのパターンについての主要国の比較、2013~2015年の平均)注5

出典:科学技術指標2018,科学技術・学術政策研究所 調査資料-274(2018);“Research & Development Statistics,”OECD

4.論文生産性の試算:日本についての詳細分析

これまでは、国際比較に主眼を置いてきたが、ここでは日本に注目して分析を行い、分母と分子の扱いによる変化をより詳細に議論する。

4-1.日本の部門別比較

まず、図表1及び図表2に示したデータを用いて、日本について部門別の論文生産性を見る(図表5)。ここでは、論文生産性として、各部門の論文数(分数カウント)/各部門の研究開発費を見る。分母、分子ともに2013~2015年の平均値を求め、3年平均値を用いて論文生産性を求めた。日本全体を基準とした際の各部門の状況を見るために、日本全体の論文生産性を基準とした。

日本全体を基準(1)とした際に、論文生産性が一番高いのは大学部門(5.8)であり、これに非営利団体(1.8)、公的機関(1.7)、企業部門(0.08)が続く。日本国内でも、部門別に見ると大学部門と企業部門では論文生産性に76倍の差がある。この結果については、企業部門の論文生産性が低いというより、企業部門において論文は主なアウトプットではないと解釈する方が良いであろう。公的機関部門についても、国家プロジェクトの実施が目的である機関においては、論文は主なアウトプットでは必ずしもない。日本の研究開発費全体の動きと論文数の動きの関係が論じられる場合があるが、これらの結果を見ても、そのような分析は避けた方が良いことが分かる。

図表5 論文生産性の分析
(日本の部門別比較、2013~2015年の平均)注6図表5 論文生産性の分析(日本の部門別比較、2013~2015年の平均)注6

出典:科学技術指標2018,科学技術・学術政策研究所 調査資料-274(2018);科学研究のベンチマーキング2017,科学技術・学術政策研究所 調査資料-262(2017)
4-2.日本の大学部門の詳細分析

次に、日本の大学部門について詳細な分析を行う。先に示した分析では、アウトプットである論文については自然科学系、インプットについては全分野を用いている。可能な限り、分母と分子の整合性を高めようとしたが、分母と分子で分野の不整合が生じている。また、大学部門の中にも、国立大学、公立大学、私立大学といった設立形態の異なる大学が存在する。そこで、分野の不整合や集計対象の選択が、論文生産性の分析に、どの程度の影響を及ぼすかについて、次の3パターンについて見ることで検証する。

① 大学等注7による自然科学系の論文数/大学等の研究開発費注8

② 大学等による自然科学系の論文数/大学等の自然科学系の研究開発費

③ 国立大学等による自然科学系の論文数/国立大学等の自然科学系の研究開発費

なお、いずれのパターンについても、整数カウント、分数カウントの両方について分析を行った。

図表6に結果を示す。整数カウント、分数カウントのいずれについても、①が一番小さく、②、③の順で大きくなる。①と②の違いは、研究開発費の分野の範囲であり、①全分野で考えるか、②分野を自然科学系に限るかで結果に大きな違いが生じることが分かる。UKレポートでは、論文の分野は全分野としている。しかし、人文・社会科学系については成果発表の言語依存性が自然科学系よりも大きいと考えられるので、分析対象を全分野とするか、自然科学系とするかでも、ここで示したように結果が変化することが予想される注9。これに加えて、分析対象を国立大学等による自然科学系に限ると、更に論文生産性は大きくなる(②と③の比較)。これは国立大学等と私立・公立大学等の研究教育活動の違いを反映した結果と考えられる。

図表6 論文生産性の分析
(日本の大学部門の詳細分析、2013~2015年の平均)注10図表6 論文生産性の分析(日本の大学部門の詳細分析、2013~2015年の平均)注10

出典:科学技術指標2018, 科学技術・学術政策研究所 調査資料-274 (2018); 大学等教員の職務活動の変化, 科学技術・学術政策研究所 調査資料-236(2015); クラリベイト・アナリティクス社 Web of Science XML (SCIE, 2016年末バージョン)を基に、科学技術・学術政策研究所が集計。

5.研究開発費を分母とした論文生産性の課題

これまでに見たように、論文生産性の分析は分母、分子の選択によって、分析結果が変化し、国際比較における順位すら変わり得る。これに加えて、日本国内に限っても、分野の不整合や集計対象の選択が、分析結果に大きく影響する。一般的に言えば、インプットとアウトプットの整合性を高めつつ、集計対象とする部門等も細かくすることで、精緻な情報を得ることが期待できる。しかしながら、精緻な分析を行おうとするほど、データの利用可能性や国際比較性における困難に直面する。

分母、分子の整合性の問題を解決したとしても、論文生産性の分析には限界がある。例えば、本分析ではインプットとアウトプットのタイムラグを考慮していない。研究開発費を投入した同じ年に、論文が出版されるというのは、研究活動のプロセスを考えても無理がある。論文のみをアウトプットとすることの妥当性も考える必要がある。先に述べたように人文・社会科学系では成果発表の言語依存性が自然科学系よりも大きく、成果発表媒体も書籍という形態をとる可能性がある5)。また、大型の政府研究開発費を受け入れた研究プロジェクトでは、論文以外のアウトプットを出す傾向が高くなるとの意識調査の結果もある6)

このような困難さがあるために、NISTEPにおいては、過去に幾つかの論文生産性の分析例47)はあるが、最近は行っていない。その代わり、特に大学に注目した、研究者数や研究開発費、論文数、財務諸表等の分析を行うことで、インプットやアウトプットの構造の理解を進めている8〜10)。これらの分析を通じて、研究活動の様相(研究に用いている資金源や研究チームの構成)が大学の規模によって異なることが明らかになっている。論文生産性は、これらの情報を一つの数字に圧縮したものである。

他方で、公的資金を中心とした投資効果等の説明責任の観点から、生産性の分析に対して高い関心が持たれるのも当然であろう。ただし、論文生産性の分析実施や分析結果の利用に際しては、データの内容や分析方法等の情報(メタデータ)を確認することが重要であるし、論文生産性の分析自体の課題を認識する必要もある。分析者の観点から言えば、分析に用いたデータは分析の目的と照らし合わせて適切か、国際比較の場合は同じ条件で比較できているかという視点を考慮する必要がある。また、利用者の観点から言えば、分析に用いられている分母と分子の整合性等を十分に確認し、分析の限界を理解した上での利用が必要である。これに加えて、分析者は分析に用いたデータ・出典を明記するなど、データ収集と分析のプロセスをオープンにする必要もある。また、利用者も場合によっては、分析結果を自ら再現してみることも必要だろう。

仮に分母、分子の整合性が考慮されていないデータに基づき論文生産性の分析が行われ、日本が実態よりも過小評価されることは、今後の科学技術・学術政策を検討する上でも、日本の国際的プレゼンスを正しく認識する上でも望ましいことではないと筆者は考える。

更に言えば、論文生産性の数字は、単なるアウトプットとインプットの比であることが多く、その数字だけからは残念ながら、次のアクションとなる動きを導き出すことは難しい。研究経営や政策立案に結び付けるには、インプットとアウトプットの間を結ぶプロセス(研究の発展と研究資金や研究チームとの関係など)の理解が必要である。仮に論文生産性等の指標が、プロセスへの理解若しくは仮説がないままに数値目標として設定されるとしたら、数値目標の設定は研究現場に想定外の影響を与える可能性すらある注11。この問題意識から、NISTEPでは、プロセスの理解を目的とした新たな調査の設計に取り掛かりつつあることを述べて、本レポートを終えたい。


注1 UKレポートでは、これ以外にも様々な分析がなされているが、ここではメディアで報道されており、NISTEPでも類似の分析が可能である部分に注目して考察を行う。

注2 研究開発費については、国際比較性にも注意が必要である。論文生産性の分析を行う際の研究開発費のデータはOECDが公表している各国データ(以下ではOECDデータと呼ぶ)に基づくことが多い。各国がOECDに提供する研究開発統計はフラスカティ・マニュアルに準じて収集されているが、各国の研究開発統計には調査方法に違いが存在している。例えば、大学部門における研究開発費の測定の範囲に注目すると、日本の科学技術研究調査では国内全ての大学等を対象としているのに対して、米国の国立科学財団(NSF:National Science Foundation)の調査では年間15万ドル以上の研究開発費を使用している機関を対象としており、調査範囲に違いがある。このように、論文生産性の分析結果には、研究開発統計の国際比較性も影響しているが、本稿ではこの点については議論しない。

注3 国による違いはあるが、論文産出において大学部門や公的機関部門が主体となっているのは、どの国も共通と思われる4)

注4 整数カウントによる分析が不適当であるというわけではない。国際共著も含めた論文への関与について興味がある場合は、整数カウントを用いて論文生産性の分析を行うという選択もあり得る。日本のように整数カウントの論文数が伸び悩む中で、国際共著率が増加するという状況で、分数カウントによる論文生産性の時系列分析を行うと、国際化の進展とともに論文生産性が悪化するという状況も生じ得る。

注5 総研究開発費には科学技術指標2018の表1-1-1、各部門の研究開発費には科学技術指標2018の表1-1-6、論文数には科学技術指標2018の表4-1-7、政府負担研究開発費には“Research & Development Statistics”、購買力平価換算には科学技術指標2018の参考統計E、国内総生産のデフレータには科学技術指標2018の参考統計Dを用いた。日本についてはOECD推計の値を用いている。科学技術指標のデータについては科学技術指標2018(HTML版)統計集[http://www.nistep.go.jp/sti_indicator/2018/RM274_table.html]からダウンロードできる。

注6 各部門の研究開発費には科学技術指標2018の表1-1-6、論文数には科学研究のベンチマーキング2017の図表73を用いた。各部門の研究開発費についてはOECD推計の値を用いている。科学技術指標のデータについては科学技術指標2018(HTML版)統計集[http://www.nistep.go.jp/sti_indicator/2018/RM274_table.html]からダウンロードできる。

注7 大学等とは、大学学部(大学院)、大学附置研究所、短期大学、高等専門学校、大学共同利用機関を指す。

注8 総務省の科学技術研究調査では、研究開発費を人件費、原材料費、有形固定資産購入費、リース料、無形固定資産購入費、その他の経費という費目別に見ることが可能である。ここでは、人件費に研究従事率(FTE係数)をかけた値を分析に用いている。研究開発費については、2010年を基準とした物価補正を行った後、OECD購買力平価換算を用いてドルへの換算を行った。

注9 アウトプットとして、ScopusやWeb of Scienceを用いた場合、人文・社会科学系を含めるとアウトプットが過小評価され、論文生産性が低下することが予想される。この傾向は非英語圏の国・地域において顕著である可能性が高い。

注10 国公私立大学の研究開発費には科学技術指標2018の表1-3-20、国公私立大学の研究専従率には大学等教員の職務活動の変化の概要図表2を用いた。論文数については、クラリベイト・アナリティクス社 Web of Science XML (SCIE,2016年末バージョン)を基に、科学技術・学術政策研究所が集計した。購買力平価換算には科学技術指標2018の参考統計E、国内総生産のデフレータには科学技術指標2018の参考統計Dを用いた。科学技術指標のデータについては科学技術指標2018(HTML版)統計集[http://www.nistep.go.jp/sti_indicator/2018/RM274_table.html]からダウンロードできる。

注11 1990年代のオーストラリアでは、機関からの発表論文数に大きく依拠する数式を使って大学の研究への資金配分を行った。その結果、オーストラリアの研究者が発表する論文数は増加したが、論文の質の低下を招いたとの指摘がある11)

参考文献

1) May, R. M.(1997). “The Scientific Wealth of Nations,” Science, 275, 5301, pp.793-796.

2) King, D. A.(2004). “The Scientific Impact of Nations,” Nature, 430, pp.311-316.

3) Department for Business, Energy & Industrial Strategy, UK (2017). “International comparative performance of the UK research base, 2016”

4) 科学技術政策研究所(2009),第3期科学技術基本計画のフォローアップに係る調査研究 日本と主要国のインプット・アウトプット比較分析, NISTEP REPORT No.118. http://hdl.handle.net/11035/694

5) Hicks, D. et al(2015), “Bibliometrics: The Leiden Manifesto for research metrics,” Nature, 520, 7548, pp.429-431, http://dx.doi.org/10.1038/520429a

6) 村上昭義(2018),論文を生み出すような研究活動の活発度とその変動要因:NISTEP定点調査2017の深掘調査からの示唆.文部科学省 科学技術・学術政策研究所 STI Horizon, Vol.4 No.3, pp.48-53.
http://doi.org/10.15108/stih.00146

7) 米谷 悠,池内 健太,桑原 輝隆(2013).大学の論文生産に関するインプット・アウトプット分析―Web of Scienceと科学技術研究調査を使った試み―, 科学技術政策研究所 Discussion Paper No.89. http://hdl.handle.net/11035/2347

8) 神田 由美子,伊神 正貫(2017).日本の大学システムのインプット構造―「科学技術研究調査(2002~2015)」の詳細分析―,科学技術・学術政策研究所 調査資料-257. http://doi.org/10.15108/rm257

9) 村上 昭義,伊神 正貫(2018).日本の大学システムのアウトプット構造:論文数シェアに基づく大学グループ別の論文産出の詳細分析,科学技術・学術政策研究所 調査資料-271. http://doi.org/10.15108/rm271

10) 神田 由美子,伊神 正貫(2018).86国立大学法人の財務諸表を用いた研究活動の実態把握に向けた試行的な分析,科学技術・学術政策研究所 Discussion Paper No.157. http://doi.org/10.15108/dp157

11) Butler, L.(2003). Explaining Australia’s increased share of ISI publications—the effects of a funding formula based on publication counts. Research Policy, 32, 1, pp.143–155.