 台湾で講演する永野前総務研究官 |
 マックス−プランク研究所にて (右から、在独大使井上 一等書記官、フリッツ・ハーバー研究所内田研究員、 外林非常勤教授、日独センター大木副事務総長、鈴木上席研究館) |
Ⅰ．レポート紹介 |
| さいとう よしこ 2001年3月東京大学大学院工学研究科 (材料学専攻)博士課程満期退学。 同年4月理化学研究所特別研究員。同年7月より現職。 |
この報告書は、日本において研究開発評価に取り組む関係者の参考に供することを目的として作成しました。米国連邦政府が研究開発評価のために用いた様々な評価手法を、特に研究開発プログラム／プロジェクトの成果を評価するための経済学的手法および計量文献学的手法に焦点をあてて、紹介しています。米国の定量的手法に関する技術的な解説にとどまらず、手法が用いられる背景も含めて、多面的な情報をお届けすることを目指しました。
米国においては昔から定量的評価が定着しているような錯覚がありますが、こと研究評価に関してはピアレビュー (研究内容を理解できる専門家による評価)が中心でした。1990年の国立標準技術研究所先端技術プログラム (ＡＴＰ)の開始と1993年の政府業績成果法の成立を契機に業績・結果重視の行政管理が導入され、国民への説明責任を問うようになりました。このように、研究の結果 (output)と成果 (outcome)を明確に区別し、成果の評価に定量的手法を活用するようになったのは比較的最近のことです。この間、用いられる評価手法もその適切さを常に問われ、批判にさらされ、それに伴って発展・成熟してきました。
日本の研究開発を取り巻く環境も近年急速に変化しています。公的資金による研究開発への支援が強化され、その効率的運営と国民からの理解のために、研究評価システムの整備が図られています。また、行政評価の導入に伴って、科学技術行政についても、個々の研究開発課題ではなく政策そのものを評価する試みが始まっています。昨年の「国の研究開発評価に関する大綱的指針」には、これまで行われてこなかった研究開発プログラムや研究開発施策の評価が盛り込まれました。定量的評価手法は、他の方法には替えられない情報源として、このような評価の取組みに必要不可欠な手段です。反面、評価の方法論の一部に過ぎないので全面的に依存するわけにもいきません。けれども日本においては、定量的評価手法についての理解や経験はまだ十分ではなく、それどころか、日本には評価そのものが定着していないという論調も見受けられます。
そこで、この報告書では、研究の成果 (outcome)の評価の記述に偏ることなく、結果 (output)の評価に関する解説も織り込みながら、米国で研究開発評価に用いられてきた手法を包括的に調査しました。ただし、個々の評価手法の「使用説明書」ではありません。それぞれの手法の基本的な考え方に重点を置き、短所と長所、問題点、その手法を活用する際に注意すべき点、基礎となるデータベースなどについて述べています。
個々の手法が用いられる状況や文脈についての記述も重視しました。これは、ある評価手法が生まれ、あるいは発展した状況を知ることが、その手法を適切に利用するために有効だと考えたからです。また、評価の対象となるR&Dプログラム／プロジェクトや組織・機関、制度についても説明を加え、評価手法の具体的な説明の基礎としています。ケーススタディやピアレビューについてはあまり具体的に解説していませんが、その重要性、定量的手法との関係や位置付けについて記述しました。 さらに、それぞれの手法が置かれた状況だけでなく、米国における公的研究開発の評価の全般的動向についても紹介しています。とくに米国では、政治や経済の情勢変化に応じて、公的研究開発を取り巻く状況も大きく変化することがあるので、このような全般的動向の理解はとても重要です。
このような調査を通じて、日本が留意すべき点が見えてきました。ここに報告書にも掲げた９つの提言を抜き出してみます。
①評価をポリシーサイクルの中に位置付ける
②まずは評価を試行してみる
③万能な評価手法はない
④定量的手法は成果・インパクトの評価に向く
⑤各定量的手法のメリット・デメリットを理解する
⑥恒常的にプロファイリングを行う
⑦評価の経験を公開・蓄積する
⑧評価の方法論を育てる
⑨評価に関する知識を普及させる
評価手法は、どのような対象にも一律に適用可能なものは存在せず、評価対象ごとに慎重に設計されるべきものです。よって、米国で用いられた評価手法をそのまま日本に導入するのではなく、各手法の特性およびその手法が用いられた状況を理解した上で、日本の状況に即した、より適切な活用法を探る必要があります。このとき気をつけなければいけないことは、「評価をした」事実に満足してしまわずに、政策を立案運営する部局が評価結果を真摯に受け止め、それを積極的に戦略や政策の形成に結びつける態勢を構築することです。そこに至るまでには、多くの経験を積み重ねることが欠かせません。
定量的評価手法は両刃の剣、と表現した人がいます。使い方を誤ると評価者も被評価者も傷つく。けれども、適切に用いれば、他の方法では決して切り取ることのできない一面が浮かび上がってくるのです。この報告書が、日本における研究評価の取組みに対して、有益な示唆を提供できれば幸いです。
なお、この報告書は、CHIリサーチ社 (米国)のDiana Hicks、Peter Kroll、Francis Narin、Patrick Thomas、米国技術影響評価研究所のRosalie Rueggと、科学技術政策研究所 第２研究グループの小林信一、富澤宏之、齋藤芳子との共著です。また調査にあたり、科学技術振興事業団にもご協力をいただきました。厚くお礼申し上げます。
II. 海外事情 |
| ながの ひろし 1973年 科学技術庁入庁、在西独大使館一等書記官、 科学技術振興局国際課長、科学技術政策局調査課長、 原子力局調査国際協力課長、科学技術政策局政策課長、 科学技術振興事業団企画室長、科学技術振興局担当審議官、 科学技術政策研究所総務研究官等を経て、現職。 |
4月下旬、台湾に行く機会がありました。訪問の相手先機関は行政院国家科学委員会傘下の科学技術情報センター (ＳＴＩＣ)、先方の要請は日本の科学技術政策の最近の状況を話してほしいということでした。丸一日、延べ50人程度の方々との間で講演と質疑を繰り返し行いましたが、今回このような要請があった理由は翌日、ＳＴＩＣ側の説明を聞き理解できました。
実は、このＳＴＩＣという機関、私は丁度3年前、科学技術振興事業団に在籍していた当時訪問したことがありますが、その時の記憶により、我が方の旧ＪＩＣＳＴ (日本科学技術情報センター)と同系の機関と考えていました。ところが先方の説明を聞いてみると、この2年半の間に予想をしていなかった変貌を遂げていました。その変貌とは？
ＳＴＩＣは科学技術情報の流通により台湾の研究開発を推進する機関として、行政院国家科学委員会直轄の機関として１９７４年に設立され、ＳＴＩＣＮＥＴの構築に代表されるような国の内外のデータベースへのアクセスの確保や抄録の提供などの業務を行ってきました。3年前に国家科学委員会から転任した現在の孟所長が着任直後に、①ＳＴＩＣの従来のコンセプトでは知識社会・経済からの要請に合わない、②従来のＳＴＩＣが提供していた情報はネットワーク時代にはある程度は自ら入手できる、という問題意識に基づき、旧来の事業から政策研究への新展開にドライブをかけられたとのことです。台湾では現在、わが国と同様に行政機構の改革が議論になっており、孟所長は、今回の転換をしていなければＳＴＩＣ不要論が出てきたと考えています。
ＳＴＩＣの現有人員１１４人の内、この３年間に３５％の人員の入れ替えがありました。これを政策研究の側面からみると、１９９９年以降、Policy Research、Information Analysis、Statistical Surveyの３つのユニットが設けられ２５人が新たに雇用されました。私の会ったPolicy Research Section (政策研究組)の羅組長もその一人でしたが、彼女はロンドン大学でPh.D. (発展経済専攻)を取得しています (ＳＴＩＣ職員の約４０％は修士、約１０％は博士の学歴を有している)。この改組に当たりＳＴＩＣは従来の業務のうち文献速報とディレクトリの作成業務を廃止したとのことです。ＳＴＩＣ全体の業務のウェートを見ると、従来の情報処理・提供部門の８０％に対して、より付加価値の高い分析的研究及び政策研究にそれぞれ１５％、５％をあて、これらのトータルな活動としてシンクタンクとしての基盤を確立し政策決定者に対する支援を行うとしています。
ＳＴＩＣは政策研究の重点事項として、①技術の予測と評価、②ナショナルイノベーションシステム、③人材資源と流動性、④文献計量学的手法と特許分析、⑤政策評価と政策実施の事後評価の５つを挙げており、この中でも特に重要としている①の技術予測については、既に重要分野をカバーした予備調査に基づく Mega-trend 2025 と題する大部の報告書をとりまとめており、当政策研の調査についてもかなり言及されています。技術予測の手法としてはデルファイ法とクリティカルテクノロジー法を用いるとのことで、現在はデルファイ調査のための質問項目と専門家のリストを作成中です。順調に行けば９月迄には取り敢えずマイクロマシン、エネルギー・環境、情報通信の３分野で調査を開始する予定です。②のナショナルイノベーションシステムについてはＡＰＥＣの下でのバーチャル的なフォーラムである科学技術政策研究センターの第１期 (１９９７−２０００年)の活動に参画し、現在第２期の活動を提案中とのことです。③の人材問題に関しては、米国等より優秀な人材を呼び戻すことが従来の台湾の事実上の政策でありましたが、近年は必ずしも海外へ出ずに、台湾での修士取得後就職するケースが多く、海外での経験を踏まえたよりハイレベルの人材が少なくなったことが問題となってきています。このため、米国→台湾、台湾→外国、台湾→中国本土等の人材の動きを把握したいと考えています。④の文献計量学の手法については科学技術指標に関してオランダのライデン大学と接点があります。
政策決定者への支援という観点からＳＴＩＣ では情報提供に力を入れています。 ①中英両語で記載した［Knowledge Bridge］ (知識創新)は経済省中小企業庁の協力をえて毎月発行しており、その名の通り、最近のイノベーションとハイテク分野での協力の可能性についてインキュベーターセンターと研究機関からの報告を掲載しています。②[Sci-Tech Focus] は月刊の冊子 (英語)で、アジア太平洋地域での科学技術の動向をレポートしており、最新号では蛙の幹細胞から眼球の作成に成功した浅島東大教授の記事がのっています。③[Horizon] (視域)は官民のトップマネジメント400人程度を対象として隔週で発行する科学技術政策関連の中国語ニュースレターであり、政策研の動向センター月報に相当するものといえます。これまで22号発行されており、最新号では18件の報告のうち2件が日本関係の記事になっています。
台湾は情報技術を中心として世界のIT工場的な発展を急速に遂げてきました。今後もITとナノテク、マイクロマシン、バイオなどが融合しつつ発展していくものと想定していますが、大陸側の発展もあり将来の不透明感もあります。そのような状況の中で科学技術政策に取り組む必要性が認識されてきたものと考えられます。ただし、科学技術政策の重要性が政治のレベルではまだそれほど認識されていないという指摘もあります。ＳＴＩＣ自体の大陸側との関係について触れると、台湾は大陸側政府機関と直接の関係を持つことが出来ないので、中華図書情報協会 (台湾側)及び中国情報学会 (大陸側)間のルートの下で、ＳＴＩＣが大陸側の中国科学技術情報研究所とパートナーとなり、約300種のジャーナルを入手している他、更にその10倍程度のジャーナルをパソコン端末から見ることが出来るようになっているとのことです。台湾を含め一層ダイナミックになっていくアジアの動きからますます目が離せなくなってきそうです。
 |
| 開会の挨拶をする孟所長。右が筆者 |
 |
| すずき けんいち 2001年4月より任期付研究官として民間から採用。 専門分野は有機合成化学、原子力工学、環境化学。 現在の担当領域は科学技術系の人材育成。 |
平成14年2月下旬から4月中旬にかけて、北米および欧州の大学、研究所に長く滞在中の日本人研究者計21名を訪問し、彼我の教育環境・研究環境の比較、滞在のきっかけなどについてインタビューを行った。目的はわが国で今後国際級研究人材を先進諸国並に養成・確保するために、どのような教育環境・研究環境の整備が必要となるかを調査するためである。インタビューの対象者は、日米欧の研究・教育環境の相違や得失などを熟知し、長年海外で研究・教育活動を行っておられる方々を中心とした。以下に調査結果の概要を紹介する。なお、石井正道上席研究官も同旨の調査のため、4月中旬北米西海岸の研究者3名にインタビューを行った。
1.米国、カナダ
米国ではロチェスター、カーネギー・メロン、ハーバード、ポリテクニック、コロンビア、コーネル、エモリー、カナダではマギル、オタワの各大学を訪問した。米国の長所として「①オープンで自由闊達な環境がある、②周囲に国際級の人材が居て刺激的である、③会議や雑用が少ない」などが挙げられた。つまり、研究に没頭しやすい環境が研究者にとって魅力的に映っていると言うことができよう。その反面、たとえテニュア (終身在職権)であっても、グラントを獲れなくなると大学に居づらくなり、辞めざるを得ない現実もあるとのことであった。
ＮＩＨやＮＳＦなどのグラントを競争的に取得し、研究費に充てるシステムについては、「評価も厳密で、かつ公正なシステムである」との意見が聞かれた。他方、「グラント取得に集中するあまり、研究テーマの設定が保守的になりがちで、短期的な成果に矮小化するきらいがある」とのマイナス面の評価も聞かれた。
教育環境に関しては、「大学院生のほとんどは大学からの奨学金または教授が獲ってきたグラントで学費が賄われており、その上ぎりぎりではあるが自活できるだけの生活費まで支給されている」とのことであった。
 |
| 米コロンビア大学中西香爾先生と筆者 |
2.欧州
英国ではＭＲＣの研究所とケンブリッジ、インペリアル・カレッジ、レスターの各大学を、またドイツのマックス-プランク研究所、スイスのＣＥＲＮ研究所をそれぞれ訪問したが、「①設備、②予算、③報酬のいずれをとっても日本の方が上」という意見であった。このためか、欧州とくに英国からは優れた研究・教育環境を求めて渡米する傾向が強いようである。しかしながら、その一方で、「じっくり腰を据え研究に没頭するタイプの研究者が残っており、彼らがゲノム解析における貢献度などに見られるとおり、日本と同等以上の研究成果を挙げている」との見解もあった。
英国の研究者から「日本と国情が似ている英国の機関評価制度(ＲＡＥ: Research Assessment Exercise)が、今後の制度改革にあたり参考になるのではないか」との意見を戴いた。英国では、学部単位で事後評価をしており、その結果は大学のランキングとしてインターネットで公表される。この評価をベースに研究予算が各大学に配分されるシステムである。
3.日本の制度に対する意見
講座制の廃止に関しては、欧米ともに賛否両論であった。廃止賛成者は、「日本の講座制では新領域を開拓できない。研究者が好きなだけコロニーを形成できる環境が刺激を生み出す源泉になる。研究者が必要に応じて集散できる方が研究効率も向上する」との意見であった。他方、「分野によっては講座制により受け継がれるような優れた伝統もあるので、ケース・バイ・ケースで対応すべき」との意見もあった。
インブリーディング (純血主義)に関しては、「欧米では外に出るのが当たり前」であり、学生の流動性も高いようであった。
任期制については、賛成意見が多かったが、「評価基準を明確にすべき」との注文が付けられた。
定年制廃止については賛否両論であった。廃止賛成者は、「欧米では年齢や性で差別をしない」との意見であり、一方、廃止反対者は、「若手に活躍の場を譲るべき」との意見であった。 「もっとも創造性盛んな年代は？」との問いに対しては、「大学院からポスドク時代の25歳〜35歳」との意見が多かった。
4.所感
訪問した各国の教育環境・研究環境はそれぞれ異なるものの、日本に居るよりも刺激が多く、研究に没頭できると考えていることが共通するように思われる。また、米国の科学技術における優位性は凄まじいグラントの取得競争による賜物とも考えることができるが、その一方で、じっくり研究するタイプの研究者が生み出すブレークスルーをどのように支援して行くかが今後の課題となろう。
創造性の高まる年代が25歳〜35歳との回答が多かったことに関し、この年代は同時に家庭を築き維持するために結婚、子育て、住宅事情と一番生活が苦しい年代である。従って、この時期の大学院生や若手研究者らに対してとくに手厚い支援を施す必要があろう。
インタビューに応じていただいた各研究者は、いずれも欧米の研究環境に惹かれて日本から出国したわけであるが、押しなべて日本への愛国心に溢れる方々ばかりであった。日本の教育の現状を憂い、また研究環境の改善を口々に訴えられた。旅程の都合がどうしてもつかず、止む無くインタビュー対象から外させていただいた研究者からは、「何故来てくれないのか」とのお叱りまで頂戴した。
Ⅲ. 最近の動き| ・5/14 | Prof. Frank P Larkins：オーストラリアメルボルン大学研究部門総長代理・化学学科教授 |
| ・5/28 | Mr. Vincent Dufour：在日フランス大使館アジア代表部次長 |
| ・5/30 | Mr. Rein Bemer：オランダ経済省イノベーション局長他 |
| ・5/10 | 「中国科学技術政策の最近の動向 |
| −科学技術政策と人材資源国家戦略および大学改革・産学連携の現状−」 | |
| 遠藤 誉：筑波大学留学生センター教授 | |
| ・5/31 | 「温暖化の影響・リスクに関する研究の現状と温暖化研究の将来」 |
| 三村 信男：茨城大学広域水圏環境科学教育研究センター教授 |
| ・ | 「米国における公的研究開発の評価手法」 (調査資料 - 86 - 2002 年 5 月) |
| ・ | 「科学技術動向 2002年5月号」 (5月30日発行) |
| 特集１ 有機合成化学研究の動向 | |
| ライフサイエンス・医療ユニット 茂木 伸一、庄司真理子、長谷川明宏 | |
| 材料・製造技術ユニット 多田 国之 | |
| 特集２ 高レベル放射性廃棄物処分の動向と課題 ―技術的および社会的諸相を巡って― | |
| 環境・エネルギーユニット 大森 良太 | |
| 特集３ 分散型電源の動向について | |
| 総括／環境・エネルギーユニット 宇都宮 博 |
とうとうＦＩＦＡワールドカップが日韓共同で開催されます。日本代表は一体どんな試合をしてくれるのでしょうか。チケットの問題等もありますが、みんなが楽しめる試合になってくれるといいですね。
さて、今月号より当所から発行された「新着研究報告書及び資料」の紹介を掲載することとしました。政策研ニュースと併せみなさまにご購読いただけたら幸いです。
文部科学省科学技術政策研究所広報委員会 (政策研ニュース担当：情報分析課 news@nistep.go.jp)