トップ国際会議プログラム委員のお仕事
これまで ACM UIST 2014, 2017, 2018, 2019, ACM CHI 2017, 2020 などの国際会議で、論文採否を決めてその年の会議のプログラム編成に関わる委員会（Program Committee, Sub-committee）のメンバーを務めてきました。一覧はこちらにあります。
昨年くらいから大事な会議と思っても諸々の事情でお断りせざるを得ないことが増えてきて、何となくバトンを渡すタイミングのような気がしてきたので自分の経験を文章にまとめておきます。
ちなみに、プログラム委員会以外の会議全体の運営の流れについてはお茶の水女子大学伊藤先生の国際会議運営記が大変参考になります。
委員の仕事の流れ
1. 論文投稿〆切まで
まず、だいたい論文投稿〆切の半年前くらいに委員長（Program Chair, Sub-committee Chair）から委員をお願いしたい旨の連絡が届きます。もし引き受けられない場合、委員長は次の人を探す必要があるので、早めに返事しましょう。その際、自分の代わりになりそうな人の候補も添えてあげると喜ばれます。
著名な会議の場合、 Google Docs などで投稿〆切からプログラム編成完了までのタイムラインをまとめたドキュメントを共有してもらえます。 この時点でだいたい何人規模の委員会になり、投稿数の見積もりがどれくらいかというところまで判明しています。 一般的なワークロードは 10 本程度の primary meta review と 10 本程度の secondary meta review 計 20 本くらいだと思います。
このあと論文投稿〆切までは大した仕事がありません。査読を行うための Web 上のシステムに自分のプロフィールを入力するような機能がある場合、しっかり整備しておきます。あとは所内の委員委嘱手続きなど事務手続きを進めておきましょう。
委員会の他のメンバーが分かるのは一般の投稿者と同じタイミングで、Web サイト上に委員会のメンバー一覧が掲載されるときです。そこで他のメンバーのプロフィールをざっと洗っておくと、自分の専門分野などと照らし合わせて、どんな論文の査読が割り当てられるか何となくイメージがつかめるかもしれません。
2. 論文割り当て
論文投稿〆切が過ぎると、ほどなく査読システム上で仮に割り当てられた論文一覧を確認できるようになります。著名な会議では、投稿〆切から仮割り当てまでは数日あるかないかです。 投稿される論文数を考えると、この時間の短さは驚異的です。
委員長は、論文のタイトル、要旨、著者、論文本文などの情報から、コンフリクトがなく専門分野がマッチしている委員を割り当てています。一本の論文に対して二人のメタ査読者がつく場合、二人の間のバランスも重視されます。バランスは、例えば empirical evaluation に強い人と implementation に強い人、 senior と junior などさまざまな観点で見られているようです。
仮割り当てされた論文が判明したら、まず著者欄と論文タイトルを確認します。委員長の側でも conflict についてはなるべく調べて査読割り当てをしているはずですが、それでも指導被指導関係や過去の共著論文の有無などすべてをチェックすることは現実的に不可能です。もし conflict に該当していたら、すぐに委員長に連絡して再割り当てをお願いしましょう。査読者割り当てに進めるべきでない desk reject の判断もこのタイミングです。
conflict にせよ desk reject にせよ、判断が難しい場合はすぐに相談の連絡を入れます。このタイミングに限らないことですが、 後々取り返しのつかないことになることを避けるため、何かあったらとにかく遠慮なく連絡することが大事です。これまでの経験上、 primary と secondary 計 20 本のうち平均して 1 本以上は委員長に連絡する必要が生じる案件があるような気がします。
3. 査読者の割り当て
問題なく自分が査読できそうな論文ということが分かったら、すぐに査読者候補をリストアップします。専門分野がものすごく近く、しかも最近盛り上がっている分野であれば、概要とイントロを読んだだけで 3-4 人の顔が浮かぶこともありますが、そんなに簡単なことは稀です。
割り当てが難しい理由はいろいろあって、ぱっと思いつくものだと、ぴったりマッチする人の数が少なすぎて conflict だらけになってしまう、テーマが古典的すぎて（新しすぎて）歴史を知っている人（文脈を正しく判断できる人）が少ない、分野をまたぐ内容の論文で複数人の査読者が各分野を代表するようにする必要がありバランスが難しい、 senior だらけ（junior だらけ）になってしまってバランスが難しい、といったようなことがあります。
かつては査読者割り当てが純粋に早い者勝ちだったこともありますが、最近は割り当てのメール送信がバッチ処理のことが多いようです。ある時点までに全プログラム委員が割り当てを完了しておいて、委員長がボタンをポチると全査読候補者にメールが届くような仕組みです。
プログラム委員からは、各査読者候補が現時点で割り当てられている論文数と自己申告の査読論文本数が見えています。そのため、査読割り当ての着手が遅れると心理的に割り当てしづらくなることはありますが、それでも以前のような早い者勝ちと比べるとフェアになったように思います。査読をする側からしても、ばらばらと査読依頼が送られてくるよりも、一気に送られてきたほうが、担当論文候補を見比べて査読可否の返事をしやすくなったはずです。
ちなみに、最近の論文投稿システムでは、著者が論文を査読してほしい人のリストを参考情報として書いておける欄が用意されていることがあります。自分の場合は、影響を受けすぎないように、査読者候補をほぼ決めてから見るようにしています。著者としては、書くことで失うものはないと思うので、ぜひ埋めておきましょう。また、著者が論文の投稿履歴を書ける欄が用意してあることもあります。こちらは査読内容の連続性を確保するために用意されたもので、著者が理不尽な要求をされないよう自衛する有効な手立てになります。こちらも著者としてはぜひ埋めましょう。例えば前回の投稿時に X を要求されたので従ったが今回それと矛盾する Y を新たに要求される、といった事態を防げることがあります。
4. 査読者の再割り当て
査読依頼が送出されたら、次に考えなければいけないのは、査読不可の返信がきた論文や、指定した〆切までに査読可否の返信がきていない論文に新たに割り当てる査読者候補です。自分の場合は、各論文にあらかじめ最低 3-4 人は査読者候補を考えておいて、優先順位を設けて、場合によっては他の査読者とのバランスを見ながら、断られ次第、次の優先順位の人に依頼を送っています。
依頼した人から返信がこない場合が難しいのですが、自分が primary reviewer で、査読者スロットが完全に空きで、なおかつなるべくこの人にお願いしたい、という人の場合は返信を待ち続けながら他の人に依頼をかける（2 スロットに対し、一時的に査読依頼した相手が 3 人になる）ということもあります。その後、返事が早くきたほうにお願いして、あとの人からは返事がくる前にこちらからお断りの連絡を入れます。
この査読者再割り当てが、非常に時間のかかるプロセスです。とくに、幅広い論文を査読できるワイルドカード的な人たちには早い段階で査読依頼がたくさん舞い込んでいるため、時間が経てば経つほど、どんどん査読を受けてもらえる可能性が低くなっていく難しさがあります。人徳が試されるところです。
5. メタ査読 (1/2)
査読者が確定したら、あとは primary の論文について、査読がスケジュール内に集まるよう適度な間隔で査読者の人たちと連絡を取ります。国際会議では査読者側に提示される〆切とメタ査読を書き終える「真の」〆切の間にあまり時間がないため、査読に穴があく最悪のケースに備えて査読者プールを見直しておくとよいかもしれません。
ちなみに、これまで自分が担当した論文で査読に穴があいたことはありません。周りでも聞いたことはないです。ただし last minute で投稿される査読にはクオリティが低いものもあります。著者に返る前にそうした査読内容自体を批判できるのはプログラム委員だけなので、責任は重大です。しっかり査読者と連絡を取り合って、著者が納得できるクオリティの査読を集めることが大切です。
メタ査読の執筆難易度は、ほぼ査読者の人選と、集められた査読のクオリティによって決まります。査読者のバランスがよくて視点に漏れがなく、さらに個々の査読がしっかりしていると、メタ査読を書くのは容易です。査読者たちの多様な見方を反映しつつ、著者が応答すべき具体的な事項をまとめてあげるのがメタ査読の主な仕事です。
メタ査読において、 primary reviewer であるプログラム委員の腕の見せ所は、査読者が指摘している事項を優先順位付けしてあげるところにあります。大抵の場合、著者が全部の批判に応えることは不可能です。そこで、大勢としてはこんな意見があって、中でもこの批判は大切なので答えてください、と明示的に示してあげると親切です。この後のリバッタルには文字数制限がありますが、メタ査読や査読には字数制限がありません。極めて親切なプログラム委員の場合、リストアップしたそれぞれの事項に A, B, C のように記号を振ってあげて、著者が内容を繰り返して書かなくてもいいようにしてあげていることもあります。この優先順位に不安がある場合、 external を巻き込んで「このメタ査読でいい？」と明示的に聞いておくとよいでしょう。
また、 secondary reviewer であるプログラム委員の役割は、集まった査読を眺めて、欠けている視点を補完することにあります。ある視点で書かれた論文には、同様の視点を持った査読者が集まりがちです。そこで、例えばシステム系の論文であれば評価が甘くないか、評価系の論文であれば実装が弱くないか、査読者がともすれば見過ごしがちなポイントを確認していきましょう。集まっている査読内容ですでにこうしたポイントが漏れなく確認されていれば、 secondary の査読はほぼゼロでも構いません。必要に応じて primary と連絡を取り合いながら、このあとプログラム委員会に臨むときの態度をなるべく明確にしておきましょう。
この時点で論文の採否は 6 割くらい決まっています。誰も excite していない論文は、メタ査読の視点ではけっこう目立ちます。こうした external が誰も推しておらず primary としても積極的に推す気になれない論文では、メタ査読もあまり詳細に書かれない傾向にあります。逆に、どうしても推したいとか、当落線上にあってリバッタルが非常に重要になる論文ではメタ査読に気合が入ります。プログラム委員の時間は限られているため、こうした濃淡はある程度仕方ないことと割り切るほかありません。
6. リバッタル
メタ査読と査読が著者に返り、著者からのリバッタルを待つ時間は、委員委嘱期間中では稀有なリラックスした時間になります。この時点で、論文投稿〆切からだいたい 2 ヶ月くらいが経過しています。あと 1 ヶ月弱で採否が完全に決定し、最終的な査読が著者に渡ります。
リバッタルでは、査読自体に誤解があるような指摘を受けた場合、慎重に取り扱います。これまでの経験上、なかなかそんなことは起きないのですが、実際にないわけではないので…ちなみにそういう場合でも喧嘩腰だと損しかしないので、著者諸氏におかれましては、ぜひ書き方に気を付けましょう。
査読者側にそうした致命的な問題がある場合を除けば、 primary reviewer は個々の査読者に post-rebuttal comment の入力と査読点数の補正をお願いします。そして、リバッタルが査読で指摘されたポイントにどの程度具体的かつ論理的に反駁できているかを見ます。さらに、 primary と secondary で採録を薦める(A = Accept)か、不再録を薦める(R = Reject)か、さらなる議論が必要な当落線上の論文(D = Discuss)か、という意識合わせをします。
この時点で A または R に振り分けられている論文は全体の 7-8 割くらいだと思います。このあとプログラム委員会が開かれるのですが、たいてい時間が足りないので、 primary, secondary の間で A または R の意思統一がされた論文の採否が覆ることは稀です。
7. プログラム委員会
論文投稿〆切から 2 ヶ月半あまりのタイミングでプログラム委員会が開催されます。最近では ACM CHI のようにオンラインの委員会が増えていますが、ACM UIST のようにオフラインでオンサイトの委員会を重視する会議もあります。オフラインのほうが委員同士の交流ができ、個々の論文についてもニュアンスのある議論が容易にできるというメリットがありますが、いかんせん地球上に散らばったメンバーの金銭的時間的体力的負担が重すぎるので、オンラインが増えている情勢です。（自分はオンラインに切り替わる前の CHI と、依然としてオフラインの UIST しか知らないので、このあとの流れはすべてオフラインの委員会を前提としています。）
委員会は 2-3 日間で行われます。少なくとも 2 日間は朝 8 時から夕ご飯までの間、スケジュールがみっちり詰まっていて、そこで {A or D or R だが点数が高い査読者がいる} 300 本近くの論文について採否を議論します。イメージとしては、投稿論文のうち、トップ層から、当落線より少し下くらいまでの論文がカバーされます。各論文について conflict のある委員は都度部屋から出されます。これにかかる時間がバカにできないくらい長いので、UIST 2019 の委員会では採否を議論する順番が conflict-aware なアルゴリズムで決定されるようになり、おかげで人々が部屋を出入りする回数が減り、実質的な議論にかけられる時間が増えました。委員会運営は常にギリギリですが、こうした地味な改善の繰り返しで何とかなっているという印象です。
委員会の場では、各論文の primary reviewer (first associate chair, 1AC)が論文の「守人」となって採否を議論します。他の委員に批判されたとしても、採録の最終判断は実質的に primary reviewer が下します。ただ、口頭では委員長が「では accept で」「reject ですね」というふうに議論を締めます。 secondary reviewer (second associate chair, 2AC) は 1AC を補足することが主ですが、稀に 1AC が捨てた石を拾う役割を果たすこともあります。
議論の俎上にあげる論文の条件は会議によって違うでしょうが、自分が関与してきた会議に関していえば、どれも基本的に加点式の考え方をベースにしていました。致命的なミスがなければ、優れた点を少なくとも 1 人以上の査読者に見出されていることが重要視されます。大きな欠点はないがとても優れたところもない、無難な論文ばかりの会議なんて参加したいと思わないので、こうした配慮は大切にしたいと思います。ちなみに、こういう書き方で誤解を招くとよくないのであえて明言しますが、ベストペーパークラスの論文はとても優れたところがあってなおかつ欠点がほとんどない、その会議を代表するにふさわしい論文が揃っています。執筆側としては欠点を放置せず常にそのクラスを目指したいところです。
議論の始まりには、まずは委員会全体で会議のレベル感を共有するために、トップ層の論文を見るケースが多いように思います。こうした論文は査読者が全会一致で採録を推しているものがほとんどなので、委員間の議論よりも、論文の内容と査読者がとくに評価したポイントを共有することに重きが置かれます。
トップ層をしばらく確認したら、次に、当落線より少し下、議論対象の中では最も下層の論文へ一気に降りて議論します。こうした論文には何かしら致命的なポイントがあることが多く、査読者が評価したポイントと問題視したポイントが両方紹介され、それを天秤にかけて採否を判断することになります。 primary, secondary を除けば論文は初見なので、この時点で拾うべき理由またはその端緒を見つけた委員がいれば、 third associate chair (3AC)としてさらに査読を進め、逆転での採録となることもあります。
上から、下から、というサイクルを何回か繰り返していると、だんだん真ん中の当落線上で難しい論文のバンドに差し掛かります。このあたりで徐々に議論に時間がかかるようになってきます。すぐに採否が決まるのはレアですが、委員の中でも採否基準の calibration が済んできた頃なので、あの論文が通ってるならこれも、あの論文が落ちてるならこれも、といった判断がすぐ出ることもあります。また、査読スコアの平均点や中央値は悪くないが情熱的に採録を推している査読者のいないものについては落とされがちです。
こうした議論はだいたい 1 時間ちょっとずつで、その間にしばらく休憩時間が挟まります。休憩といっても本当に休憩していることはほとんどなく、たいてい採否が決まっていない論文について関係者で集まって議論しています。
採否判断が難しく委員間での議論が尽きていない論文については D としてマークされたままになり、後で改めて順番が巡ってきます。とくに採否判断が難しいものは 3AC, 場合によっては 4AC が割り当てられ、初日と二日目の間でしっかり時間を取って論文や査読内容を読み込んでもらったりします。また、すでに R としてマークされたものでも、蘇生(resurrect)することもできます。
最終的には論文は A, R, または A_Shprd のいずれかでマークされます。 A は conditionally accept, R は reject, A_Shprd はシェファーディングです。シェファーディングは conditionally accept の condition がとくに厳しいもので、プログラム委員の間でも意見が割れていたり、かなり致命的な問題があると判断されているが絶対に今回のプログラムに含めたいと強い気持ちで推してくれている AC がいたりする場合につけられる判断です。通常の採録論文よりも早く camera ready を投稿してもらい、最終的な採否判断を下します。
プログラム委員会は毎回雰囲気がちょっとずつ違いますが、共通しているのは、一部の論文については非常にダイナミックに採否が揺れ動くというところだと思います。採否判断は、機械的に点数で決めているのとは程遠く、毎回必ずそこにドラマがあります。
委員は基本的にみんな論文を採録したいと思って委員会に臨んでおり、どうやったら論文を拾えるか知恵を絞っています。恩師に「この年のこの論文は自分が通したんだ、と胸を張りたいよね、逆にそういう論文がなければ、自分がプログラム委員でなくてもよかったと思えちゃう」と言われたのが印象に残っています。
8. メタ査読 (2/2)
委員会が終わったら最後の一仕事です。 primary で担当した論文についてメタ査読をアップデートして、プログラム委員会での議論の結果（と場合によっては過程）をまとめます。上に書いたとおり採否判断は生モノなので、自分はできるだけその空気感までひっくるめて伝えられるよう、採否判断に納得してもらえるように心がけています。とくに気を使うのが external の点数は高かったのに落とされたケースで、こういう場合には 3AC などに協力を仰ぎ、判断の根拠を具体的に示すようにしています。
ここまできたらプログラム委員としての仕事はほとんど終わりといってよいでしょう。あとはセッション編成に口を出したりセッションチェアに名乗りをあげたりといったことができますが、どれも optional です。あなたがいなければ存在しなかった、その年の Proceedings の完成です。お疲れさまでした。
プログラム委員会用語集
プログラム委員会などで出てくる独特の言い回しについてまとめました。他にも何か思い出したら足します。どれも例に過ぎないので、実際に出てくる表現とは微妙に違うかもしれません。
書いていて改めて思ったのですが、委員会ではとにかく結論から明言することが好まれます。また、下手に客観的な表現よりも、私見と取られてもいいような表現で議論することが多いと感じます。委員会内には、客観性やフェアネスについては最低ラインをクリアしていることが委員の人選の段階で担保されているという信頼感があり、そのうえで議論しているためです。採否ラインは非常に微妙なので、各委員が責任を負って私見で決断する必要があり、その観点でも、そうした心理的安全が担保された環境づくりは重要だと思います。
- "I would/wouldn't champion the paper." "champion" は動詞で、ぜったい通すマンになるときに使う。論文を絶対に通したい、あるいはそこまでして通したくないときの意思表明に便利。
- "I am inclined to accept/reject the paper." あまり強い意見ではないがどちらかといえば採録または不採録に傾いているときの表現。
- "I am (completely) on the fence." ボーダーライン上の論文だと思う、というときの表現。最終判断は委任する、どちらになっても文句は言わない、という意思表明。
- "The paper is overclaiming its contributions." 強気すぎ。導出できない結論を主張していておかしい。
- "My view is (completely/mostly) aligned with the external reviewers." 2AC が査読コメントを足す必要がないとき査読欄に書く表現。 "There is not much to add." なども。ただし、このあと "Although my remaining concern is..." と重要な指摘が続き、最終的な評価としてどんでん返しがくることもある。
- "There is a major split in review scores." 外部査読者の点数が割れているときの表現。 "There are mixed opinions on the paper" というような言い方もする。割れていても各自の注目しているポイントが違うなら重みづけの問題になるので議論の誘導はわりと簡単。見方が一致しているのに点数が違う場合はこのあと "This is a difficult one." などと書きながらいろいろと議論することになる。
- "The reviewers are in (strong) agreement that ..." 査読者がみんな一致して主張していることをまとめるとき使う。
- "I am open to calibrate my review score." 査読者が、自分の査読内容には自信があっても点数には自信がないときに、点数変えてもいいですよという意思表明。
- "This paper is a clear accept." 議論の余地なく採録していい！と高らかに宣言するときの表現。これが言えると気持ちいい。著者に感謝です。人によっては "I love this one." などと私見を挟むことも。
- "I hear accept." 議論が長引いたあとプログラム委員長が「 採録していいというふうに聞こえるけど？（まあけっきょく採録でいいんだよね？）」とニュアンスを確認するときの一言。
プログラム委員のなりかた？
たまに聞かれるのが「CHI や UIST のようなトップ国際会議のプログラム委員にはどうやったらなれるんですか？」という質問です。プログラム委員長をやったことがないので、正直なところは「知りません」としか答えられないのですが、経験則として答えをひねり出すなら、以下のような条件はみんな満たしている気がします。
- 研究分野について深く、そしてなるべく広く知っており、十分な専門性を持っている
- 論文を評価するための方法を複数知っていて、多様な評価指標で価値を認められる
- 国際的な研究者のネットワークと繋がりがある
- 英語でロジカルなコミュニケーションができる
どれも論文の採否をフェアに判断するために必要な要件だと思います。もっと乱暴にいえば以下の条件を満たすくらい経験を積めば上の要件はだいたい通ったあとだと思います。（そらで言える必要はなくて、例えば、あの辺のあのラボを出た彼/彼女が確かああいうテーマで…みたいな感じです。）
100 人以上、当該分野の国際的な研究者の名前と研究テーマが一致する
あとは地味に〆切を守れるとか、委員会全体で見たときにはジェンダー、大陸、人種といった diversity への配慮とか、そういったものが全部合わさって判断されているように見えます。
久しぶりのブログ記事、かなり長大になってしまいましたが、プログラム委員もいろいろ考えてやっているのだということが伝われば、そして、これからプログラム委員を担う方々にはヒントになれば嬉しいです。