GUI と HCI の理論研究（フランス在外研究に至った経緯）

これは Human-Computer Interaction (HCI) Advent Calendar 2024 14 日目の記事です。

私は HCI の中でも創造性支援ツール（Creativity Support Tools）の研究に従事しており、今年 4 月から同テーマの研究を長らく続けてこられた Wendy Mackay ならびに Michel Beaudouin-Lafon が共同運営するパリ＝サクレ大学のラボ「ex)situ」で在外研究しています。

主所属の産総研からは、ほぼ同時期にコンピュータビジョン研究者の片岡さんが在外研究に出ており、オックスフォード大学研究記という大作の Advent Calendar 記事を書いています。こちらも非常に面白いのでぜひ読んでみてください。ちなみに、いろいろあって滞在期間は私のほうが先ですが、所内で、ボトムアップに国際連携を支援してくれる仕組みに採択されたのは片岡さんが一年先で、私が翌年の採択というかたちです。

在外研究に至った経緯について、研究者漫画（産総研マガジン）で巧みにまとめていただいていますが、この記事では HCI 研究に興味がある方向けに HCI における理論研究という観点で内容にもう少し踏み込んでみます。在外研究には、他にも「アニメ制作支援研究の国際連携基盤をつくる」「HCI in the Wild 研究を進める」という二つの目的がありますが、この記事ではあまり触れない予定です。

Is GUI research done?

まず、今の「アプリ」のユーザインタフェースって、わりと「つまんない」ことないですか？という話です。

グラフィカルユーザインタフェース（GUI）の登場とともに HCI 分野ができて早 40 年が経ちます。その間にユーザインタフェースからインタラクションへ、平面の四角いスクリーンから実空間を含むあらゆるスペースへ、研究対象は複雑化しながら拡大してきました。 流行り廃りが早い分野で、ペン入力、マルチタッチ、3D プリンタやフィジカルコンピューティングのプロトタイピング、VR/AR、最近だと AI など、その時々の最先端の技術要素を取り入れながら、人とコンピュータの関係の未来像を描いてきました。近年では Critical Computing という分科会に象徴されるように、政治性に関する批評などを含む思想にまで、分野のすそ野が広がってきています。 そんなわけで、ソフトウェア、とくに GUI の研究をしている人たちは今や少数派です。

ただ、そうこうしているうちに、ユーザインタフェース開発用のツールキットが洗練され、標準化が進み、インタラクション設計の多様性という観点ではむしろつまらない方向に向かってしまっているのではないか、というのが私の見方です。 つい最近、 SIGGRAPH Asia 2024にあわせて、兼業先のアニメ制作ツールをAnimeCraftという名前でまとめ、ツールづくりの考え方を明文化しました。 ここでクリエイター向けのツールに「一般的でないユーザインタフェースが多」い、と書いたのは、典型的なアプリが、何かを選んだりパラメタを調整したりできるウィジェットを置くだけでできている、ということの裏返しです。

HCI 研究文脈では UIMS (User Interface Management System) が失敗して UI ツールキットが残ったというのが暫定的な結論でしたが、洗練されたコンポーネントを組み合わせられるツールキットで多くのユースケースが回収されたからといって、一般的でないユーザインタフェースの研究開発には、まだまだ探求の余地が残されていると思います。

AI 技術を応用して過去のトピックを再訪しているケースは見受けられますが、パターナリズム的な GUI を学習した結果を利用するものなどは、本質的な進展には至っていないように見えます。

Theories of HCI Design

2021 年、GUI 研究の不足（と、なぜ、それが分野で不人気なのか…）を考えていたタイミングで、ユーザインタフェース設計の方法論について学会誌に寄稿してほしいというタイムリーな提案をいただきました。 技術研修にきていた学生から、HCI 分野にはどうして UI/UX 実践の場で（すぐに）役に立つ研究があまりないのか？と素朴な質問をもらったのもこの頃だったように思います。 それで書いたのが「インタフェース・デザインの勘所」という記事でした。こちらの一部を「ユーザインタフェース設計」という Web 記事に仕立て直したところ、Web で少々話題にしていただきました。 とくに、ユーザインタフェースデザインとか、ユーザエクスペリエンスとか、そういったことを専門にしている実務家の方々に好評だったように記憶しています。

この寄稿記事は基本的に、実行の淵、評価の淵とか、ダイレクトマニピュレーション（直接操作）とか、人間情報処理モデルとか GOMS モデルといったように、ユーザインタフェース設計の際に参照できる理論（theory）に焦点を当てており、これが好評のもとだったように思います。

また、2022 年には、「Theories of Programming」という Dagstuhl Seminar に招待してもらって、HCI・ソフトウェア工学・コンピュータ科学教育の研究者と、プログラミング（言語ではなく、行為）の理論（theory）について議論する機会がありました。 ここでも、個別の言語設計や環境設計、環境中の機能の設計を越えて再利用性のある知見をどうやってまとめるか、ということが焦点となっていました。

これ以来、研究と実践の溝を埋めるピースとして「理論」の重要性に注目するようになりました。

なお、こうした見方に至った補助線として、プログラミング言語の研究コミュニティとの関わりが深くなったことが大いに影響しています。そうしたコミュニティがロジカルな「一般性」を重視する一方で、だからこそ、人口に膾炙する言語やフレームワークをなかなか生み出せていないというフラストレーションに触れ、 HCI ならではの視点、つまり HCI の理論を、プログラミング言語コミュニティに投入する必要があるのではないか、と考えたわけです。

Generative Theories of Interaction

もうお分かりかもしれませんが、HCI 研究を長いこと続け、GUI 研究を諦めず、さらに HCI の理論の重要性をコミュニティに説き続けてきた稀有な研究室が、在外研究先の「ex)situ」です。もともと現場の文脈を重視して研究するという観点から「in)situ」という名前のラボでしたが、あるときキャンパスの場所移転に伴い名前変更が必要になったとかで、 extreme な situation に置かれる要求水準の高い現場にこそ HCI の知見がある、というような考え方で今の名前になっています。

Wendy と Michel は分野黎明期から研究を続けているので、欧州 HCI 研究者ならどこかで必ずといっていいほど師弟関係が繋がっていて、欧州 HCI のグランマ、グランパと呼ばれています。 Michel は、2000 年にダイレクトマニピュレーションを拡張する理論的基盤として「Instrumental Interaction」を提唱し、道具としてのコンピュータのありかたを追求してきています。これを提案した際の論文タイトルに Post-WIMP と入っていますが、今でこそ Post-WIMP というと Tangible とか実世界指向な印象があるものの、当時は単に「ソフトウェアでコントロールされるユーザインタフェース設計」における Post-WIMP の話をしています。

この二人が、HCI 研究の 3 つの波 で有名な（？） Susanne Bødker と理論研究の重要性について説いた直近の論文が 2021 年の「Generative Theories of Interaction」です。 曰く、一般的なインタラクションデザインのプロセスはユーザ調査を行い、人工物のありうる姿をシミュレーションしたりプロトタイプを作ったりして、これを評価する、というサイクルで回っている。生成的理論（generative theory）は、こうした個別のインタフェースやシステムを説明・分析するだけでなく、新たな人工物の設計に指針を与えてくれる理論である。…といったような主旨の内容です。

図 1 があると、多少イメージがつきやすいかもしれません。

ただ、一読してみて重要そうな感じがしたし、自分が考えてきたことと相当オーバーラップがあるように思えたのですが、それでも、正直なところ論文を読んだだけではあまり咀嚼しきれた感じがしませんでした。

それで、図 1 に私がこれまで取り組んできた現場重視の研究（オレンジ色）や、私から見た彼らの研究（緑色）などのオーバーレイを加えてみて、この一年、自分の研究をこうした流れの中に位置づけながら、HCI 研究の理論を肌で理解してこようと思ったわけです。

その成果やいかに？

という部分に関して、まだあまり語れることはないのですが、とりあえず、単純未来志向 HCI の限界とその先について考えています。

単純未来志向 HCI の限界と、その先

先の図に書いたとおり、私は「現場で連綿と続く創造的活動」—毎年開催されるプログラミング・コンテストやアニメ制作の現場での取り組みなどを対象に、非常に文脈依存性の高い研究を進めているのですが、そうすると論文のイントロ相当の部分が長くなる傾向にあります。 要するに、前提条件を正確に誠実に共有しようとすると、どうしても長い文章になります。 ただし、これは研究上の貢献がニッチだとか小さいとかいったことは意味しません。

例えば、今年の CHI で発表した研究では、アニメの設計図と呼ばれる「絵コンテ」（storyboard）というメディアにおいて、時間軸が縦に取られていることに様々な理由があるということを明らかにしたうえで、これを取り入れた新しいソフトウェアツールを提案しています。 絵コンテのコマが上から下へ縦に並んでいることはアニメ業界では当たり前に思われていますが、動画制作ツールのほとんどは時間軸が左から右になっています。 ここで明らかになった縦時間軸の得失は、絵コンテに限らず時系列メディアの制作・編集ツールの設計において一般的に参考になる知見です。

この論文では、絵コンテと西欧の storyboard の制作プロセスの文化差を比較するなど、他にもアニメーション業界がこれまでに積み重ねてきた実践の歴史を踏まえた議論を行っています。

今いるラボが標榜してきた in)situ および ex)situ という考え方は「現在」の人々が置かれた文脈の深さに着目するものです。 しかし私の研究アプローチは、そこからさらに過去方向にも探索の手を広げていくものであるように思うのです。

次のスライドは、先月のラボセミナーで使ったものです。

現在の実践について深く理解しようとすれば、過去をたどることになるものです。

未来志向であることそれ自体は悪くないのです（むしろ、私が HCI のことを好きな最大の理由の一つです）が、現在、そして過去も踏まえたうえで研究をしていくという姿勢が、今後の HCI においてはもっと重要性を増すことになると感じています。

先に書いた「HCI 分野ができて早 40 年」という事実は、それなりに重いと感じています。まず、この間に解かれやすい課題はあらかた解かれてしまったとみることができます。昔であればちょっとしたアルゴリズムの発明で短い論文が書けていたのに、今の CHI 論文がどんどん長くなる傾向にあるというのは、その一つの現れでしょう。

次に、未来志向のあまり 40 年で埋もれてしまった研究テーマや知見が相当あるように思います。GUI 研究がまだ終わっていないのにコミュニティの焦点が外れて進捗が遅くなっている面があるように感じます。

40 年の蓄積は、すでに社会に放たれ、多くの人々に使われ、歴史となっています。 単純に未来志向なだけの HCI （単純未来志向 HCI）には限界があり、今後、科学技術社会論、文化人類学、メディア文化研究など人文科学分野との連携ががますます重要になっていくはずです。

HCI の強みはインタラクティブシステムという人工物をバウンダリオブジェクトとして、地に足のついた議論が展開できるところにあると思います。この強みを活かしながら多分野で連携することが、「学問の革新と創成」に繋がるような気がしています。

フランス在外研究を経て

もともと放っておいたらプログラムを実装するタイプの研究者でしたが、フランスにきた 4 月以来、プログラムの実装に没頭する期間はあまりありませんでした。 折に触れて研究上の興味が非常に近い HCI 研究者たちと議論を重ねるなかで、上記のように自分なりの HCI 史観と今後に向けた考えをまとめることができてきたと感じています。

来年 3 月には帰国するので、日本の方々は、ぜひまた仲良くしてやってください。在外研究中の私的なあれやこれやは、機会があればまたブログなどに書いてみたいと思っていますし、つついていただければいくらでも話します。

それでは Joyeuses fêtes! (Happy holidays!)