AIにパソコン作業を頼むとき、画面上のボタンを順番に押してもらうべきか、ファイルをコードで直接処理してもらうべきか。Microsoftが公開した研究用モデル「Mage-VL-Cowork」は、この二つを作業に応じて使い分ける仕組みを目指しています。
Microsoftの公式配布ページでは、画面の画像と言葉を扱い、画面操作とコード・端末操作を組み合わせるAIとして紹介されています。公開先のメタデータでモデルの作成日時を10月30日と確認できた、今回の新しい研究公開です。普段使うアプリにそのまま追加される一般向け機能ではなく、開発者が実行環境を用意して検証するためのものです。
何が新しい？「見る・クリックする」と「コードで処理する」を選ぶ
画面を見てボタンやメニューを操作する方式は、見た目の配置が重要な作業に向いています。一方、表の値や文書の構造を扱うときは、プログラムから処理したほうが結果を確かめやすい場合があります。Mage-VL-Coworkは、こうした経路の選択を一つのモデルで扱います。
公式の実装資料では、画面レイアウトやアプリ内の状態には画面操作を、表計算・文書などの構造的な編集や検証にはコード処理を使う考え方が説明されています。何でも大量のクリックに置き換えるのではなく、作業に合う手段を選ぶところが注目点です。
資料づくりや事務作業に、どう関係する？
たとえば、表の値を集計して資料へ反映する仕事を考えてみます。数値の集計はコードで処理し、最後の見た目や配置は画面で確かめる。そんな役割分担ができれば、作業全体を一つの方法だけに寄せずに済みます。これは研究の仕組みから考えられる本記事の活用例で、このモデルで実際にその仕事を完了できると検証したものではありません。
利用する側にとっても、「このボタンを何回押すか」だけでなく、「どの状態になれば仕事が終わったと言えるか」を決めることが大切になりそうです。集計後の合計が一致すること、指定した項目が資料に残ること、保存したファイルが開けること。先にこうした基準を用意すれば、AIが選んだ処理方法とは別に成果を点検できます。
性能の数字は、条件付きの評価として読む
公式実装資料は、パソコン作業を評価するOSWorld-Verifiedで66.0%という結果を報告しています。Google Driveを除く361課題を対象とし、1課題50ステップの条件で、独立した2回の実行結果を平均した値です。
この数字は、開発チームが示す特定の環境での評価です。「普段の仕事の66%を必ず自動化できる」という意味にはなりません。日本語の画面や社内専用アプリ、いつも使う資料の形式では、別途の確認が必要です。この記事では、独立した性能測定や実際の操作テストは行っていません。
注意点：普段のPCへすぐ任せる前に、練習用の環境で検証
公式配布ページは、モデルを使う際に、元のパソコンから隔離したコンテナーや仮想マシンなどで動かすよう案内しています。画面と端末を操作できるため、出力文を眺めるAIとは異なり、操作先の状態が変わる点を考慮する必要があります。
試すなら、まず複製した資料や架空のデータを使い、何が変更されたかを人が点検できる範囲に絞る方法が考えられます。これは導入検討の提案です。日常のログイン情報や大切なファイルを最初から渡し、結果だけを信頼する運用にはしないほうがよいでしょう。
公式の評価用パッケージ説明には、GPU上の推論サーバーと、画面・端末を操作するエージェントを組み合わせる構成が示されています。ファイルを入手すれば、手元のMacやWindowsで直ちに作業を代行してくれる、と考えるのは早計です。
配布ページにはApache-2.0のライセンス表記がありますが、実行に使う計算資源や環境の準備まで無料になるわけではありません。今回確認した資料では、一般向けサービスのプラン料金や、日本語での実務品質、日本向けの個別の提供条件は確認していません。
AIに任せる手順より、完了の基準を考える
今回の研究は、AIの作業方法を「画面操作だけ」「コードだけ」に固定しない方向を示しています。すぐに導入しなくても、自分の仕事を、見た目で確認する部分と、データとして確かめる部分に分けてみる。その整理は、これからAIへ依頼を出す際にも役立ちそうです。
出典・確認日
確認日：2026年11月2日。公開先メタデータの作成日時は2026年10月30日12:13 UTC（日本時間21:13）。画像は内容を説明するAI生成の概念図で、実際の操作画面や検証結果ではありません。