agent-desktop は、AI コーディングエージェントに一般的なデスクトップアプリの「コンピューター操作」能力を与えるツールです。スクリーンショットを撮ってクリック位置を推測するのではなく、OS のアクセシビリティツリーを読み取り、各 UI 要素を @e8 のような短い参照付きの JSON で返します。エージェントはその参照を指定してクリック、入力、スクロールを行います。AI モデルは含まれておらず、Claude Code や Codex などのエージェント側が「取得→操作→再取得」のループを回します。
開発元：もともとは開発者 Lahfir 氏の agent-desktop（2026年5月の Show HN は99ポイント）で、10月下旬に vercel-labs organization へ移りました。Vercel の Chris Tate 氏が10月31日、agent-browser のデスクトップ版として紹介しています。Rust 製で、ライセンスは Apache-2.0。スター数は約1万7,500で、GitHub トレンドで1日に約3,800増えました。1.0.0 が10月28日、Windows 向けの修正を多数含む 1.1.0 が11月3日、MCP サーバー（agent-desktop mcp）を追加した 1.2.0 が11月5日に公開されています。
特長：macOS 13 以降、Windows 10 1809 以降、Ubuntu 24.04 以降（X11 / Wayland）に対応し、アプリ、ウィンドウ、クリップボード、通知、キーボード、マウス向けに約56のコマンドを備えます。参照による操作は既定でヘッドレスのため、マウスポインターを動かしたりフォーカスを奪ったりしません。C ライブラリを使えば、手順ごとに CLI を起動せずにプログラムへ組み込めます。
試し方：npm install -g agent-desktop（Node 18 以上）または brew install agent-desktop。Mac では agent-desktop permissions --guide でアクセシビリティ権限を与え、agent-desktop snapshot --app Finder -i を実行します。制限：結果はアプリが UI 情報をどれだけ公開しているかに左右されます。Windows 版バイナリは署名がなく SmartScreen にブロックされる場合があります。画面が変わると参照は無効になり、スナップショットには個人情報が含まれることがあります。Flavio Copes 氏は、サンドボックスやプロンプトインジェクション対策が文書化されていない点を指摘し、テスト用データを入れた VM で使うと述べています。
