AIはどうやってパソコンを操作するのか
人と同じやり方で、画面を見て動かす
人が言葉で頼み、AIは使ってよいか人に聞く。AIは画面の写真を撮り、押す場所を座標で決め、クリックして文字を打ち、また画面を見る。人と同じやり方なので、メモ帳以外のアプリも同じように操作できる。
AIは、画面の写真を見て、押す場所を決め、クリックして、文字を打つ。人がパソコンを使うのと同じやり方だから、メモ帳以外のアプリも同じように操作できる。その流れを、メモ帳を例に、動く図解で追う。
クリックする場所を座標で指定する方式は、OpenAI・Anthropic・Google が開発者向けの資料で公開している。ChatGPT のデスクトップアプリが内部でどう指定しているかは公開されていない。
Windows では、いま表示しているデスクトップの前面で操作する。
ナレーション
- 00:00 – 00:13 頼む AIに、言葉でたのみます。メモ帳を開いて、文章を書いて。AIは、メモ帳を使ってよいか、人に聞いてから始めます。
- 00:13 – 00:20 見る AIはまず、画面の写真を撮ります。スクリーンショットです。
- 00:20 – 00:30 場所を決める 写真を見て、押す場所を決めます。場所は、横と縦の位置の数字、座標で表します。
- 00:30 – 00:41 動かす その場所をクリックして、キーボードで文字を打ちます。そして、また画面を見ます。このくり返しです。
- 00:41 – 00:59 人と同じ 画面を見て、場所を決めて、クリックして、打つ。人がパソコンを使うときと、同じやり方です。アプリごとの特別な仕組みがなくても動くので、メモ帳以外のアプリも、同じように操作できます。
