生産性を解き放つ:UI オートメーションと LLM ベースのオートメーションを組み合わせる

最近、多くの大手 AI 企業が、強力な基礎大規模言語モデル (LLM) を活用して、人々が画面上で行う多くのアクションを迅速に自動化する新機能を発表しました。 Anthropic の Computer Use、Amazon Q Business、および今後の OpenAI「Operator」は、コーディングやモデルのトレーニングを行わずに、画面をすばやく理解し、使用されているソフトウェアを操作し、ユーザーの望ましいアクションをエミュレートできます。

LLM ベースの自動化は、新しい自動化方法です。これは、トレーニングされたモデルとルールベースのアプローチに依存して情報を抽出し、画面、システム、ソフトウェアと対話する UI オートメーションとは大きく異なります。 LLM ベースの自動化は非常に使いやすいため、一部の業界観察者は、LLM ベースの自動化が UI 自動化に取って代わる可能性があると示唆しています。

私たちはこれらの新しいテクノロジーについて広範な評価を行っており、企業やユーザー全体に自動化の影響を拡大する可能性に興奮しています。実際、私たちはそれらの最良のものをプラットフォームに統合しています。 AI は人間と同じようにソフトウェアと対話できるため、人間と画面間の対話に真の革命をもたらすことができると私たちは信じています。これらは個人の生産性を新たな高みに引き上げる可能性を秘めており、事実上誰でもシチズンデベロッパーになって退屈で反復的なタスクを自動化できるようになります。 

ただし、LLM ベースの自動化が、あらゆるプロセスにおいて UI 自動化に完全に取って代わることはありません。たとえば、複数のシステムへのアクセスや機密データや独自データの操作を伴う、大量のミッションクリティカルな自動化プロセスには、UI 自動化の方がはるかに優れた選択肢です。このようなタイプのプロセスは企業全体に数多く存在しており、一般に、UI 自動化によってより適切に処理されます。

その理由を理解するために、各アプローチがどのように機能するかを簡単に見てみましょう。

UI 自動化と LLM ベースの自動化は動作が異なりますが、それが重要です

LLM ベースのアプローチは通常、マルチモーダル LLM (画像、単語、音声などを理解する) を使用して画面を「読み取り」、アクションを実行します。このアプローチは、クラウドでホストされている画面上の情報 (データ、フィールドなど) を理解する LLM に依存します。次に、モデルは人間がとるであろう行動を予測し、その行動をとるように指示を送ります (データのコピーと貼り付けなど)。

逆に、UI オートメーションでは、ロボットは事前に開発された一連の指示に従って、定義されたタスクを完了します。これらは、顧客および/またはユーザーの環境内で実行できます。データはローカルでのみ解釈でき、ロボットは明確で決定的な一連の指示に従います。 AI を活用した最近の進歩により、安定性と信頼性が大幅に向上し、脆さや破損といった UI 自動化の初期の問題の多くが解決されました。

UI 自動化の明らかなメリット

これら 2 つのアプローチの違いは、高いセキュリティと精度を必要とする複雑で大量のマルチシステム プロセスを自動化する場合に大きな違いをもたらします。このような種類のワークフローの場合、UI 自動化の方がはるかに優れたオプションです。その理由は次のとおりです。

正確性と完全性:注文から入金までのようなミッションクリティカルなプロセスは、ある場所から別の場所へのデータの正確な抽出、移動、転記、およびこれらの活動に関する文書化とコミュニケーションに依存します。この分野では、LLM ベースのアプローチでは UI オートメーションのパフォーマンスに匹敵することはできません。

たとえば、UiPath データの分析によると、すべての顧客の自動化の 96.5% が、当社の UI 自動化アプローチで正常に実行されています。 AI ベースの自動化に関する公開データによると、その信頼性は大幅に低いことが示唆されています。たとえば、Anthropic は、モデルにコンピューターを使用させるという開発者の試みを評価するために設計されたテストの正解率が 14.9% であると報告しました。これは、人間のスキル レベルの 70 ～ 75% をはるかに下回っています。時間の経過とともに精度は確実に向上しますが、UI 自動化と同等のレベルに達するまでには長い道のりがあります。

他にも問題があります。すべての LLM は幻覚を起こしやすく、予測不可能な行動を取る可能性があります。たとえば、Anthropic の研究者らは、間違った画面をクリックしたり、国立公園の写真を不可解にダウンロードしたりするなど、LLM が突然タスクを外れた例を指摘しました。 UI オートメーションの決定論的ロボットには、そのような不正行為を行う能力がまったくありません。

次に、完全性の問題があります。表示されている画面の写真を撮影するアプローチでは、余白の下に広がるドロップダウン リストのデータが失われる可能性があります。また、写真を撮ったときには発生していなかった短期間のアクションを見落とす可能性もあります。 UI オートメーションにはこれらの問題はありません。

セキュリティとガバナンス:プライバシーを確保し、悪意のある侵入をブロックし、独自のデータをファイアウォール内に保持するという点では、UI 自動化はリスクが大幅に低い選択肢です。たとえば、UI 自動化では、必要なデータのみが収集されます。 LLM ベースの自動化とは対照的に、UI 自動化では、機密データが誤って含まれる可能性のあるスクリーンショットの大規模な抽出は必要ありません。さらに、UI 自動化を実行する UiPath ソフトウェア ロボットは認証され、機密データへのアクセスが制御されます。現在、LLM ベースの自動化ではそのレベルのセキュリティを利用できません。

私たちにとって、それはどちらか、または両方ではなく、両方です

将来に目を向けると、LLM ベースの自動化の台頭は、特定の種類のプロセスやアクティビティにとって大きな進歩を意味することは明らかです。世界は、画面とソフトウェアを使用するほぼすべての人の手にオンザフライのコード不要のプロンプト主導型自動化機能を提供し、これまでに見たことのない個人の生産性とパフォーマンスの新時代を到来させるという夢の実現に近づいています。

私たちはすでに、このようなタイプの機能を UiPath Platform™ に組み込むための措置を講じています。特に、Autopilot™ forEveryone などのエンド ユーザー エクスペリエンスに間もなくこれを組み込むとともに、市民開発者や自動化専門家向けの追加オプションとして LLM ベースの自動化を提供する予定です。

企業がこれらの新しい機能を活用したいと考えていることは承知していますが、それを安全かつ完全に制御しながら実行したいと考えています。 したがって、私たちは、企業が採用するモデルに関係なく、企業が必要とする必要なオーケストレーション、管理、ガバナンスを提供するために、プラットフォームの機能を拡張してきました。

しかし、LLM ベースの自動化の機能とサポートを拡張しながらも、UI 自動化機能は進化し続けています。UI 自動化は、幅広い重要なエンタープライズ プロセスにとって最適なソリューションとなるからです。私たちは今後も AI の新たな進歩を活用して、UI 自動化をさらにインテリジェントにし、大規模なコーディングやトレーニングを必要とせずに理解して動作しやすく、回復力を高めていきます。代表的な例は、失敗した自動化を自己修復できる新しい UiPath Healing Agent (現在パブリック プレビュー中) です。

つまり、UiPath は、UI ベースと LLM ベースの両方のアプローチを含む、あらゆる形式の LLM を活用した自動化の将来を信じています。 それぞれに独自の強みがあります。それぞれが、特定の自動化機会のセットにとってより良い選択です。私たちの目標は、現在および将来的に利用可能なすべての自動化オプションを調整、管理、管理できるエンタープライズ プラットフォームを通じて、新たに登場する AI アプローチと合わせて、両方を利用できるようにすることです。