Mike Bot

Mike Bot

会話をインタラクティブな体験へと変える、実験的なAIチャットボット。

Mike Botは、現代のAIチャットボットが従来のテキストベースのインターフェースをどこまで超えられるかを検証するために開発したサイドプロジェクトです。

一般的なチャット画面ではなく、ユーザーは3Dアニメーションキャラクターと会話します。このキャラクターはOzのデジタルディレクターとして、会社概要やサービス、これまでの制作実績などを、日本語または英語で案内します。

OpenAI Realtime APIとWebRTCを利用して構築されており、テキスト入力とリアルタイム音声会話の両方に対応しています。音声はマイクからSpeech-to-Speechモデルへ直接送信されるため、別途文字起こしを行う必要がありません。ユーザーは自然に話しかけながら、ほぼリアルタイムで回答を受け取り、会話に関連するコンテンツをその場で操作できます。

キャラクターの描画にはThree.jsを使用しています。リアルタイムの音声解析によってリップシンクを行うほか、AI自身が回答のトーンに合わせて表情を設定することで、より自然で表現豊かなコミュニケーションを実現しています。

Tool Callingを活用することで、Mike Botは会話の文脈を理解し、それに応じてインタラクティブなUIを起動できます。

たとえばユーザーがプロジェクトについて質問すると、キャラクターがスマートフォンを持ち上げ、関連する画面を開き、説明しているセクションまで自動的にスクロールします。また、音声による指示だけでインターフェースの言語やテーマを切り替えることもできます。

各セッションの会話内容は記録され、トピックごとに整理されます。そのため、再訪したユーザーは前回の会話を続けたり、過去に話した内容をAIに呼び出してもらったりすることができます。

このプロジェクトでは、AI、音声インタラクション、3D表現、そしてWeb UIを組み合わせることで、単なる「チャット画面」ではなく、よりインタラクティブなデジタルアシスタントとしてのチャットボット体験を検証しています。

主な機能

• OpenAI Realtime APIとWebRTCを利用したリアルタイム音声会話
• テキスト入力と音声入力を同一の体験内でサポート
• 日本語・英語のバイリンガル対応
• 会話中の音声指示による言語切り替え
• 音声解析によるリップシンクに対応した3Dアニメーションキャラクター
• 会話の文脈を理解するTool Calling
• 会話内容に応じて表示される動的な制作実績カードやコンテンツダイアログ
• 再訪ユーザー向けにトピック単位で整理された会話メモリ
• ユーザーの意図に合わせて変化するインタラクティブなUI

Mike Botは、AIとの会話と実際のユーザーインターフェースをどのように連携できるかを検証するための実験的なプロジェクトです。

チャットボットを単独のチャット機能としてではなく、Webサイトやデジタルプロダクト全体に統合された、より自然で魅力的なインタラクションへと進化させる可能性を探っています。