Gemini と Genkit を使い、AI エベント・アシスタントの開発

このブログ投稿は、Google AI Hackathon に Devpost で応募するための目的で書かれました。 いくつか月前、娘チームの監督としてサイエンスオライムピエッド大会に参加しました。生徒たちがイベントの間を移動しながら、コーチが印刷されたスケジュール表、スプレッドシート、そしてノート山を片手にすべてを管理している様子を見ていました。生徒たちが次への移動場所を尋ね、出席は手動で追跡する必要があり、いつでも全員のパネル状況を知ることは困難でした。 その光景を眺めていて、思いました：イベントの調整はこれほど複雑であるべきではありません。スケジュール管理、チームのリアルタイム追跡、コーチからの音声コマンドへの対応ができる、単一のシステムがもし存在したら。それは最終的に、コーチや組織者が複雑なイベントをよりスムーズに運営できるよう支援する設計された AI 駆動型イベント調整プラットフォームである TeamSync に成長しました。 TeamSync は、組織者がスケジュールを作成、チーム进行管理、出席を追跡、参加者とコミュニケーションを取れる中央指揮センターとして機能しますが、経験に変化をもたらすのは本当に AI 音声アシスタントです。複数の画面を操作することなく、コーチは単にシステムに話しかけるだけでアクションが直接実行され、ハンドフリーとなります。 この種の相互作用をスムーズに実装するには、言語モデルをチャットボットインターフェースに接続するだけでは不十分でした。AI はユーザーコマンドを理解し、現在のイベントの文脈の中でそれらを解釈し、システム内で実際のアクションをトリガーする必要があります。 Gemini の機能呼び出し機能がこれを可能にしました。AI は単にテキスト応答を生成するだけでなく、アプリ内の実際の操作を呼び出すことができます。コーチが「出席を開始」と言った場合、アシスタントは単にテキストで応答するのではなく、実際のアクションをトリガーし、ダッシュボードをリアルタイムで更新します。 レスポンシブさは不可欠でした。ライブイベント中、アシスタントは自然に感じられるように速く反応する必要があります。Gemini のネイティブオーディオストリーミングを使用することで、私は低遅延でリアルタイムで聞き、応答するアシスタントを作成できました。それはさらに、すべての言語をサポートし、TeamSync を世界すべてのチームにアクセス可能にします。 音声以外にも、私はプラットフォーム全体の他の AI 機能にも Gemini を使用しました：テキストチャットボット、画像ベースのスケジュール抽出、位置情報知能、そして出席とエンゲージメントのパターンを自動的に要約する事後の分析。 全体のアプリケーションは、GitHub Actions を介した自動展開を通じて Google Cloud で実行されます。 TeamSync の開発は、重要な教訓を強化しました：AI は、実際のワークフローに接続されたときにはるかに価値があります。単に質問を答える代わりに、AI アシスタントはタスクを管理し、プロセスを自動化し、本来は大きな手動労力が必要だった洞察を提供します。 サイエンスオライムピエッド大会でのシンプルな観察がはじまったものが、AI が現実世界の調整に人の手を助けられるものであることへの探求へと変わり、そして多くの方法で、私はただ始めたばかりなのです。

This blog post was written for the purposes of entering the Google AI Hackathon on Devpost. A few months ago, I attended a Science Olympiad competition as a chaperone for my daughter's team. While the students were running between events, I noticed the coach trying to manage everything with printed schedules, spreadsheets, and a pile of notes. Students kept asking where to go next, attendance had to be tracked manually, and it was difficult to know where everyone was at any moment. Watching that unfold made me think: coordinating events shouldn't be this complicated. What if there was a single system that could manage schedules, track teams in real time, and even respond to voice commands from the coach? That idea eventually turned into TeamSync, an AI-powered event coordination platform designed to help coaches and organizers run complex events more smoothly. TeamSync acts as a central command center where organizers can create schedules, manage teams, track attendance, and communicate with participants. But the feature that really changes the experience is the AI Voice Assistant. Instead of clicking through multiple screens, a coach can simply speak to the system and it performs the action directly — hands-free. Making this kind of interaction work smoothly required more than just connecting a language model to a chatbot interface. The AI needed to understand user commands, interpret them in the context of the current event, and then trigger real actions in the system. Gemini's function calling made this possible. Rather than just generating text responses, the AI can invoke actual operations within the app. When a coach says something like "start attendance," the assistant doesn't just respond with text — it triggers the real action and updates the dashboard in real time. Responsiveness was critical. During live events, the assistant needs to react quickly enough to feel natural. By using Gemini's native audio streaming, I was able to create an assistant that listens and responds in real time with low latency. It also supports any language, making TeamSync accessible to teams worldwide. Beyond voice, I also used Gemini for other AI features across the platform — a text chatbot, image-based schedule extraction, location intelligence, and post-event analytics that summarize attendance and engagement patterns automatically. The entire application runs on Google Cloud with automated deployment through GitHub Actions. Working on TeamSync reinforced an important lesson: AI becomes far more valuable when it's connected to real workflows. Instead of simply answering questions, an AI assistant can manage tasks, automate processes, and provide insights that would otherwise take significant manual effort. What started as a simple observation at a Science Olympiad competition has turned into an exploration of how AI can assist people in real-world coordination. And in many ways, I'm just getting started.