LLM 可観測ツール

私、オープンソースの LLM 可観測ツール「TraceLM」を作成しました。このツールは、以下のアクティビティを追跡することができます： token コスト token 長さ 遅延情報など 以下のツールはこちらから入手できます： https://github.com/unnivm/tracelm-java-agent このツールは、上記の情報を追跡するための非常に優れたダッシュボードを提供しています。ユーザーがダッシュボードにアクセスするにはログインが必要です。 現在、このツールはインストルメンテーション技術に基づいて動作するため、Java ベースのアプリケーションのみをサポートしています。しかし、将来的には他のプログラミング言語もサポートする拡張が行われます。 このプロジェクトは開発中であり、さらに機能を追加することを目指しています。目的は、これをエンタープライズ用の製品にすることです。

I just created an open source LLM observability named "TraceLM" that can track the following activities: token cost token length latency information etc The following tool can be found here: https://github.com/unnivm/tracelm-java-agent This tools offers a very cool dashboard to track the above information. The user is required to login to access this dashboard. This tool currently supports only Java based applications as it is basically working based on instrumentation technique. But, this tool will be extended ti support other programming languages as well. This project is under development and am going to add more features to to so that the idea is to make it an enterprise ready product.