Skip to content

🚀 MOA v0.6.2 リリースノート

Latest
Latest
Compare
Choose a tag to compare
@Sunwood-ai-labs Sunwood-ai-labs released this 10 Oct 08:09
v0.6.2
cd38ae0

ダウンロード (25)

📋 概要

MOA v0.6.2 は、Bedrock モデルの統合、パフォーマンスの改善、Docker Compose 設定の追加など、いくつかの重要な変更を含むリリースです。

✨ 新機能

  • 🎉 Bedrock モデルの統合 (commit: 1861a7f) 🟢
    • Spellbook 設定ファイルに Bedrock モデルのリストを追加しました。
    • これにより、ユーザーは Spellbook インターフェースから Bedrock モデルを選択して利用できます。
  • 🎉 Litellm を使用した Bedrock モデルとの統合 (commit: 4fa2593) 🟢
    • litellm を使用して Bedrock モデルと通信するサンプルコードを追加しました。
    • このコードは、openai ライブラリを用いて Bedrock のエンドポイントにリクエストを送信し、レスポンスを処理します。
    • 開発者はこのサンプルコードを参考に、Bedrock モデルを自身のアプリケーションに簡単に統合できます。

🛠 改善点

  • 🚀 Docker Compose 設定の追加 (commit: 226e981, commit: c08a5c9, commit: bdc6fb2, commit: 1f4390c) 🟢
    • Litellm サーバーの実行のための Docker Compose 設定ファイルを追加しました。
    • パイプライン実行のための Docker Compose 設定ファイルを追加しました。
    • Prometheus によるメトリクス監視設定を追加しました。
    • Ollama と連携するための Docker Compose 設定ファイルを追加しました。
  • 🚀 Dockerfile の更新 (commit: e2cb8d2) 🟢
    • Bedrock モデルの利用に必要な依存関係を追加しました。
    • ビルドプロセスを最適化し、イメージサイズを縮小しました。
  • 🚀 open webui + pipeline + langfuse のサンプルコード修正 (commit: 78e8ed7) 🟢
    • litellm経由でopen webui+pipeline+langfuse環境にアクセスするためのサンプルコードを修正
    • モデルを ollama/llm-jp-13b-v2 から bedrock/claude-3-haiku に変更
    • api_base を http://localhost:11434 から http://localhost:4000 に変更

🐛 バグ修正

  • 🐛 使用しない docker-compose.ollama.track.yml を削除 (commit: c7a3a42) 🟢
  • 🐛 使用しない docker-compose.gpu.yaml を削除 (commit: 72639b8) 🟢

⚠️ 重要な変更

  • ⚠️ Docker Compose 設定ファイル docker-compose.ollama.track.yml と docker-compose.gpu.yaml が削除されました。 🟢
  • ⚠️ サンプルコード example/08_litellm_ollama.py が変更されました。 🟢

📦 アップグレード手順

  1. 現在の MOA を停止します。
  2. リポジトリを最新版に更新します。
  3. docker-compose up -d コマンドを実行して MOA を再起動します。

👏 謝辞

このリリースへの貢献をしてくださった Maki に感謝いたします。

Assets 2
Loading