VMC Protocol リファレンス実装と使用例

利用可能なアプリケーションをご紹介します

リファレンス実装 Reference Implementation

すべてのVMCProtocolソフトウェアは、下記リファレンス実装と送受信できることを確認することを強く推奨します。
一部のソフトウェアでしか動作しない(例えばボーン情報が破損している)データを送信している例を確認しています。
It is highly recommended that all VMCProtocol software be verified to be able to send and receive from/to the reference implementations below.
We have identified examples of data being sent that only works with some software (e.g., corrupted bone information).

採用事例 / Usecases

お知らせ / Notice

VMCProtocolは、VRM0/1両方に対応していますが、送信側・受信側アプリケーションの両方で同じバージョンのアバターを使用する必要があり、(特殊な例を除き)混在させることは出来ません。
多くのアプリケーションは未だVRM0のみの対応となっています。
VRM1のアバターをお持ちの方は、VRMRemakerやVrmDowngraderなどを利用しVRM0を利用可能にしておくことを推奨致します。

The VMCProtocol supports both VRM0 and VRM1, but the same avatar version must be used by both the sending and receiving applications, and mixing versions is not possible. Many applications currently only support VRM0. If you have a VRM1 avatar, it is recommended to use tools like VRMRemaker or VrmDowngrader to make it compatible with VRM0.

Performer(モーション送信, 姿勢ボーン)アプリケーション / Bone sender

  • バーチャルモーションキャプチャー - VirtualMotionCapture - 汎用VR機器(OpenVR)を用いたモーションキャプチャー。3点から10点トラキングまで対応。視線トラッキングデバイスなどにも対応。
  • waidayo/face2vmc - iPhoneを用いたフェイシャルキャプチャ。VMCと併用可能【VRM0/VRM1両対応】
  • 360KinectGum - Kinect v1を用いたフルボディモーションキャプチャ。
  • ThreeDPoseTracker - USBカメラと機械学習を用いたフルボディモーションキャプチャー(Windows)【VRM0/VRM1両対応】
  • TDPT - iPhone単体で機械学習を用いたフルボディモーションキャプチャーを実現(iOS)【VRM0/VRM1両対応】
  • VSeeFace - VSeeFace is a free, highly configurable face and hand tracking VRM avatar puppeteering program.
  • MocapForAll - PCと複数のウェブカメラによるフルボディモーションキャプチャ
  • Keyboard Stuvio - WebカメラとMIDIキーボードによる演奏からモーションキャプチャ
  • Webcam Motion Capture - Webカメラや動画による顔・表情・指および腕のモーションキャプチャ。Windows/Mac対応
  • MocapForStreamer - Webカメラ2台を用いた上半身の簡易モーションキャプチャ
  • VroidPoser - VroidPoser - a pose creator/animator for VSeeFace
  • Free Webcam Hand Tracking Software with VMC for VSeeFace - Web cam hand tracking
  • VRigUnity - Unity VRM Visualizer with Mediapipe Holistic integration
  • Tracking World - A tool to manipulate a model using VR
  • VRM Posing Desktop / VRMポージング・デスクトップ (Windows/Mac) - VRMファイルから3Dモデルに様々なポージングさせることができるツール。単体での高度な撮影機能の他、姿勢や表情の送信も対応。
  • VRM Posing Mobile / VRMポージング・モバイル (iOS) - VRMファイルから3Dモデルに様々なポージングさせることができるツール。単体での高度な撮影機能の他、姿勢や表情の送信も対応。
  • VRM Posing Mobile / VRMポージング・モバイル (Android) - VRMファイルから3Dモデルに様々なポージングさせることができるツール。単体での高度な撮影機能の他、姿勢や表情の送信も対応。
  • XR Animator - AIベース (MediaPipe) の全身モーション キャプチャ
  • LuppetX - WebカメラとLeapMotionだけで使える3DバーチャルYoutuber向けトラッキングシステム
  • iFacialMocap Powered by NVIDIA Broadcast - NVIDIA RTXシリーズGPUとNVIDIA ARSDKを用いて、Webカメラによる高度なフェイストラッキングを実現します
  • VMCProtocol Mixer / VMCProtocolミキサー - VMCProtocolで送信された表情やボーンその他の情報を任意に合成し、表示する。有料版では4K画像撮影機能や送信機能あり。【VRM0/VRM1両対応】
  • MCP2VMCP - mocopiのモーションをVMCProtocolで送信します。【VRM0/VRM1両対応】
  • Dollars MoCap - カメラベースのモーションキャプチャーソリューション
  • Rebocap - 慣性センサーベースのモーションキャプチャーシステム
  • DiMocap - カメラベースのモーションキャプチャー

Assistant(拡張情報送信, 表情・視線・一部ボーンなどのみ)アプリケーション / Faicial or other sender

  • waidayo/face2vmc - iPhoneを用いたフェイシャルキャプチャ(表情・視線情報)【VRM0/VRM1両対応】
  • QuestOSCTransformSender - Oculus Quest OSC transform sender for VirtualMotionCapture (トラッカー姿勢情報)
  • Simple Motion Tracker - Webカメラを使用した顏認識によるヘッドトラッキングやアイトラッキング(トラッカー姿勢情報・視線情報)
  • VMCOculus - Oculus版Beat SaberでVMCの頭が動かなくなる問題を解決するMOD(トラッカー姿勢情報)
  • Sknuckle - NOITOM Hi5 VR GLOVEでのハンドトラッキングを行う(手ボーン)
  • VMCProtocolRotationCamera - VMCProtocolでバーチャルモーションキャプチャーのカメラを回すだけのツール(カメラ制御)
  • Uni-studio - 全身フルトラッキングモーションシステム「Uni-motion」(トラッカー姿勢情報)
  • kaodayo - iFacialMocap通信仕様をVMCProtocolに変換し、表情情報を送信する
  • T.I.T.S(Twitch Integrated Throwing System) - Twitch統合物投げシステム
  • SVIFT - Suvi’s VTuber Integration For Twitch - Allows integration of Twitch to VRChat and VSeeFace through OSC and VMC-protocols
  • Uni-motion / Uni-studio - IMUトラッカーの情報を仮想トラッカー情報として送信
  • VRCFTtoVMCP - VRCFaceTracking からフェイストラッキングデータを受け取り、そのデータを PerfectSync の Blendshape に変換して VMCProtocol で送信する Windows アプリ
  • ContactGlove - 手袋型コントローラから、手首の姿勢情報や指情報、コントローラ情報を送信可能
  • StretchSense Studio Glove - 手袋型キャプチャデバイスから、手首の姿勢情報や指情報を送信可能

Coordinator(中間加工)アプリケーション / Relay Mix apps

  • VMCProtocolMultiplexer - VMCProtocolを分配するソフトウェア。複数の入出力を持ち、配送先を自由に設定することができる。 (非推奨。VMCProtocolReflectorを使ってください)
  • VMCProtocolReflector - VMCProtocolを再配信するソフトウェア。1入力多出力で、1つのモーションや表情データを、複数のVMCProtocol対応ソフトウェアに送信することができます。
  • Remote Marionette - WebRTC(SkyWay)を用いてVMCProtocolを遠隔地に中継するソフトウェア。
  • VMCProtocol Mixer / VMCProtocolミキサー - VMCProtocolで送信された表情やボーンその他の情報を任意に合成し、表示する。有料版では4K画像撮影機能や送信機能あり。【VRM0/VRM1両対応】
  • MultiTrackOSCSender - IMU方式のモーションキャプチャーで発生しがちな位置ズレを自動リセットするツール
  • VRMPlaybackClient - 音声付きあるいはなしでの、VMCProtocolモーションを記録・再生するソフトウェア

Marionette(モーション受信)アプリケーション / Receiver apps

ライブラリ/アドオン / Library and addon

  • EVMC4U - Unity向けモーション受信アセット(UniVRMと併用して使用する)【VRM0/VRM1両対応】
  • VMC4UE - Unreal Engine向けモーション受信プラグイン(VRM4Uと併用して使用する)
  • VRM4U - Unreal Engine 4で動作するVRMファイルのインポーター(単体で対応、必要に合わせてVMC4UEと使い分け) 接続手順【VRM0/VRM1両対応】
  • VMC4B Blender addon for VMCProtocol - Blender向けモーション受信アドオン
  • hVMCP - Haskell版VMCProtocol実装(GPL)

映像配信・収録ツール / Live stream apps

  • Virtual Streamer 360 - VR360°配信用のソフトウェア
  • だれでもVsinger - 生歌配信、もしくはMVを一発撮りするために作られたものです
  • Collaboll(コラボル) - VRMモデルとネットワーク通信で、複数人数でバーチャルキャラクター、所謂Vtuber動画を収録する事が出来るアプリです。
  • Oredayo4V - 主にWaidayo向けな高性能VMCProtocolビューア(Windows専用)
  • Oredayo4M - 主にWaidayo向けのクロスプラットフォームな高性能VMCProtocolビューア(Win, Mac, Linux対応)
  • VSeeFace - VSeeFace is a free, highly configurable face and hand tracking VRM avatar puppeteering program.
  • VtubeReflect - VtubeReflect captures your desktop and projects light onto your vtuber avatar.
  • VMCSaberTraining - きれいなセーバーを振り回せるツール
  • Horror Light - 暗い部屋でホラーゲームをやっているようなライティングに特化したアバター映像を出力するツール
  • VUP - VTuber & Animation & motion capture & 3D & Live2D
  • VRoom - Vtuber向け3D配信部屋アプリ
  • VTuber Plus - VTuber Plus is a highly customizable tool that allows Twitch viewers to interact with streamers!
  • VNyan - VNyan is a 3D VTuber Front end application for bringing your VTubing to the next level. ノードベースでプログラミング可能なVtuber向け統合演出環境
  • DAN SING - Music video tool using avatars, アバターを使ったミュージックビデオ撮影ツール
  • Animaze by FaceRig - Livestream, video chat, and record videos as incredible 2D and 3D avatars. (VMC Protocol only supports 3D avatars). 元祖バーチャルキャラクター撮影ツール(VMCProtocolは3Dのみ対応)
  • VMCProtocol Mixer / VMCProtocolミキサー - VMCProtocolで送信された表情やボーンその他の情報を任意に合成し、表示する。有料版では4K画像撮影機能や送信機能あり。【VRM0/VRM1両対応】
  • VMagicMirror - VRMをキーボードとマウスだけで動かせるWindows向けソフト
  • ケヤキスタジオ - アバター映像制作アプリ。モーションキャプチャから編集、シーンの作り込み、AR撮影など。Windows, iOS, Android対応
  • Talking Head Anime 3 with Switchable Images - 1枚絵を生成AIを使って動かせるようにするツール
  • AvaKit - カメラベースのモーションキャプチャー・配信ソフトだが、VMCProtocolも入力として利用可能
  • Warudo - 3D VTubingソフトウェア。フルボディトラッキングソースとしてVMCProtocolを利用可能
  • OBSKUR - ストリーマー向け統合配信環境ソフトウェア。3D VTuber機能のトラッキングソースとしてVMCProtocolを利用可能
  • VCamStream - 手元カメラ配信など3Dアバターと実写映像を構成する配信向けソフト【VRM0/VRM1両対応】
  • VRMFrontView - バーチャルモーションキャプチャーなどで収録している映像に合わせて、別視点の映像を収録するための補助表示ツール。単独撮影も可能。

映像支援ツール / Live stream helper apps

  • VMC-Websocket-OBS - VMCProtocolを用いてバーチャルモーションキャプチャーの状態を取得し、Websocketを用いてOBSを制御するソフトウェア
  • ゆかりねっとコネクター - 話した言葉を字幕にして、多言語翻訳まで出来る配信支援アプリです。(キャリブレーション開始コマンドの発行に対応。YNC独自拡張仕様により字幕表示もサポート)
  • VMCbroadcaster_v0.1 - バモキャの映像を見ながらカメラマンが頑張るソフト
  • vmc2bvh - バーチャルモーションキャプチャーからBVH (Biovision Hierarchy)モーションファイルを生成するツール
  • AmariMocapTools - VMCProtocolモーションデータからBVHモーションファイルを収録するツール

ゲーム / Games

開発者向けツール / For developver apps

  • VMCProtocolMonitor - MarionetteとしてVMCProtocolの受信内容を表示するソフトウェア。 ごく単純に受信内容をコンソールに流すモードと、VMCProtocolに基づいてブラウザに一覧表示するモードがあります。
  • VMCProtocolModelViewer - VMCProtocolの受信内容をVMC互換で表示するソフトウェア。バーチャルモーションキャプチャーとほぼ同等の表示を実現しようとします。
  • MotionReplay - This is a very simple debugging tool for VMC protocol applications
  • BlendShapeClip Viewer v1.00 - パーフェクトシンクの現象再現・修正支援ツール

その他 / Other

  • VMCPViewerVR - VMCProtocol経由で送られてきた姿勢を反映し、VRゴーグルで鑑賞するためのソフト
  • Roid1 URDF を VMCプロトコル で動かすもの - サーボロボットをモーションデータで制御
  • DesktopFullTrackingVMCP - デスクトップフルトラアプリ
  • SlimeVR - オープンソースのボディトラッカー
  • TMARelay - VMCProtocolの姿勢情報をVRChat OSCに変換して送信するソフトウェア
  • VBTTools - VRMモデルの姿勢をVirtual Motion Tracker(VMT)やOpenVR-OpenTrackに送信して、SteamVRに仮想HMD/コントローラとして認識させるツール

依存ライブラリ / Dependency

解説記事・関連記事 / Article

メディア記事 / Media

学術研究 / Academic research

本項目は見つけ次第掲載しているものです。本ページへの掲載・削除に関してはIssueよりお知らせください。