VR Jester API - распознавание жестов в VR для Майнкрафт

VR Jester API - это мод для Майнкрафт, который решает главную проблему VR-версий игры: управление. Если вы играете в Vivecraft или QuestCraft, то знаете, как неудобно маппить кнопки контроллеров на клавиатурные хоткеи. Этот API позволяет забыть про клавиатуру - теперь ваше тело и есть контроллер.

Скачать VR Jester API стоит как разработчикам модов, так и обычным игрокам, которые хотят кастомизировать свой VR-опыт. Мод работает на Fabric, Forge, NeoForge и Quilt, поддерживает Minecraft 1.16.5, 1.18.2, 1.19.2-1.19.4, 1.20.1-1.20.2 и актуальную 1.21.1.

Что делает этот мод

VR Jester API добавляет в игру систему распознавания жестов. Вы можете создать любой жест - взмах рукой, удар, блок, движение головой - и привязать его к любой клавише или событию из другого мода. Например, удар правой рукой вперёд может активировать способность из magic-мода, а поднятие обеих рук вверх - открыть инвентарь.

По факту это библиотека, но с готовым функционалом для игроков. Мод сам по себе распознаёт жесты, а разработчики других модов могут подписаться на события и использовать их в своём коде. На Modrinth у проекта около 18,4 тысяч загрузок - не самый популярный мод, но в своей нише VR-геймплея это must-have.

Установка и настройка

Установка стандартная для модов:

1. Поставьте зависимости. Для QuestCraft дополнительно нужен мод Questbind - без него привязка кнопок на Quest не заработает.
2. Скачайте VR Jester API и закиньте в папку mods.
3. Запустите игру - конфиги сгенерируются автоматически.

Дальше нужно назначить кнопку-триггер для активации распознавания жестов. В Vivecraft это делается через меню привязок Steam VR, в QuestCraft - через QuestBind. Рекомендую повесить на grip-кнопку контроллера - её удобно зажимать во время выполнения жеста.

Как создавать жесты

Есть два способа:

• Через команду /gesture прямо в игре
• Редактируя файл config/gesture_store.json вручную

Жесты хранятся в JSON-формате. Вот пример простого жеста:

"GESTURE 1": {
   "RIGHT_CONTROLLER|LEFT_CONTROLLER": [
     {
       "vrDevice": "RIGHT_CONTROLLER|LEFT_CONTROLLER",
       "movement": "forward",
       "elapsedTime": 0,
       "speed": 0.0,
       "direction": {
         "x": 0.0,
         "y": 0.0,
         "z": 0.0
       },
       "devicesInProximity": {}
     }
   ]
 }

Каждый объект в квадратных скобках - это компонент жеста (GestureComponent). Можно добавлять несколько таких компонентов, создавая сложные комбинации. Но учтите: чем сложнее жест, тем труднее его точно воспроизвести в игре.

Параметры жестов

• movement - направление движения: forward, back, left, right, up, down. Направление считается относительно того, куда вы смотрите в момент нажатия триггера. Удар вперёд в направлении взгляда = "forward".
• vrDevice - устройство: RIGHT_CONTROLLER, LEFT_CONTROLLER, HEAD_MOUNTED_DISPLAY. Можно комбинировать через |, например RIGHT_CONTROLLER|LEFT_CONTROLLER - жест сработает на любом из контроллеров.
• elapsedTime - длительность в миллисекундах. Значение 2000 = 2 секунды. Полезно для жестов с замахом или зарядкой.
• speed - скорость движения (float). Для распознавания удара нормальный порог - 1500.0-2000.0. Экспериментируйте.
• direction - 3D-вектор направления {x, y, z}. Например {0.0, 1.0, 0.0} распознаёт, когда рука смотрит вверх. Есть допуск, не обязательно идеально точно.
• devicesInProximity - близость устройств. Пример:

"devicesInProximity": {
    "LEFT_CONTROLLER": 20
}

Это значит, что устройство из vrDevice должно находиться рядом с левым контроллером 20 тиков.

Привязка жестов к клавишам

После создания жестов их нужно замаппить на клавиши в файле config/VRJesterAPI.cfg. Используйте поле "GESTURE_KEY_MAPPINGS":

"GESTURE_KEY_MAPPINGS": {
   "GESTURE 1": {
      "KEY_MAPPING": "examplemod.key.ability_1",
      "KEY_ACTION": "click"
   },
   "GESTURE 2": {
      "KEY_MAPPING": "key.hotbar.2,key.sneak",
      "KEY_ACTION": "hold"
   },
   "GESTURE 3": {
      "KEY_MAPPING": "key.keyboard.j",
      "KEY_ACTION": "click"
   }
}

Названия клавиш берите из .minecraft/options.txt. Строка KeyMapping находится между key_ и двоеточием. Например, в key_key.inventory:18 название - key.inventory.

Поле "KEY_ACTION" определяет тип нажатия:

• click - одиночное нажатие
• hold - удержание (срабатывает, если держать позу после распознавания жеста)

Для разработчиков модов

Если вы делаете мод и хотите добавить VR-поддержку, VR Jester API предоставляет события для обоих загрузчиков.

Forge:

@SubscribeEvent
public void onGestureEvent(GestureEvent event) {
    // ваш код обработки -> event.getGestureName()
}

Fabric:

public static void init() {
    GestureEventCallback.EVENT.register((gestureEvent) -> {
        // ваш код обработки -> gestureEvent.getGestureName()
    });
}

Подписывайтесь на событие и реагируйте на распознанные жесты в своём моде. Это открывает кучу возможностей: заклинания взмахом руки, активация способностей жестами, физические взаимодействия с миром.

Важные нюансы

Мод клиентский, но для серверной игры в VR всё равно нужен. Учтите, что распознавание жестов - штука капризная. Если жест слишком сложный или быстрый, система может его не поймать. Начинайте с простых движений и постепенно усложняйте.

Проект развивается медленно. Автор честно предупреждает, что давно не обновлял мод (последний апдейт описания - март 2025), но планирует вернуться. В планах - непрерывное распознавание жестов, больше настроек и оптимизация. Карточка на Modrinth обновлялась в августе 2026, так что проект не заброшен окончательно.

Зачем это нужно

Ванильный Vivecraft и QuestCraft дают базовое VR-управление, но моды почти всегда заточены под клавиатуру. VR Jester API решает этот конфликт. Вы можете играть в техномагические сборки, активировать способности из Ars Nouveau или Botania взмахом руки, использовать жесты для быстрого доступа к хотбару - всё без эмуляции клавиш.

Если вы собираете VR-сборку для Minecraft или просто хотите более глубокого погружения в игру с модами - скачать VR Jester API однозначно стоит. Это пока единственное нормальное решение для распознавания жестов в Майнкрафт VR.