realvirtual.io AI Builder 概述
AI Builder 可以在 Unity Packages 目录的 realvirtual-AIBuilder 下找到。该目录包含几个关键组件和演示场景。以下是文件夹结构及其内容的概述。
Demo 文件夹包含演示如何使用 AI Builder 进行对象检测和自动化等任务的示例场景。这些场景展示了人工智能模型如何为虚拟调试进行训练、测试和部署。
source 文件夹包含用于设置 AI Builder 场景的 prefabs。请参阅相应部分了解其文档。
AI Builder 演示场景
此场景使用砖块分拣系统展示完整的人工智能工作流程。在演示中，四种不同类型的砖块被检测到，并由机器人手臂自动分拣到四个对应的箱子中。
该场景可用于：
- 数据生成：为人工智能模型训练生成合成的标注数据。
- 训练：准备人工智能模型以识别不同类型的砖块。
- 测试：在虚拟环境（Digital Twin）中验证模型的检测能力。
- 虚拟调试：结合训练好的人工智能模型测试真实的机器人控制系统，确保在真实条件下准确分拣。
CameraDeviceDemo 场景
CameraDeviceDemo 场景设计用于使用从 AI Builder 演示中训练出的 ONNX 模型进行真实世界的检测任务。在此场景中，您可以利用来自设备摄像头（如网络摄像头）的实时视频输入进行对象检测（推理）。此场景将 AI Builder 的功能从仿真环境扩展到真实的检测场景中。
文件夹
LabelConditions 文件夹包含训练过程中使用的标签定义和条件。这些标签代表人工智能模型需要识别的类别，例如演示中不同类型的对象或乐高砖块。
ONNX 文件夹包含 ONNX 模型，这些是预训练或可导出的人工智能模型，用于对象检测和识别。AI Builder 利用 ONNX 格式在 Unity 中运行人工智能推理，使系统能够根据视觉数据做出实时决策。
Variators 文件夹包含一组设计用于在训练过程中引入变化的脚本。这些变化有助于生成大量合成的人工智能训练数据，使人工智能模型更加鲁棒，更好地处理多样化数据的真实场景。
Demo 文件夹包含在 realvirtual.io AI Builder 中运行演示场景所需的所有资源和脚本。这些资源展示了 AI Builder 的核心功能，包括对象检测、分拣和 Unity 中的人工智能训练。