MR

hololens开发:混合现实辅助检修发动机

我司与汽车职业学校合作hololens混合现实开发汽车发动机辅助检修项目。

概述

该软件旨在通过学校自身的师资力量和教学场地及现有教学装备,构建现代职业教育体系,加快学校发展现代职业教育,培养适合本市经济发展需要的技术技能人才。通过MR(混合现实)技术为发动机检修专业提供一个虚拟仿真教学课程研究与开发、教学研究与实验实践的平台。

目标

  • 特色性:根据专业学习对口企业岗位的实际生产需要设计软件,来进行MR教学。
  • 实用性:通过虚实结合、强化训练提高教学效率。
  • 创新性:利用最新的MR技术手段,使学生耳目一新,积极主动的掌握知识点和技能。
  • 数据性:利用软件教学,方便采集教学数据,使教学结果有直观的体现,为教学分析和研究打下基础。

方案简析

  • 使用微软的MR头显HoloLens,将软件安装其中后使用。
  • MR教学场景,合并现实和虚拟世界而产生的新的可视化环境,产生的虚拟对象为全息图像,例如三维模型,窗口、菜单等。
  • 通过头部凝视虚拟对象和手势操作,来实现虚拟交互。例如点击按钮、拖动物体等。
  • 识别现实世界物体,进行相应功能开发,例如对学生实际操作的智能评分系统。
  • HoloLens直播,将在设备中看到和听到的虚实结合的场景投放到大屏幕,供所有学生观看,方便教学。
  • 将HoloLens教学的操作数据和部分视频通过服务器保存。
  • 后台管理系统,管理和查看师生和教学数据信息等。
  • 远程教学和指导,老师可在电脑上指导戴HoloLens的学生操作。

界面截图:

  • 远程指导

教师利用虚拟仿真画面、实时操作视频进行实时、随机、示范性动作

HoloLens开发,MR混合现实开发

  • 直播教学

以直播视频形式实施教学展示

HoloLens开发,MR混合现实开发

  • 混合现实教学

学生可以进行自助式操作,形成虚拟仿真与现实操作高度融合

HoloLens开发,MR混合现实开发

  • 完美叠加的视频教学画面

HoloLens开发,MR混合现实开发

实施方案

本方案为制作发动机气门的检修教学,以后制作发动机其它部分的检修可相应地添加到本软件中。

全息显示示例

  • UI:用于显示菜单、按钮、文本或图片信息;用于用户输入信息。
  • 三维模型和动画:模型用于展示零件或工具外观,动画用于展示零部件拆装和工作原理。

功能说明

  • 学生需登录后才可使用本软件进行教学,登录方式为在软件初始界面输入学号和密码。
  • 登录成功后,选择课次,课次由老师在后台编辑,由老师告诉学生应选择哪个课次,系统默认为最新课次。
  • 进入教学后,学生的学号、姓名、课次和教学名称始终显示在视野固定位置,比如左上角。本方案中教学名称只有“发动机气门的检修”。
  • 选择教学模式进行教学,教学模式分为学习模式、练习模式和评分模式。

学习模式:让学生了解零部件、工具使用和拆装过程。

练习模式:学生进行实物操作,有全息界面提示,学生可以随时查看当前该如何操作。

评分模式:学生进行实物操作,软件对学生操作进行一定程度的识别进行智能评分。

  • 直播HoloLens教学

老师可以通过电脑登录HoloLens管理平台(一个局域网的ip),直播HoloLens中的内容,其他学生可以在与电脑连接的显示设备上观看头戴HoloLens使用者的体验全过程。老师对一个学生指导,其他学生全部可以受益,提高教学效率。除了评分模式和远程指导的教学,都可以进行直播。

  • 远程指导教学

通过使用HoloLens上的skype软件,可以让老师在电脑上一对多远程指导,在skype软件上可以视频、语音、甚至作图指导。老师在电脑上作的图,会在戴HoloLens的学生眼前转化为全息图像。

  • 教学数据采集和保存

数据分为文本数据和视频数据,两者互为补充。

文本数据:记录软件操作日志。比如登录情况、选择的教学模式、教学模式使用情况等。

视频数据:直播HoloLens和远程指导的教学在电脑上可以看到视频,用录像软件录屏。评分模式如果需要录制视频,可以在HoloLens管理平台录制,但是每段录像只能录5分钟,所以用文本数据记录此教学过程。

文本数据,系统会自动记录并提交给服务器保存。

视频数据需要老师手动录制,将录制的视频文件通过后台管理界面上传到服务器保存。

  • 后台管理系统

师生数据和教学数据的管理平台。

教学模式内容

  • 学习模式

零部件和专用工具通过静态模型和UI展示,模型可以移动、旋转和缩放。

拆装过程通过三维动画和UI展示。

以下是展示内容

1.零部件:

  • 进排气凸轮轴

进排气凸轮轴

  • 气门挺柱

气门挺柱

  • 进排气门

进排气门

2.专用工具:

1)

2)

3)

3.拆装过程:

  • 凸轮轴的拆卸

凸轮轴的拆卸

  • 气门挺柱的拆卸

气门挺柱的拆卸

  • 气门的拆卸
  • 凸轮轴安装

凸轮轴安装

  • 气门挺柱的安装

气门挺柱的安装

  • 气门的安装

气门的安装

  • 练习模式

全息界面提示操作流程,辅助学生实际操作。

练习前进行拆装分步选择,与学习模式的拆装过程类似,分成6步。选择后,全息界面提示当前拆装的步骤提示。

例如进行“凸轮轴的拆卸”,界面上提示<拆下4个凸轮轴轴承盖螺栓。注意: 用一把塑料锤轻轻敲打以松开轴承架。>,可以点击上一步下一步按钮查看提示,点击下一步之后,提示<拆下第一凸轮轴轴承盖>,点击上一步,又回到之前的提示,以此类推。

另外还可随时点击动画按钮,查看动画演示。

  • 评分模式

老师在教学前,先在后台管理系统设置这次教学的内容(具体设置见后台管理系统介绍)。

学生进入评分模式后,系统会提示需要评分检测的内容,是否检测到内容会有标记提示。检测内容分为步骤检测和零件检测。另外,有“维修记录单”和“提交”按钮。“维修记录单”点击后出现记录单通过手势点击完成填写;“提交”点击后显示此次教学的评分。

1.步骤检测,系统会用实物识别检测是否完成此步骤,识别顺序按照步骤顺序(以下图片为检测实物)。

1)进、排气凸轮轴拆卸

2)全部气门挺柱的拆卸

3)对指定的一个汽缸的两组进、排气门进行拆卸

4)对指定的一个汽缸的两组进、排气门进行组装

5)全部气门挺柱的组装

6)进、排气凸轮轴组装

2.零件检测,系统会用实物识别一些拆卸过程中的关键零件,以辅助评分。

  • 进排气凸轮轴
  • 气门挺柱
  • 进排气门

3.维修记录单

  • 主要内容按照下图表格

维修记录单

  • 填写表格方式

合格/不合格:点击选择

处理部分:点击选择,选择项有“正常”和其他后台设置好的选项

数字部分:点击填写处,虚拟键盘填写。

  • 检测答案方式

根据后台设置好的正确答案核对。

4.提交

系统将此次评分数据(包括步骤检测、零件检测、维修记录单)上传到后台保存,并显示最终评分。

评分初步设定:

项目 小项 评分
步骤检测 进、排气凸轮轴拆卸 8
全部气门挺柱的拆卸 3
对指定的一个汽缸的两组进、排气门进行拆卸 14
对指定的一个汽缸的两组进、排气门进行组装 14
全部气门挺柱的组装 3
进、排气凸轮轴组装 8
零件检测 进排气凸轮轴 4
气门挺柱 3
进排气门 4
维修记录单 进排气门外观检查 4
进排气门长度测量 6
进排气门头部直径测量 6
进排气门锥面接触面宽度测量 6
汽缸盖上进排气门座接触面宽度测量 6
进排气门对气门座同心度检查 5
气门与气门座接触面的位置检查 6
总计 100

后台管理系统

  • 登录身份

登录身份分为管理员、老师、学生。

管理员:最高权限,可以查看和操作所有数据

老师:可以编辑和查看自己的数据以及查看所教学生的数据

学生:可以查看自己的数据

  • 后台内容

1.管理员

  • 编辑和查看老师信息数据

账号/工号

初始密码固定123456

姓名

所教班级

  • 编辑和查看学生信息数据

账号/学号

初始密码固定111111

姓名

班级

  • 编辑和查看班级信息数据

班级编号

班级名称

  • 编辑和查看教学内容信息数据

教学编号

教学名称

  • 编辑和查看教学数据

可根据班级、教学名称和教学老师筛选

课次:系统根据老师编辑课次内容自动生成

时间:上课的时间

班级

教学老师

学生操作记录:登录、选择的教学模式、评分模式数据(包含各项评分和总分)、老师评语

教学视频:老师上传的此课次的视频

2.老师

  • 修改自己的密码
  • 新建或修改课次内容

时间:上课的时间

教学名称

班级:使用此课次的班级

评分模式内容:选择一个已经设置好的内容,供评分模式教学使用。

  • 新建或修改评分模式内容

教学名称

评分模式数据:以“发动机气门的检修”为例,需设置“维修记录单”中各个数据的标准答案。

  • 上传教学视频文件

选择课次后上传

  • 查看教学数据

只可以查看自己的教学数据,数据内容同第1点管理员的第5小点。

可以给学生操作记录添加或修改评语。

3.学生

1)修改自己的密码

2)按照课次查看评分模式数据及老师评语

技术/项目方法

    • 建模、三维动画:3D Max
    • UI设计:Photoshop、Flash等
    • 前端程序:Unity3D
    • 后台程序:PHP+MySQL
    • 录屏工具:Apowersoft录屏王或其它同类软件
    • 实物识别:Vuforia AR SDK