10月18日 Augmented Physics：增强现实你的物理课本 让你的物理课本上的图表动起来

Augmented Physics 是一个结合机器学习的创作工具，旨在将传统物理教材中的静态图表转换为互动物理仿真。通过利用先进的计算机视觉技术，如Segment Anything和多模态大语言模型（LLM），它允许用户从教材中半自动地提取图表，并生成交互式仿真，使得学生能够通过交互的方式更好地理解物理概念。

也就是它能让**普通物理教材中的静态图片变得可以互动的工具。**它能把书本上的静态图表变成可以操作和体验的互动模拟。通过使用这个工具，学生可以亲自动手“玩”这些图表，像是在做实验一样，帮助他们更好地理解物理概念。

主要功能：

Augmented Physics 可以将静态图表（如光学、运动学、摆、电路等）变成可以操作的动态模拟实验。比如，你可以调整镜片位置，看看光线如何变化。

1. 增强实验（Augmented Experiments）

• 概念：增强实验策略允许用户将物理教材中的静态图表转化为可交互的实验模拟。通过改变图表中的物体位置、调整参数，用户可以实时看到实验结果的变化。
• 功能特点：
  • 用户可以拖动、调整图表中的元素（如镜片、物体位置等），观察实时反馈。
  • 支持物理学中的多种现象，例如光学中的光线折射、碰撞实验中的质量和速度变化等。
• 优势：这种增强方式使学习者能够在无需编写代码的情况下，通过互动实验增强对物理概念的理解。尤其是复杂的物理现象，如光学、动力学，可以通过直观的互动方式加深理解。

2. 动画图表（Animated Diagrams）

• 概念：通过将静态的物理图表转换为循环动画，系统能够演示图表中的物理现象如何随时间变化。
• 功能特点：
  • 用户可以为图表中的物体指定运动路径，生成动态动画。例如，演示光线反射、物体沿着轨迹移动等。
  • 动画重复展示物理现象的动态过程，帮助学习者更好地理解变化过程。
• 优势：这种方法特别适合时间依赖的物理现象（如波动、电磁现象、行星运动等），将静态的教材图表动态化，让学生更直观地看到系统随时间的演变。

3. 数据联动（Bi-Directional Binding）

• 概念：双向绑定策略允许用户通过调整图表中的物理参数来实时观察其对物理现象的影响，反之亦然，用户也可以通过改变物理现象反推参数的变化。
• 功能特点：
  • 例如，用户可以通过改变图表中物体的位置或其他参数（如速度、质量等）观察能量图表的变化，也可以通过修改图表中的数值来动态调整物理系统。
  • 双向绑定可以实现数据与图表的交互式结合，帮助学习者更加直观地理解不同物理量之间的相互作用。
• 优势：这种策略增强了用户对物理现象中的双向依赖关系的理解，特别适用于能量转换、运动方程等涉及多个物理参数的概念。

4. 参数可视化（Parameter Visualization）

• 概念：在教材中的一些物理图表通常没有附加的可视化数据，而通过参数可视化策略，用户可以在图表中动态生成相关物理量的图表。
• 功能特点：
  • 用户可以选择物理参数（如速度、加速度、电压等），系统将生成相应的图表，展示这些参数随时间的变化。
  • 例如，在摆动模拟中，用户可以看到角度随时间变化的图表；在电路模拟中，用户可以观察电压或电流的变化情况。
• 优势：这种可视化策略使用户可以从数据的角度理解物理现象，尤其是在电路分析、力学系统中，可以提供更直观的定量分析支持。

5. 操作简便支持多设备

• 简便的操作流程：用户可以通过简单的操作步骤导入教材页面、选择模拟类型、分割图像、运行模拟并与模拟结果交互，整个过程通过网页端实现。
• 支持多设备使用：该系统支持桌面设备和移动设备，用户可以通过电脑上传PDF页面，或通过智能手机拍摄教材页面上传。

Augmented Physics 技术方法详解

• 📷 计算机视觉技术
  • Segment Anything：该技术用于图表中的对象分割。通过它，系统可以自动识别并提取物理图表中的重要部分（如物体、镜片、电路元件等），为后续的仿真做准备。
  • 图像处理（OpenCV）：通过OpenCV，系统可以识别图表中的线条、轮廓等，用来处理图像中的路径、角度或运动轨迹。
  • 轮廓检测和路径提取：对于一些动态模拟（如光线的传播路径或物体运动），系统会通过检测图像中的路径或边界，将其转换为可操作的路径，从而生成动画效果。
• 🤖 多模态大语言模型（LLM）
  • 系统利用大语言模型（如GPT）来理解图表中的文字描述，自动判断应该生成什么样的物理仿真。例如，从电路图中识别出电阻、电容、导线等，并生成一个完整的电路仿真。这让用户不用手动输入复杂的物理参数，系统就能理解图表并生成适当的模拟。
• 🛠️ 物理引擎集成
  • Matter.js：这是一个用于模拟物理行为的引擎，帮助系统将图表中的物体转化为可交互的实体。例如，在模拟重力时，系统会让一个小球在斜坡上滚动，并根据物理定律来展示真实的运动轨迹。
  • 自定义光学模拟：处理光线经过镜片的反射、折射等现象。例如，用户可以在模拟中调整镜片的位置，观察光线路径和成像的变化。
• 🔄 交互式模拟生成
  • 自动化图像分割和赋能：系统会自动识别并分割图表中的物体，用户可以给这些物体赋予不同的属性，比如一个物体的质量、速度或弹性。这样，用户可以通过修改这些属性来观察不同的物理现象。
  • 参数调整与双向绑定：用户可以在模拟中调整物理参数（比如电阻值或物体的速度），并实时看到仿真结果变化。反过来，用户也可以通过调整图表中的数值，直接看到相应的物理现象变化。
• 🎞️ 动态可视化与动画
  • 系统支持将静态图表中的物体转化为动态的动画。例如，用户可以创建一个展示光线反射的动画，或者展示行星围绕太阳的轨道运动，这让复杂的物理现象更加直观易懂。
• 🔌 电路模拟
  • 系统通过机器学习模型（如Gemini Multimodal Vision Model）自动识别电路图中的元件，比如电阻、电容和电池等，然后根据电路理论生成一个完整的电路仿真。用户可以看到电流如何流动，电压如何变化，并通过调整元件的参数实时观察这些变化。
• 🌐 基于Web的实现
  • React.js：系统使用React.js构建用户界面，用户只需通过网页就可以上传教材页面、选择要进行的模拟类型，并通过简单的拖动和调整完成所有操作。
  • Firebase：用于前后端之间的实时通信，确保用户在修改模拟或上传图表时，能迅速得到反馈结果。

技术流程详解

1. 导入图表 📥
   • 用户首先将物理教材的页面上传到系统中，这可以是PDF文件或者从手机拍摄的图片。系统支持桌面端和移动端设备，方便用户操作。
2. 选择模拟类型 🎯
   • 系统会根据上传的图表自动推荐一个模拟类型（如运动学、光学、电路等）。用户也可以手动选择合适的模拟类型。主要支持三类仿真：运动学（重力、牛顿运动等）、光学（光线折射、镜像成像等）、电路（电流、电压等）。
3. 图像分割 ✂️
   • 用户可以在图表中选择需要模拟的部分，比如镜片、物体或电路元件。系统会利用Segment Anything技术自动分割出这些物体，并识别它们在图表中的位置。
   • 对于动画类型的模拟，用户可以通过点击图表中的路径（如光线的折射路径）来指定路径的开始和结束点，系统会自动提取出这条路径。
4. 对象赋予角色 🎭
   • 用户需要为分割出的图表元素分配相应的物理属性。比如在光学模拟中，用户可以指定镜片为“透镜”，物体为“成像物”，光线为“光线路径”。在运动学模拟中，物体可以被赋予“动态对象”（受力运动）或“静态对象”（固定不动）。
   • 在电路模拟中，系统会自动识别电路元件，并根据电路理论连接这些元件。
5. 生成并运行仿真 🚀
   • 当所有元素都被分配完角色后，系统会自动生成相应的物理仿真。例如，系统会将物体转化为2D多边形，并为这些物体赋予物理属性（如质量、速度等），并开始模拟这些物体在图表中的运动。
   • 用户可以通过拖动图表中的元素来观察物理现象的变化，比如光线的折射、物体的运动轨迹或电流的流动情况。
6. 调整参数并互动 🔧
   • 用户可以在仿真过程中调整图表中的参数，比如电路中的电阻值，或物体的质量、位置等。系统会实时计算并展示仿真结果的变化。
   • 通过双向绑定功能，用户可以直接在图表中修改参数，比如调整文本中的数值，系统会自动更新并反映在模拟结果中。
7. 动画与可视化 🎞️
   • 系统允许用户为分割出的对象设置运动路径，生成动画效果。例如，在光学模拟中，用户可以让光线按照设定的路径传播，展示光线折射或反射的过程。
   • 对于一些需要数据展示的物理现象，系统会生成相应的图表（如随时间变化的摆动角度），帮助用户可视化这些变化。

实验结果

实验目的：
通过技术评估、用户研究和专家访谈来验证Augmented Physics系统的有效性，评估其在物理教学中应用的潜力。

1. 技术评估结果 🔧

对系统的技术功能进行了测试，包括图像分割、对象识别、物理仿真等方面。评估了不同类型的物理图表（如运动学、光学、电路）的模拟效果。测试了从6本物理教材中随机选取的200个图表。

评估的主要方面和结果如下：

• 运动学模拟：
  • 物体分割成功率：86%
    系统能够准确识别并分割运动物体，如斜坡上的小球或自由落体中的物体。
  • 多边形生成成功率：72%
    将图表中的物体转换为多边形进行仿真，成功率较高。
  • 多边形定位成功率：70%
    生成的多边形物体能够正确放置在图表中的对应位置。
  • 完整仿真成功率：64%
    对于完整运动学仿真，系统表现相对稳定，但复杂场景下仍有提升空间。
• 动画图表：
  • 物体分割成功率：86%
    动画涉及的对象能较好地被系统识别，如光线、物体的路径等。
  • 路径分割成功率：70%
    系统能准确提取动画中需要的运动路径或物体变化路径。
  • 动画生成成功率：66%
    系统能够成功生成符合物理规律的动画效果，但复杂场景可能需要调整。
• 光学模拟：
  • 物体分割成功率：86%
    系统能较好识别光学元件，如透镜和镜子。
  • 光学仿真成功率：44%
    对于多透镜系统或棱镜，仿真成功率较低，需要进一步改进。
• 电路模拟：
  • 线条检测成功率：45%
    电路中的导线和连接线在复杂电路图中容易出错，导致线条检测成功率偏低。
  • 电路元件识别成功率：72%
    电阻、电容、导线等基本元件能较为准确识别。
  • 电路仿真成功率：40%
    电路仿真需要精确的连接，复杂电路中仿真成功率较低，但经过调整后仿真成功率提高到62%。

技术评估总结：

• 运动学和动画模拟的表现相对成熟，分割和路径提取较为准确，能够有效生成物理仿真。
• 光学和电路模拟仍存在一定的技术挑战，特别是多元件复杂场景下的仿真精度和成功率有待提高。

2. 用户研究结果 🧪

进行了一项可用性研究（N=12），参与者通过系统完成四个实验，探索不同的功能模块（增强实验、动画图表、参数可视化、双向绑定）。参与者的反馈结果如下：

• 系统可用性评分（SUS）：92.73（满分100），标准差：9.84
• 用户最喜欢的功能：
  • 参数可视化：6.8/7
  • 双向绑定：6.7/7
  • 动画图表：6.2/7
  • 增强实验：6.0/7

反馈摘要：

• 参与者认为系统非常直观，特别是通过调整参数进行实验的功能使得物理概念更加容易理解。
• 有些参与者表示系统可以帮助他们更好地掌握难以直观理解的抽象概念，尤其是在电路和光学领域。

3. 专家访谈结果 👨‍🏫

与12名物理教师进行了半结构化访谈，这些教师的教学经验从1到5年不等，主要在高中和大学任教。专家的反馈集中在以下几点：

• 补充现有资源：
  大部分教师认为Augmented Physics可以作为课堂教学视频和现有在线模拟器的补充，尤其是在个性化学习材料的制作上，这能更好地满足课堂特定需求。
• 替代实验室实验：
  系统被认为可以弥补实验室实验的不足，特别是当实验设备不足或难以安排时，模拟实验能为学生提供更多的动手机会。不过，教师也强调了实际实验的“动手体验”仍然不可替代，模拟仅作为补充工具。
• 提高学生自主学习的积极性：
  许多教师指出，通过系统学生可以独立进行实验并验证自己的猜想，这激发了他们的学习兴趣和探索欲望，特别是在实验室条件有限的情况下。
• 验证仿真精度的重要性：
  部分教师表示，使用该系统前需要先验证仿真结果的准确性，确保不会给学生传递错误的物理概念。

总结

Augmented Physics 通过技术评估、用户体验研究和专家反馈，证明了它在物理教育中的有效性和潜力。

• 技术上，运动学和动画模拟的效果较为成熟，光学和电路模拟有待进一步完善。
• 用户体验方面，学生们对系统的互动性和可视化效果非常满意，尤其是在参数调整和双向绑定功能上表现突出。
• 专家认为该系统在个性化学习材料制作和补充课堂教学上具有显著优势，并且有助于提高学生的学习兴趣和自主探索能力。

论文： https://arxiv.org/abs/2405.18614