一、总述
视频导航软件主要包括客户端和服务器两部分：客户端是远程端，运行在岸基医院；服务器端是本地端，运行于船上手术室。二者交互完成远程手术过程。在不需要远程手术指导的情况下，服务器端软件可以独立完成手术。
二者的大部分操作都可以通过工具栏实现，它们的初始界面如下：
图1服务器端界面（在手术室）
图2客户端界面（在岸基医院）
二者的工具栏几乎一致，重复的地方将省略。
二、操作流程
为满足不同手术的需求，服务器端可独立完成立体定向手术，也可以由客户端协助服务器端实施远程立体定向手术。下面分别介绍二者的手术操作流程。前者的操作流程如图3所示，后者的操作流程如图21所示。
图3服务器端单独操作流程
(一)服务器独立完成手术操作流程
当不需要远程客户端进行手术指导，按照服务器端的软件操作流程可以完成所有手术过程，操作流程如下：
1.启动，机器人初始化当打开视频导航服务器端之后，软件会自动打开相机，启动视频、视频导航和手术导航服务，连接机器人（图4所示）。如果启动视频失败，需要检查相机数据线是否连接正确；如果没有连接机器人，需要检查机器人是否打开以及电脑和机器人的网线连接是否正确。视频、手术导航和视频导航服务的启动一般不会出现问题。如果视频、手术导航或视频导航服务的启动出现问题，可以点击菜单栏“通信”下拉菜单下的“启动视频服务”、“启动规划软件服务”或“启动视频导航服务”的按钮（图5）就可以启动相应的服务。如果windows防火墙弹出阻止启动服务的窗口，选择“解除阻止”即可。
图4初始控制板显示的提示信息
图5各个通信服务的启动
成功连接机器人之后，需要将机器人的2、3关节转动到合适位置，如图6所示，然后选择控制板的“机器人”标签，点击“初始化按钮”（图7所示），此时软件会提示机器人2、3关节是否在制定位置，点击确定之后，机器人将完成初始化操作。初始化完毕之后会提示成功，否则弹出错误消息。
图6机器人初始化前的二三关节姿态
图7机器人初始化
2.标定机器人
本步操作是为了获取摄像机和机器人两个坐标系的关系，操作过程是，首先确定机器人周围没有其它障碍物，然后选择控制板的“机器人”标签页面，点击“自动标定”按钮（图8），机器人就开始标定。此过程大概持续20分钟（图9），标定完毕之后会弹出对话框，显示机器人标定的精度，如图10所示，这可以作为手术精度的参考。之后，机器人和摄像机的相对位置就不能发生变化了，否则后面的操作都将失效。
图8自动标定
图9机器人自动标定过程
图10机器人标定结果
3.虚实融合
单击工具栏中的“融合”按钮（图11所示），如果机器人不在零位，会提示将机器人归零，确认机器人周围没有障碍物之后，点击“是”，机器人将回到零位。然后，再次点击“融合”按钮，如果融合成功，会弹出提示，并且视频中将出现虚拟机器人的影像，如图12所示；如果融合失败，会弹出提示，指示失败的原因，一般情况下视频融合失败的原因是没有找到融合Marker（图11所示），此时需要确保摄像头下的融合marker没有被遮挡。
图11工具栏“融合”按钮
图12机器人虚实融合成功
4.机器人复位
虚实融合成功之后，下一步执行复位操作，单击工具栏的“复位”按钮（图13所示），将弹出对话框，提示（图14所示），确认机器人周围没有障碍物之后，点击“是”，执行复位指令。复位之后机器人回到避让位置。
图13工具栏“融合”按钮
图14岸基医院的复位指令
5.将病人放到病床上
机器人复位之后，需要将机器人放大病床上，此时要保证病人头部的四个标记点都可以被摄像头检测到（图15所示）
图15病人头部的位置（示意图）
6.选择左右眼视频中的Mark点机器人复位结束并且病人已经到达病床之后，可以选择病人头部的Mark点，单击工具栏的选择Mark按钮，将鼠标移动到Mark点上，单击即可选择上。需要注意的是，左眼和右眼视频中的mark点选择顺序要一致，同时也要和CT图中Mark点的选择顺序一致。具体细节操作如下：
左右路视频的切换方法：双击当前视频，即可实现单双路视频的切换。
放大视频的方法：在视频中滚动鼠标的滚轮，可以放大视频。
Mark的选择：移动鼠标，中心对准Mark点，然后右键点击即可（图16所示）。
图16Mark点选择过程
7.等待接受CTMark点坐标和手术路径
下一步就是等待接受CT图像中Mark点坐标和手术路径了，当收到CTMark点坐标之后，信息板中会提示受到了Mark点坐标。当视频中的Mark点和CT图像中的Mark点都选择完毕后，会弹出对话框，显示机器人和CT图像坐标系的转换误差（图17所示），这可以作为手术精度的参考。
图17CT图像和视频图像的Mark点选择结束后的误差提示
8.预览位姿
预览位姿操作用于预览机器人手术时的姿态，只要连续点击预览位姿即可。一般同样的穿刺针姿态下，机器人会存在不止一个反解位姿，此时医生可以根据实际情况，选择最佳的手术位姿，如图18所示
a b
图18预览位姿（a：第一位姿b：第二位姿）
9.虚拟手术当确定机器人的最佳手术姿态之后，可以点击虚拟手术令虚拟的机器人模拟真实手术时机器人运动，确保机器人运动过程安全可靠。图19所示是虚拟手术的中间的几个截图。
图19虚拟手术
10.真实手术
当确定手术可行之后，医生可以点击工具栏的“真实手术”按钮，控制真实机器人运动。机器人运动最终结果如图20所示。
图20真实手术结束
11.机器人复位当手术结束之后，医生就可以控制机器人回到初始位置，本部操作过程和第4步相同。
(二)远程手术客户端操作流程
1.连接视频和数据
点击客户端控制板中的“通信”标签，再点击“连接视频”按钮，会弹出如图22所示的对话框，将IP地址设为服务器，也就是手术室的电脑IP地址，端口号确认是9000，然后选择确认。30秒之内，如果获取视频成功会弹出图23a所示的对话框；如果获取视频失败，则弹出图24a所示对话框，此时可以点“是”重新获取，或者点“否”，检查IP地址和端口号是否正确后在再连接。连接数据的操作过程类似，不同的是端口号变为9001。
图21视频导航软件操作流程
图23b和图24b分别是连接数据成功和失败弹出的提示。
图22客户端连接视频对话框图23连接视频和数据成功
图24连接视频和数据失败
2.等待机器人标定结束
由于机器人标定时间较长，标定结束之前不能进行其他操作，所以需要客户端等待机器人标定结束。标定过程客户端显示如图25所示，标定结束之后会显示机器人标定误差，也就是双目相机和机器人坐标系的转换误差，如图26所示，医生可以据此判断手术的精度。
图25等待机器人标定结束
图26机器人标定结束，显示误差
3.虚实融合
机器人标定结束之后，下一步操作就是机器人的虚实融合，点击工具栏的“融合”按钮，如图27所示。如果当前机器人不在零位，会弹出提示，告诉用户等待机器人归零之后，再融合，如图28a所示，点确定即可。机器人回到零位之后，再次点击“融合”按钮，会弹框提示融合成功，如图28b所示，此外视频中会显示出虚拟的机器人和真实的机器人叠加在一起，如图29所示。这时可以点击工具栏的切换按钮，选择虚拟模型的显示方式，如图30所示。
图27虚实融合按钮
ab
图28虚实融合提示
图29虚实融合结果
图30虚实融合的显示方式
4.机器人复位
为了让机器人回到避让位置，需要点击工具栏的复位指令（图30所示），如果机器人开始运动，会弹出对话框提示，否则弹出其它提示。
5.选择病人头部的Mark
机器人复位结束并且病人已经到达病床之后，可以选择病人头部的Mark点，单击工具栏的选择Mark按钮，将鼠标移动到Mark点上，单击即可选择上。需要注意的是，左眼和右眼视频中的mark点选择顺序要一致，同时也要和CT图中Mark点的选择顺序一致。具体细节操作如下：
左右路的切换方法：单击控制板中的通信标签内（图31所示），单击左右路可以显示左右单路或双路视频；单路视频时，可以点击“放大”\“缩小”按钮可以改变视频的大小；在视频上双击也可以实现视频的放大缩小。
图31视频类型的选择
放大视频的方法：在视频中滚动鼠标的滚轮，可以放大视频。
Mark的选择：移动鼠标，中心对准Mark点，然后左键点击即可（图32所示）。
图32Mark点选择过程
6.等待接受目标手术针位姿
Mark点选择完毕之后，下一步就是等待手术规划软件的数据，以计算机器人手术位姿。当工具栏的“预览位姿”按钮由灰色（图30所示）变为黑色（图33所示）时，可以进行下一步操作。
图33“预览位姿”按钮可用
7.预览位姿
预览位姿操作用于预览机器人手术时的姿态，只要连续点击预览位姿即可。一般同样的穿刺针姿态下，机器人会存在不止一个反解位姿，此时医生可以根据实际情况，选择最佳的手术位姿，如图34所示
ab
图34预览位姿（a：第一位姿b：第二位姿）
8.虚拟手术当确定机器人的最佳手术姿态之后，可以点击虚拟手术令虚拟的机器人模拟真实手术时机器人运动，确保机器人运动过程安全可靠。图35所示是虚拟手术的中间的几个截图。虚拟手术时同步操作，当手术时和岸基医院都完成虚拟手术时，会弹出对话框，提示虚拟手术结束；否则会提示等待超时。
图35虚拟手术
9.真实手术当
确定手术可行之后，医生可以点击工具栏的“真实手术”按钮，控制真实机器人运动。机器人运动最终结果如图36所示。
图36真实手术结束
10.机器人复位
当手术结束之后，医生就可以控制机器人回到初始位置，本部操作过程和第4步相同。
(三)远程手术服务器端操作流程
1.启动软件，机器人初始化，等待连接连接
机器人和机器人的初始化操作与通信中断时操作一致，不再详述。
机器人初始化之后，需要切换到“信息”标签，等待客户端和手术规划软件连接，当信息板显示“岸基医院获得视频”和“岸基医院已连接”时，说明视频导航客户端连接成功，可进行下一步操作。
2.标定机器人
本步操作是与通信中断时标定机器人操作一致，不再详述。
3.执行机器人归零指令
此时，需要控制板切换到“信息”标签页，确认岸基医院正确连接，然后开始等待岸基医院的指令。当接收到岸基医院的归零指令后（图37），首先查看机器人附近有没有障碍物，然后点击确认按钮，机器人将回到零位。机器人归零之后，当接收到岸基医院的融合指令后，如果融合成功，视图中会显示机器人的虚拟模型，如图12所示。
图37来自岸基医院的归零指令
4.执行机器人复位指令
虚实融合成功之后，下一步将受到岸基医院的复位指令，图38所示。确认机器人周围没有障碍物之后，点击“是”，执行复位指令。
图38岸基医院的复位指令
5.将病人放到病床上
本步操作是与通信中断时将病人放到病床上操作一致，不再详述。
6.等待接受CTMark点坐标和手术路径
下一步就是等待接受CT图像中Mark点坐标和手术路径了，当收到CTMark点坐标之后，信息板中会提示受到了Mark点坐标。当视频中的Mark点和CT图像中的Mark点都选择完毕后，会弹出对话框，显示机器人和CT图像坐标系的转换误差（图39所示），这可以作为手术精度的参考。
图39CT图像和视频图像的Mark点选择结束后的误差提示
当接受到规划手术路径之后，控制面板的“信息”标签会显示“计算得到靶点坐标”。之后，岸基医院的预览和虚拟手术操作会同步显示在视频中，手术室的人员只需观察即可。7.执行真实手术指令
当收到客户端的真实手术指令时，手术室人员需要首先观察当前虚拟机器人的位姿是否合适，并确保机器人周围没有障碍物，然后点击确定，执行指令，真实机器人将运动到虚拟机器人位置。此过程中，工作人员需要所示看急停按按钮，防止意外发生。真实手术结束之后场景模拟如图40所示。
图40真实手术结束
8.执行复位指令
当接受到岸基医院的复位指令之后，需要确保手术已经结束且机器人周围没有障碍物，然后点击确定指定机器人复位指令。
三、注意事项
(一)岸基医院操作客户端注意事项
1.视频和CT图像中的Mark点选择完毕之后，会显示CT图像坐标系和双目相机坐标系的转换误差，如果最大误差超过3mm，则应该考虑手术是否可行。
2.机器人标定完毕之后，会显示机器人坐标系和双目相机坐标系的转换误差，如果最大误差超过3mm，则应该考虑手术是否可行。
(二)船上手术室操作服务器端注意事项
1.第2、3步机器人运动控制操作过程中一定确保机器人运动范围内不存在障碍物，否则会损害机器人。
2.机器人标定完毕之后，会显示机器人坐标系和双目相机坐标系的转换误差，如果最大误差超过3mm，则应该考虑手术是否可行，不可行需要重新标定。
3.视频和CT图像中的Mark点选择完毕之后，会显示CT图像坐标系和双目相机坐标系的转换误差，如果最大误差超过3mm，则应该考虑手术是否可行。
4.手术过程中，服务器端不应再进行任何机器人的运动控制操作。
5.将病人放到病床上之后，执行机器人运动控制操作时，一定要确保机器人不会对病人造成伤害。
北航资源企业