中科院苏州医工所提出全自动手术器械视觉追踪方案

微创手术是外科发展的必然趋势和追求目标。腹腔镜手术是微创手术的代表，因创伤小、患者恢复快、术后并发症少等显著优势得到广泛临床应用，几乎涵盖普外科所有手术，成为诸多良性疾病和功能性疾病手术治疗的“金标准”，全球每年开展数量超过750万例。除主刀医生，腹腔镜手术中还必须配置一位持镜手为主刀医生提供相应的照明和的视觉反馈。长时间的手术使得持镜手容易出现疲劳、手部震颤、注意力分散等现象，影响手术效率。

机器人具有定位精度高、响应速度快、运动平稳性强等优势，且不受情绪及疲劳等因素影响，为腹腔镜手术中持镜手所面临的问题提供一种有效的解决方案。基于腔镜图像的主动式引导是持镜机器人的交互模式趋势，其核心为手术器械视觉追踪，现有方法大多借助人工标记进行手术器械追踪，但这种方法对于通用手术器械并不适用，且需临床增加额外杀毒灭菌流程，应用范围有限，因此无标记手术器械视觉追踪更具临床普适性。术中腹腔环境复杂多变，腹腔镜视野中无标记手术器械精准定位难度较大，且追踪速度无法满足主刀医生对持镜机器人的实时性要求，极大制约了持镜机器人在临床中的推广与应用。

近日，中国科学院苏州生物医学工程技术研究所高欣团队提出一种融合区域分割思想与目标搜索策略的轻量型目标提取神经网络架构，构建一种全自动无标记手术器械视觉追踪方法。该研究基于LinkNet网络构筑多实例分割模型，快速提取腹腔镜视野中手术器械不同部件区域，利用手术器械结构特点，以手术器械关节为追踪靶点，结合腹腔镜视野中手术器械运动特性，引入视觉追踪过程上下文信息，实现手术器械的精准跟踪。

轻量型目标提取神经网络架构

研究结果显示，所提方法在公开的腹腔镜手术视频数据集m2cai16-tool(累计时长9小时56分钟，共计89.4万帧)上取得100%的追踪精度、15帧/秒的追踪速度、低至6像素以下的定位误差，相比于现有方法追踪速度提升50%、定位误差降低30%，实现了高精度无标记手术器械快速视觉追踪。该研究为持镜机器人视觉追踪模块提供了一种新研发思路。

腹腔镜手术视频中无标记手术器械视觉追踪结果。红色曲线表示手术器械实际运动轨迹，绿色曲线表示手术器械视觉追踪轨迹。a：腹腔镜手术视频中抓钳的视觉追踪结果，b：腹腔镜手术视频中电钩的视觉追踪结果。