本篇主要介绍荧光内窥镜的定义，原理及组成，简要介绍了荧光内窥镜中荧光分子探针的结构与性能，重点介绍了内窥镜光学系统中摄像系统、冷光源、数据处理系统的组成以及参数要求。
传统白光成像缺乏疾病特异性的光学特征，无法定位和可视化癌前病变，另外某些疾病病变的弥漫性和斑片状，进一步阻碍了检测。随着技术进一步发展，逐渐开始进行提高病变组织识别率的技术探索：窄带成像方法、激光共聚焦成像方法、自体荧光成像和光学分子成像1。本文以下内容主要介绍光学分子成像。
光学分子成像技术使用荧光标记物与生物体内的小分子、蛋白质或者抗体等结合，借助这些荧光标记物进行诊断。在激发光的激发下，标记的肿瘤细胞等病变组织与正常组织图像呈现出高对比，医生可以观察肿瘤大小、轮廓等信息，从而监测肿瘤的生长、位置转移等状态。在肿瘤切除手术过程中，通过对肿瘤组织结构进行荧光标记，实时显示肿瘤区域荧光图像，可以帮助外科医生对肿瘤形状等特征进行判别，从而实现与正常健康组织区分，达到精准治疗的目的。
一、荧光
1.1 荧光分类以及原理
物质产生荧光的原因大概可以分为几类：
（1）光致荧光：由可见光激发的荧光；
（2）化学荧光：由化学反应引起的荧光；
（3）X 射线荧光：由 X 射线引起的荧光；
（4）激光荧光：由激光引起的荧光；
（5）生物发光：在有生命的生物体中产生的荧光。
荧光内窥镜的荧光产生主要是激光激发。
可见光的波长范围为 380-760nm，红外的波长范围大约在 0.76-50 μm之间。当荧光物质被外界特定能量（如激光等）激发，会引起荧光物质的电子由低能级（基态）跃迁至高能级（激发态），然后电子又会由高能级释放能量回归低能级。在由高能级向低能级跃迁的过程中，电子会释放能量，能量以一定频率光波的形式被释放，产生的光波为荧光。
图 荧光产生的原理图
1.2 荧光探针
荧光探针是荧光成像技术最重要的载体。荧光探针主要由目标底物的识别基团和荧光染料两部分构成，在目标物的作用下，识别基团从探针分子上脱落，从而裸露出荧光团进而发挥成像的作用2。目前，可用于探针设计的有机荧光染料主要包括以下几种：香豆素、氟硼荧、花菁和罗丹明；而无机荧光材料主要包括量子点和一些纳米材料。
近红外荧光探针因其结构相对简单、易于合成以及功能较多的特点被广泛应用。近10年来，荧光成像技术主要集中在近红外窗口，近红外一区（NIR-I，700-900nm）荧光成像以其高灵敏度、快速反馈、无危害辐射、低成本等优点，在生物医学研究中受到广泛关注3。其常用的荧光母体主要有如下几类：花菁类、氧杂蒽类、BODIPY 类等。
传统的花菁类染料具有较大的摩尔消光系数、较高的吸收截面、可控的吸收和发射波长以及较低的生物毒性等优势，被广泛应用于离子检测及肿瘤定位等研究领域中。花菁染料的优点使其成为近红外荧光探针的重点研究方向之一。
花菁类染料通常是两个含氮芳香杂环通过奇数个碳原子的聚乙炔链相连接形成的大共轭结构，其发射波长在 650-900 nm 之间。其分子内的 1，2-亚乙烯基（=CH-CH=）单元的增加或减少可实现对花菁染料吸收和发射波长的动态调整。据报道，每增加一个 1，2-亚乙烯基单元，就会使得相应的花菁染料的吸收波长红移100 nm4。
图 花菁染料的结构一般通式
其中最具代表的分子染料是获得FDA批准临床应用的吲哚菁绿ICG，该分子的荧光发射峰在800nm左右。
吲哚箐绿（ICG）又称靛青绿或福氏绿，是一种三碳箐染料，其特点为5：
最大吸收波长805nm，最大荧光波长835nm，均在近红外光范围内；
与血浆蛋白结合率高达98%，主要与血浆中较大分子的高密度和低密度脂蛋白相结合，形成较大体积的ICG-血浆蛋白复合体，故极少从脉络膜毛细血管漏出；
ICG 分子为三维立体结构，其两个多环结构具有亲脂性（如亲磷脂成分），而其硫酸盐基团具有亲水性，因此 ICG 具有亲脂和亲水的双重特性；
ICG 的血浆清除有两个高峰，第1个高峰在染料注入后的3~4min，第2个高峰在1h 后。
图 荧光显影示意图
图 ICG吸收以及激发光谱
二、荧光电子内窥镜结构组成
荧光电子内窥镜主要由摄像系统、数据处理系统、光源和显示器四部分组成。荧光内窥镜在技术特点上的难度主要体现在以下两个方面：
1）设计和制造。为实现在宽光谱范围内400-900nm矫正像差（即白光图像和荧光图像切换时不需另行调节焦距），荧光内窥镜需45-50片光学透镜并采用特殊的光学结构设计，普通白光内窥镜通常仅需30-35片光学透镜；
2）镀膜技术。由于荧光内窥镜的镜片数量远超过普通白光内窥镜，其单面反射率需控制在0.3%以内，从而实现高透过率和高对比度。白光内窥镜的单面反射率控制范围则为0.5%以内6。
图 海泰新光荧光内窥镜示意图
图 荧光内窥镜原理示意图7
2.1 摄像系统
摄像系统主要由机械结构、图像传感器、光学成像系统、内部导线、导光光纤等组成，功能为将待观察的表面信息，由光信号转换成电信号。
2.2 图像传感器
图像传感器是一种将光学图像信号转换为电子信号的器件，分为光导摄像管和固态图像传感器两种。图像传感器并不是电子内窥镜的独有器件，硬管式内窥镜和光学纤维内窥镜也可连接图像传感器，电子内窥镜中的图像传感器位置在摄像系统的前端，另外两种内窥镜在位于后端手柄处。
固态图像传感器分为电荷耦合器件图像传感器（CCD）和互补金属氧化物半导体图像传感器（CMOS）。这两种图像传感器的均是将光信号转换电信号的工作原理。二者主要对比如下图所示8：
CMOS 图像传感器近年来增长迅速，已接近全面替代CCD传感器。在这样的背景下，行业主要参与者都在加大CMOS 图像传感器的研发投入力度。
在各应用领域的主流产品中，绝大部分采用了三巨头的CMOS传感器。市场热门的手机都是采用索尼、三星与豪威科技(Omnivision，简称OV，韦尔股份收购)的产品，这三家把持着大部分消费类电子领域CMOS传感器的市场份额。而在汽车和安防等行业应用领域，一般都是选用安森美，OV与索尼三家的产品。
行业龙头索尼在2016年占据了42%的市场份额，产品涵盖各个消费类电子到各类行业应用(如汽车、安防、工业等)，且主攻高端市场，技术实力最强;其次是三星，主攻消费类电子市场，多是自产自销，在技术上紧追索尼，已经可以提供与索尼同级别的CMOS传感器，但三星的产品在行业应用较少;第三位豪威科技，在行业应用上有多年积累，尤其是在车载 CMOS传感器应用领域，市占率高于索尼9。
2.3 光学成像系统10
光学成像系统承担的则是将待拍摄的画面呈现在 CMOS or CCD上，光学成像系统是三大种类内窥镜共有部分，也是荧光电子内窥镜必不可少的部分。光学成像系统由一组镜片组成，其镜片材料通常为玻璃或者人工树脂，手机相机的镜组材料通常是后者，而单反相机的镜组材料通常为前者。
图 前端物镜镜片组合
2.4 光学系统主要参数11：
视场角，物体图像的入射光线，最先通过物镜玻璃，进入物镜后平行传导。进入物镜的入射光线和水平线的夹角，即视角（DOV），Direction Of View. 内窥镜视角一般有0°，12°，30°，70°，90°。
医用的电子内窥镜和光学纤维内窥镜的前端均可弯曲，但光学纤维内窥镜因为光纤易断裂，和金属做成的电缆相比，韧性远远不足，医用电子内窥镜的最大弯曲角度为 270°，光学系统的视场角为 90°时，即可保证观察无盲区。
视野，物镜可以观察到的范围，称为视野（FOV）, Field Of View. 内窥镜视野范围一般分为广角，标准角。
通光孔径，光学成像系统的通光孔径的大小，影响光学成像系统的景深和采光能力，通光孔径越大，光学成像系统的采光能力则越强，图像越明亮清晰，所需要的光源照明亮度则越低，但是系统的景深则越小。
光学成像系统分辨率，是指"物"在经过光学系统后的"像"在细节上能被分辨的最小距离。大于这个距离的两个像点就能被识别为两个点，而小于这个距离的两个点经过光系统后就会被识别为一个点。图像传感器的光学分辨率是用每毫米上可以分辨的黑白线对数来表示，即每毫米的宽度上，有多对像元。
图 从"物"到"像"的失真12
这里需要区别的是我们常规了解的图像分辨率，图像分辨率的定义是单位距离内的像用多少个像素来显示。例如：智能手机相机，使用的微型图像传感器的像素高达 2000 万甚至 4000 万。从像素值而言，远远高于现在的单反相机，可是，摄影爱好者依然是经常手持单反拍摄而不是手持手机拍摄，其主要原因就在于，手机相机所匹配的光学成像系统的镜头模组，分辨率是达不到对应图像传感器的光学分辨率的。所以，决定整个相机拍摄的分辨率的是光学成像系统。
景深，即景物的影像的清晰深度，它是光学系统可以清楚观察到的从近到远的一段距离。在这段距离内，场景中的物体不论是移近镜头，还是移向远处，都能够形成清晰的图像。
三、光源13
3.1 光源分类及对比
照明光源是电子内窥镜的核心之一，主要由光源系统和导光光纤组成，主要功能是为腔体照明。照明光源有LED光源、氙气灯、卤素灯、白炽灯、汞灯、金卤灯。但都还不是绝对的冷光，在很多条件下并不能直接用于患者，需要通过一定的方式将这些光源转化为冷光(降级色温)。首先，要采用真空镀膜的非球形反射镜面，该镜面通过镀膜能够吸收大量的红外线，使得发光温度得到有效的降低，为了保证镀膜的正常工作，还要在光源旁边加上冷却风扇。确保其散热性能。
图片表 白炽灯、荧光灯、金卤灯、氙气灯和 LED 灯的数据
近年来，LED技术正在成为内窥镜的首选光源，特点寿命长、稳定性高、而且更容易集成在内窥系统中。结合高速发展的微电子学和光学，LED照明为该领域带来了各种新的发展和应用。
氙气灯具有宽光谱范围，提供高亮、稳定的宽带输出和均匀照明，不仅是很多生物医学应用的理想选择，更是极大地改进了内窥镜技术和深度腔内手术照明。氙灯比传统白炽灯的寿命更长，性能比卤素灯更优越。氙灯也具有更理想的相关色温（CCT，如下图所示）和显色指数（CRI）。
暖色红-橙光相比冷色蓝-白光具有更低的色温。用于内窥镜的先进LED系统允许用户调节每种可见光颜色，得到使人舒适的CCT水平，从而降低眼睛疲劳。
图 CCT（相关色温）展示
CRI用于表征光源还原被观察物体颜色的好坏。CRI越高，越能准确地还原物体颜色（如图所示）。这一点对于医学专家很重要，因为他们能够根据色差识别解剖情况。氙灯是观察组织真实颜色的理想照明光源，帮助提高诊断和治疗的准确度。
图 显色指数（CRI）
3.2 照明光源安装方式
照明光源安装方式，有前置安装和后置安装两种，前置安装是采用微型LED灯珠，将灯珠与镜头并排安装，内窥镜的前端为细孔径，空间位置很小，照明光源仅能采用微型 LED，没有额外的空间为光源进行散热系统的设计，使得其散热问题难以解决，以致光源的功率较低，使得整体照明亮度有限。
后置照明光源安装，需借助导光光纤将照明光导入腹腔，光纤导光的效果如下图所示。后置照明光源安装，照明光源的空间体积不受限制，有足够的空间对光源进行散热系统的设计，光源的功率不因散热问题受到限制，可以提高 LED 灯光源的功率来增加照明亮度。在维护与更换上难度远远低于前置照明安装，油水环境下，光源电路不受影响，仅有普通的使用损耗。
图 导光光纤
LED最大的优势就是装配简单，功耗较低，而光纤最大的优势就是在头端部不会产生热量，且占用头端部的空间较小。因为光纤束只传导光，本身不会发热，且光纤束由若干根 直径25-50μｍ的光纤丝组成，可以根据不同的头端部设计成各种形状，以适应各种各样的成像器件及尺寸要求14。
图 光纤导光形状
3.3 荧光光源结合方式
当前腹腔镜与光学分子成像技术相结合的方式主要分为双光源双光路成像和双光源单光路成像两种机制。
双光源双光路成像系统含有两个光源：激发光光源和白光光源；两个相机：荧光相机采集成像部位的荧光信息，彩色相机采集与普通内窥镜成像效果相同的白光图像。两种光源通过光纤或者分光棱镜耦合后送入内窥镜中照射成像区域，激发成像区所吸收的荧光试剂使其发射出另一谱段的发射光。内窥镜采集发射光同时将采集到的分成两部分，一部分经过可见光滤光片（400-650 nm）送入彩色相机中，另外一部分经过发射光滤光片（根据荧光试剂的发射谱段来定）送入荧光相机中成像15。
图 内窥式双光源双光路荧光分子成像系统原理示意图
双光源单光路成像系统，为了减小成像系统的体积，一些系统采用单光路成像。通过一组滤光轮交替进行白光和荧光成像，或者通过在一定时间间隔内同步触发激发光源和相机、白光光源和相机，用一台相机来获取荧光图像和白光图像。这种方法系统体积小，操作灵活方便，但是不能同时获取白光图像和荧光图像。
图 内窥式双光源单光路荧光分子成像系统原理示意图
3.4 图像采集方案16
在正常白色照明光源下肉眼和摄像头均无法识别荧光波长，若要清晰识别荧光图像，只有将照明光源关闭。因此，正常照明的明场图像与无光源照明的荧光图像无法在同一时间内采集。
为了实现在正常照明模式下将荧光标记肿瘤部位显示出来，采用分时段采集白光图像和荧光图像后再进行处理融合标记。而为了保证最终处理融合标记的图像的准确性，处理融合标记时使用的两种图像的采集时间差应降到最低，可最大限度的让两种图像的实际误差降到最低，而最低时间差为摄像头的单帧拍摄时间。
图 照明光源与激发光源时序生成示意图
荧光图像和光、明场图像间隔拍摄，每次融合时使用最新采集得到的图像，可保证融合的结果图像的准确性。
图 图像采集方法示意图
四、数据处理系统
内窥镜的图像处理中心，核心功能是将拍摄采集到的图像进行处理加工然后显示出来，也可在此进行录像、数据保存、归档、分析等。显示器则是处理的图像显示出来。
通过前面章节叙述，摄像系统采集到的数据图像为两种类型不同的图片，其一为正常白色光源照明下拍摄所得的明场图像，其二为照明光源关闭模式下的荧光图像。荧光内窥镜最终目标是在正常光源照明时，将被荧光标记的待切除部分的凸显出来，提高手术的指导性和指向性，以达到提升切除手术精准度的目的1。如何高速准确的呈现白光和荧光图像的融合逐渐成为研究的热点以及荧光内窥镜的核心技术。
图像融合方法一般分为像素级、特征级和决策级三个融合级别。基于像素级融合的方法是图像融合领域的主流研究趋势，因为它在融合图像中造成的伪影是最小的，其像素由一组图像像素或其他形式的图像参数在最低物理级确定的17。
图像融合的评价方式可大体上分为主观评价和客观评价。其中主观评价是基于人眼来评估融合后的图像，这种方式比较适用于图像上表示明显的信息，可以进行快速、直观的进行评判，但是由于观察者的不同，会产生的图像质量评价的不同，所以通常将主观评价与客观评价结合起来对一幅图像的质量进行评价。
客观评价常见参考指标有如下几种18：
1)信息熵（IE）：图像包含平均信息量的度量，熵值与融合的效果成正相关，值越高表示得到的融合图像中的信息量越大，融合的质量越好；
2)峰值信噪比（PSNR）：峰值功率与噪声的比值。PSNR值越大，证明融合后的图像与源图像越接近、失真越小；
3)互信息（MI）：度量融合图像含有源图像信息量多少的指标。MI值越大表示融合图像继承的信息越多，融合效果越好；
4)视觉信息保真度（VIF）：衡量的是融合图像的信息保真度，与人类的视觉系统是保持一致，VIF 计算融合图像与源图像之间的失真程度，能准确地发现融合图像中存在的畸变和改进。VIF 值越大，融合效果越好；
5)平均梯度（AG）：用于衡量图像的清晰程度，AG的值越大，图像的清晰度越好，说明融合的质量越好；
6)边缘保持量：用于度量从源图像中传输的边缘信息量。并在此基础上假设融合图像保留了源图像中的边缘信息，值越大则梯度丢失越小，融合图像保留的梯度信息越多。
参考文献：
[1] 毛润. 荧光腹腔内窥镜成像系统关键技术研究[D].天津工业大学,2020.
[2] 田艺浓. 基于部花菁染料近红外荧光探针的合成及应用[D].大连理工大学,2021.
[3] 黄艳芳,李子婧.近红外二区荧光探针的设计及应用研究进展[J].厦门大学学报(自然科学版),2022,61(01):1-12.
[4] 孙荣环. 基于花菁的近红外荧光探针的制备及应用[D].济南大学,2021.
[5] 徐继玲,田继海.荧光腹腔镜的工作原理及应用[J].世界最新医学信息文摘,2019,19(33):238.
[6] 资料来源：海泰新光招股书，华经产业研究院
[7] 朱郸. 多光谱融合内窥镜成像关键技术研究[D].电子科技大学,2022.
[8] 资料来源：知乎
[9] 资料来源：弗诺斯沙利文以及公开资料整理
[10]申洪羽. 医用硬性内窥镜光学系统设计及信号处理[D].电子科技大学,2019.
[11] 资料来源：部分资料以及图片来自于德国雪力公司
[12] 资料来源：滨松中国成像应用工程师-郑一哲
[13] 资料来源：https://www.tengrant.com/
[14] 陆小建,杨琰,濮悦.内窥镜照明方式的选择[J].无损检测,2013,35(03):60-61+76.
[15] 毛亚敏,迟崇巍,叶津佐,杨鑫,田捷.新型内窥镜成像系统的研究进展[J].中国医疗器械信息,2015,21(10):10-15.
[16] 卞仕雅. 荧光电子内窥镜的光学系统设计和图像采集处理方案[D].合肥工业大学,2019.
[17] Kumar M , Dass S . A Total Variation-Based Algorithm for Pixel-Level Image Fusion[J]. IEEE Transactions on Image Processing, 2009, 18(9):2137-2143.
[18] 朱郸. 多光谱融合内窥镜成像关键技术研究[D].电子科技学,2022.
