行业百科
Tobii Pro Glasses 3 穿戴式眼动仪和 Fastec HSi 系列高速镜头联采,时间同步如何实现
时间:2026-11-13
作者:小编

把 "看" 和 "动" 放在一起分析,是运动表现研究中经常遇到的需求。受试者在什么时刻注视何处,注视之后动作如何展开,动作展开过程中视线又如何转移,这些问题单靠一种设备无法回答。眼动仪记录注视,高速影像记录动作,两者结合,才可能还原完整的过程。


问题在于,两类设备的记录方式差别明显。眼动仪以固定的采样节奏持续记录注视位置,数据带有自己的时间戳;高速影像以较高的帧率记录画面,画面按帧编号。两套时间体系各自独立,若不建立明确的对应关系,所谓 "结合" 只是把两段素材放在同一个文件夹里。


时间同步因此不是可有可无的技术细节,而是整个分析能否成立的前提。同步做得好,注视与动作之间的先后关系清晰可信;同步做得粗糙,分析者会把因果顺序弄反,把动作之后的注视当成动作之前的准备。


本文围绕 Tobii Pro Glasses 3 穿戴式眼动仪与 Fastec HSi 系列高速镜头的联采,梳理时间同步的实现方式、实施细节与验证办法,并说明哪些误差可以控制、哪些只能记录。

filters_format(webp)_quality(80)-(2).jpg


一、为什么联采必须解决时间同步


(一)注视与动作的因果关系


分析注视与动作的关系,本质是在判断先后。注视在前,动作在后,可以说视线引导了动作;动作在前,注视在后,则可能是动作引发了注意。顺序一旦颠倒,解释就会完全相反。


判断先后依赖时间精度。若两类数据之间的时间偏差接近甚至超过所关注的事件间隔,先后关系就无从分辨。同步的意义,就是把这种偏差压到足够小,让顺序判断有依据。


(二)两类设备的记录特点


眼动仪以穿戴方式跟随受试者,视野随头部移动,采样节奏相对固定,数据以时间戳标记。它的优势是贴近真实视角,局限是画面分辨率有限,快速动作的细节难以看清。


高速镜头固定布置,视野稳定,帧率较高,能够记录动作的快速阶段。它的优势是时间密度高,局限是视角固定,无法反映受试者的注视方向。两者互补,正好覆盖 "看到什么" 与 "怎么动" 两个层面。


(三)同步目标与精度要求


同步的目标是建立共同的时间原点,并在此基础上保持稳定的时间换算关系。原点决定了对齐的起点,换算关系决定了长时间记录中是否会出现累积偏差。


精度要求取决于研究问题。关注的是毫秒级的先后关系,还是数百毫秒量级的阶段对应,对精度的要求差别很大。先明确需要分辨的时间尺度,再决定投入多少精力在同步上,是较为务实的顺序。


(四)不同步会带来什么


不同步的直接后果是错位。注视点可能落在动作的错误阶段,动作的关键瞬间可能对应到错误的注视内容。错位不易被察觉,因为数据本身都 "看起来正常",只是彼此之间的关系错了。


更隐蔽的后果是系统性偏差。若偏差方向固定,分析者可能把系统性偏移当成规律,得出看似一致却并不成立的结论。这类问题在数据量较大时尤其难以发现。


(五)研究问题与同步精度


同步精度不必一律追求很高,而应与研究问题对应。关注动作启动前后的注视变化,需要把偏差控制在很小的范围内;关注动作阶段的整体对应,偏差稍大也能接受。


把精度要求写下来,是联采设计的起点。要求的精度决定了必须采用硬件触发,还是依靠标记对齐就足够;也决定了后期需要多少验证工作。没有要求的同步,往往做了很多,却不知道够不够用。精度要求还应与数据本身的可靠程度匹配。影像画质有限、标记识别困难时,强行追求很高精度的同步并不现实,把精力放在可控制的环节更有效。


二、时间同步的几种技术路径


(一)硬件触发同步


硬件触发通过电信号同时启动或者标记两类设备的记录。信号由一方发出,另一方接收,形成共同的起点或者共同的时间标记。这种方式的对齐精度较好,受软件调度的影响较小。


硬件触发的前提是设备提供可用的触发接口,且接口的电平与信号形式匹配。接口不匹配时,需要额外的转换环节,转换本身也会引入延迟,需要在同步设计中一并考虑。


(二)共同可见的时间标记


共同标记的思路是在两类设备都能记录到的通道上制造一个可识别的事件。画面中出现一次闪光,或者视野中出现一次特定变化,两类数据中都能找到这个事件的痕迹,据此对齐。


共同标记的优势是不依赖接口,适用面较广。局限是识别依赖人工或者算法,标记的清晰程度直接决定对齐精度。标记不够明显时,对齐误差可能达到数帧。


(三)时钟对齐与时间戳换算


两类设备各自维护内部时钟,数据带有本地时间戳。若能把两个时钟的关系确定下来,就可以通过换算把数据放到同一时间轴上。这种方式不需要额外的硬件连接,实施较为轻便。


时钟之间会存在初始偏移与缓慢漂移。初始偏移可以通过一次对齐确定,漂移则需要在整个记录期间持续校正。记录时间越长,漂移的影响越明显,单点对齐越不可靠。


(四)后期软件对齐


后期对齐是在数据采集完成后,通过事件匹配、曲线相关或者人工标注,把两类数据的时间轴对齐。这种方式灵活,适合条件受限、无法在现场完成硬件同步的场合。


后期对齐的精度取决于事件的可辨识程度。动作中有清晰可辨的瞬间时,对齐较为可靠;动作连续平滑、缺少明显事件时,对齐只能依赖近似判断,误差随之上升。


(五)路径的比较与组合


几种路径各有适用条件。硬件触发精度较好但依赖接口;共同标记适用面广但依赖识别;时钟换算轻便但需要持续校正;后期对齐灵活但精度受限。实际工作中常把几种方式组合使用。用硬件触发建立原点,用共同标记做交叉验证,用时间戳换算处理长时间记录中的漂移。多重手段并用,同步的可靠性明显提高。


(六)方案选择的条件


方案选择受三类条件约束:设备接口是否可用、现场是否允许布线、记录时长是否需要考虑漂移。任何一项条件不满足,相应的方案就要打折扣。


接口可用、现场允许布线时,硬件触发是较为省心的选择;接口不可用而现场可控时,共同标记能够弥补;记录时间很长且无法中途重来时,时间戳换算与漂移补偿就显得必要。


方案选择还应考虑后期的工作量。硬件同步在现场多做一步,后期就少做很多;纯后期对齐在现场省事,却把负担推给了数据处理。把两边的成本算清楚,选择才合理。


三、硬件触发的实施细节


(一)信号形式与电平匹配


触发信号有电平触发与边沿触发之分,电平高低、脉宽长短都需要与设备要求匹配。信号形式不匹配时,设备可能不响应,或者响应不稳定,表现为有时触发成功、有时失败。匹配工作应在联采之前完成。用示波或者观察设备状态指示,确认信号到达且被正确识别。确认之后固定接线方式,避免现场临时更改。


(二)主从关系与启动顺序


两类设备同时启动较为理想,实际上往往存在先后。确定主从关系,让一方作为时间基准,另一方在其信号下启动,可以让先后差异变得可控。启动顺序需要固定。每次采集都按同样的顺序启动,先后差异就成为可预期的常量,便于在后期统一扣除。顺序随意变动,差异变成变量,处理起来更麻烦。


(三)触发延迟与抖动


信号从发出到设备实际开始记录,中间存在延迟。延迟本身并不可怕,可怕的是延迟不稳定。稳定的延迟可以通过标定扣除,抖动的延迟只能被压缩到可接受范围。延迟的标定需要专门安排。用同一信号同时触发两类设备,记录一个可见事件在两边出现的时间差,重复多次取稳定值,即可得到延迟的估计。


(四)线路布置与干扰


触发线路较短、接头牢固时,信号质量较好。线路过长、接头松动、周围存在较强电磁干扰时,信号可能出现畸变或者丢失,表现为触发失败或者时间标记缺失。线路布置应远离动力线缆与大型用电设备,接头处做固定处理,线缆走向避免受试者绊碰。这些措施看似与同步无关,实际上直接决定同步能否稳定。


(五)触发状态的现场检查


每次采集前做一次触发检查,确认两类设备都在等待信号,信号发出后都能进入记录状态。检查看似重复,却是避免整批数据作废的简便办法。检查时可以观察设备的状态指示。指示灯的变化、界面的提示、记录计数的启动,都是判断触发是否生效的依据。只凭 "应该没问题" 的推测,风险太大。


四、共同可见标记的做法


(一)闪光与同步灯


在高速镜头视野内放置一个可控制的发光装置,在记录开始时点亮一次或者按固定节奏闪烁,画面中留下清晰痕迹。眼动仪的视野若也能覆盖该装置,两类数据中都能找到同一事件。


闪光标记的清晰程度取决于亮度与环境光比。环境光较强时,闪光可能不够突出;环境光较暗时,闪光容易过曝。调整亮度与位置,让标记在不同条件下都能被辨认,是实施中的关键。


(二)红外标记与不可见光源


红外光源在可见画面中不一定明显,但在对红外敏感的成像条件下可以被识别。使用红外标记的好处是不干扰受试者的视觉体验,缺点是识别需要相应的成像条件支持。红外标记的适用性需要事先确认。两类设备对红外波段的响应不同,一方能看到、另一方看不到时,标记就失去意义。确认之后再决定是否采用。


(三)声学与机械标记


拍手、击打、蜂鸣等声学事件,可以在影像中留下可见的动作痕迹,也可以在音频通道中留下记录。声学标记的优势是容易制造,局限是时间起点不够锐利,识别时存在人为判断的余地。


机械标记常见的有拍板、遮挡片,能在画面中形成明确的瞬间变化。这类标记的锐利程度较好,适合需要较高精度的场合,但需要有人配合操作,现场组织要求较高。


(四)标记的放置位置


标记应放在两类设备都能稳定看到的区域。眼动仪的视野随头部移动,标记若只在固定视角中出现,受试者转头时就会消失。把标记放在受试者常看的区域边缘,是较为可行的做法。


标记还要避开动作主体。标记与动作重叠时,识别容易混淆,后期的判断成本上升。把标记放在画面边缘或者角落,既能被记录,又不干扰主体观察。


(五)标记可见性的现场验证


标记是否可见,需要在正式采集前用实际条件验证。设备佩戴到位、光线条件确定、受试者站在预定位置,再检查标记在画面中的位置与清晰程度。验证不通过就调整位置,而不是等采集后补救。


验证时还应考虑动作过程中的变化。受试者移动、转身、低头,标记的相对位置随之改变。把动作走一遍,观察标记是否始终可见,比静态观察更接近真实情况。


(六)标记数量与冗余


单一标记存在风险。标记被遮挡、亮度不足或者识别失败时,同步就失去依据。放置两个以上相互独立的标记,可以在一个失效时用另一个补充。


冗余标记还能用于交叉验证。两个标记在同一事件上给出的时间应该一致,若出现明显差异,说明其中一处识别有误。把差异记录下来,同步的可靠性判断就有了依据。冗余不是越多越好。标记过多会干扰画面,也会增加识别与判断的工作量。按需要放置少量清晰可靠的标记,效果往往更好。


五、时间戳与帧序号的换算


(一)帧序号与时间的关系


高速影像以帧为单位记录,帧序号本身不携带时间信息,只有与记录的起始时刻和帧率结合,才能换算成时间。换算公式看似简单,前提是帧率稳定、起始时刻明确。


实践中帧率可能出现微小波动,起始时刻也可能存在记录延迟。把帧序号直接按理论帧率换算,长时间记录后会与真实时间产生偏差。理解这一点,才不会把换算结果当成精确时间。


(二)不同节奏之间的换算


眼动仪的采样节奏与影像的帧率不同,两者的数据点无法一一对应。换算时需要把一方的时间转换为另一方的时间轴,再按需要对数据做插值或者区间匹配。


换算过程中要避免过度平滑。眼动数据本身带有噪声,过度插值会让曲线看起来平滑,却掩盖了真实的波动。保持原始数据的节奏,按需对齐,是较为稳妥的处理方式。


(三)丢帧与时间轴断裂


影像记录中偶尔出现丢帧,帧序号出现跳号,时间轴随之中断。若不处理,后续所有帧的时间都会偏移。发现跳号时,应按实际帧数重新计算,而不是按序号顺序推算。眼动数据同样可能出现采样中断。中断期间的注视信息缺失,不能简单填补。标注缺失区间,并在分析中避开,是较为负责的做法。


(四)时钟漂移的估计


长时间记录中,两个时钟的走时速度可能存在细微差异,形成缓慢漂移。漂移在短时间内看不出来,在较长的记录中会累积成可见的错位。估计漂移的方式是在记录的首尾各安排一次对齐事件,比较两次对齐得到的偏差,差值即为漂移量。知道漂移量之后,可以在换算中做线性补偿,把误差压到较小范围。


(五)换算过程中的取舍


换算要面对取舍。把眼动数据插值到影像的每帧上,对应关系整齐,但插值会改变原始节奏;保留眼动数据的原始采样点,对应关系松散,却更接近实际记录。两种做法各有代价。


选择哪一种,取决于分析关注的时间尺度。关注瞬时变化时,保留原始节奏更合适;关注阶段对应时,整齐的插值便于比较。把选择写清楚,后续的解读才不会误解数据的性质。


换算还涉及坐标与量纲的对应。眼动的注视位置与影像的画面坐标分属不同体系,时间对齐之后仍需处理空间对应问题。时间对齐只解决了一个维度,另一个维度同样需要说明。


六、后期对齐的方法与验证


(一)事件对齐的操作


事件对齐是先找出两类数据中共同出现的事件,再把它们放到同一时间位置。事件可以是闪光、拍板、动作的起始或者落地瞬间,选择的标准是清晰、易辨、重复性好。操作时应对同一事件做多次判断,取一致的结果。单次判断容易受主观影响,多次判断再取共识,对齐的可靠性明显提高。


(二)偏移量与线性漂移的拟合


对齐得到若干组时间对应关系后,可以用简单的方式拟合出偏移与漂移。对应点较少时,只做固定偏移;对应点较多且分布在整个记录期间时,可以考虑加入漂移项。拟合不宜过度。对应点本身带有判断误差,拟合阶数过高会把误差也拟合进去,得到看似精确却并不稳定的换算关系。简单模型往往更实用。


(三)对齐结果的交叉验证


对齐之后需要验证。验证的方式是另取一个未被用于对齐的事件,检查它在换算后的时间轴上是否落在合理位置。若偏差明显,说明对齐关系存在问题。交叉验证应当使用不同类型的事件。只用同一类事件验证,容易掩盖系统性偏差。把动作类事件与标记类事件分别验证,结论才比较扎实。


(四)对齐误差的记录


任何对齐都有误差。误差的大小、来源与处理方式,应当写在数据说明中。读者看到结论时,才知道这些结论建立在什么样的时间精度之上。误差记录也是后续工作的依据。同类采集重复进行时,可以参照以往的误差水平,判断本次对齐是否正常,是否需要重新处理。


(五)对齐中的人工判断


对齐离不开人工判断。事件在哪里开始、在哪里结束,标记的哪一帧算作起点,这些判断没有统一答案,只能依据操作的约定。约定写清楚,不同人做出来的结果才接近。


判断时需要避免先入为主。分析者若已预期某种结果,容易在模糊的画面中选择支持预期的时刻。让不知情的人参与判断,或者把判断顺序随机化,可以减少这类影响。


(六)对齐工具与处理记录


工具可以加快对齐,却不能替代判断。自动识别在标记清晰时表现良好,在画面模糊或者标记不明显时容易出错,需要人工复核。处理过程应当留下记录。用了哪些事件、取了哪些值、做了怎样的拟合、采用了什么换算关系,都应写明。这些记录让后来的使用者能够复现处理过程,也能判断结论的时间精度。


七、现场实施流程


(一)佩戴与视野确认


眼动仪佩戴后需要确认视野覆盖是否合适。注视点落在画面中央区域,头部转动时视野随之变化,画面不应被睫毛、镜框或者帽檐遮挡。佩戴不合适,数据质量从一开始就打了折扣。


视野确认之后做一次校准。校准的质量影响注视位置的准确性,也影响后续对齐时对事件的判断。校准不通过时应重新调整佩戴,而不是勉强开始采集。


(二)联采前的联调


联调是正式采集前的演练。按正式流程启动两类设备,检查触发是否响应、标记是否可见、数据是否完整、时间关系是否合理。联调做得细,正式采集时的意外就少。联调还应模拟异常:中途断电、线缆脱落、受试者动作幅度超出预期,观察各环节的表现,提前想好应对方式。这些准备在真实采集中往往派得上用场。


(三)采集中的监控


采集中需要有人盯着状态。设备是否在记录、电量是否充足、存储是否够用、标记是否仍然可见,这些都需要实时确认。等到采集结束才发现问题,往往已经来不及补。监控还包括受试者的状态。佩戴设备会带来不适,长时间采集容易疲劳,动作随之变形。发现状态下降时,安排休息比强行继续更划算。


(四)导出与命名规范


导出数据时按统一规则命名,包含日期、受试者编号、动作类别与设备标识。命名规范看似琐碎,却决定了后期能否快速找到对应文件。


导出后应做一次完整性核对。文件数量、时长、帧数、采样点数是否与记录相符,时间戳是否连续。核对通过后再进入处理环节,避免在处理中途才发现数据不全。


(五)人员分工与现场节奏


联采涉及两类设备的操作,一个人同时兼顾容易出错。较为合理的分工是由一人负责眼动仪的佩戴与校准,另一人负责影像设备的机位、触发与记录,第三人引导受试者完成动作。


分工之后需要统一口令。什么时候开始记录、什么时候发出动作指令、什么时候结束,口令一致,各环节的衔接才顺畅,时间标记也更容易辨认。现场节奏同样需要控制。设备启动、受试者就位、动作完成、数据确认,每一段都留出时间,不催促也不拖沓。节奏稳定之后,动作表现也更稳定。


采集数量不宜一味求多。每次联采的数据都带有自己的同步误差,样本过多会把处理时间拖长,反而增加出错的机会。把有限的样本做扎实,比数量堆叠更有意义。采集结束后当场做一次初步核对,确认两类数据都在、时间关系大致合理。当场发现问题还有补救机会,离开现场后再发现,往往只能重来。


八、常见问题与边界


(一)触发未响应


触发未响应多与信号不匹配、线路接触不良或者设备设置不当有关。排查时从较基本的地方开始:接头是否插紧、信号是否到达、设备是否处于可触发状态。排查顺序固定下来,能省不少时间。每次都从头梳理,比凭印象猜原因更可靠。


(二)视野遮挡与画质限制


穿戴式设备的视野容易被遮挡。受试者低头、转头、抬手,都可能让画面偏离关注区域。视野偏离时,注视点与动作的对应关系变得难以解释。画质限制同样存在。穿戴式设备的画面分辨率有限,快速动作的细节难以辨认。需要细节时,仍要依靠高速影像,两者分工不能互换。


(三)长时间记录的稳定性


记录时间延长,漂移、电量、存储、佩戴舒适度的问题会逐渐显现。漂移影响对齐精度,电量与存储影响记录能否持续,舒适度影响动作是否自然。应对方式是把长记录切分为若干段,每段重新对齐,段与段之间用共同事件衔接。这样既降低了单段漂移的影响,也让异常段更容易被隔离。


(四)同步作用的边界


同步解决的是时间对应问题,不能解决数据本身的质量问题。画面模糊、标记缺失、校准偏差,这些问题不会因为同步做得好而消失。理解这一边界很重要。同步做扎实,只是让两类数据具备放在一起讨论的资格;结论是否成立,还要看数据本身是否可靠、分析方法是否恰当。


明确这一点,也能避免把精力放错地方。同步已经做得足够好时,再把时间花在同步上,收益有限;回头检查画质、校准与动作规范性,往往收效更明显。


(五)数据保存与可追溯


联采产生的不只是结果文件,还有原始数据、处理记录、现场记录与校准信息。这些材料分开保存,才能保证分析过程可以回溯。只留处理后的结果,遇到质疑时无法说明结论是如何得到的。


可追溯还包括版本管理。同一批数据可能经过多次处理,每次使用的方法与参数不同。把版本与参数对应记录下来,避免把不同处理条件下的结果混在一起比较。


保存期限与访问权限需要事先约定。数据涉及受试者的形象与注视行为,属于个人相关信息,保存与共享应当有明确的范围与授权。把这条写进流程,比事后补救更省事。


(六)同步误差的表达方式


同步误差应当以可理解的方式呈现。给出一个偏差数值,或者给出一个区间,读者才知道结论在多大的时间范围内成立。含糊其辞地说 "已同步",对读者没有帮助。


表达方式要与研究问题对应。关注的是先后关系,就说明先后判断的时间分辨能力;关注的是阶段对应,就说明阶段边界可能错开的范围。把误差与结论放在一起,结论的分量才恰当。误差的表达还应包括来源。偏差来自触发延迟、标记识别还是时钟漂移,说明清楚,后来的使用者才知道哪些环节可以改进,哪些环节是条件所限。


结语


眼动与高速影像的联采,看起来是把两台设备放在一起用,实际上是在建立一套共同的时间语言。硬件触发给出原点,可见标记提供验证,时间戳换算处理长时段的漂移,后期对齐收拾现场的余留误差。每一环都不复杂,合在一起才可靠。把同步误差控制在可说明的范围内,并把误差本身写进数据说明,联采的数据才有资格支撑关于 "看到什么" 与 "怎么动" 的判断。


相关文章
  • 首页
  • 电话
  • 顶部