# 多模态设备如何同步？ 本文首发在个人博客上（[**7988888.xyz**](https://7988888.xyz/)），此文章中所有链接均通过博客进行访问。 在我的知识矩阵的平台上已经有大量的学习脑电、近红外以及眼动仪设备的相关资料，可以参考我最近刚整理的一篇微信文章[ BrainTechnology公众号目录【2021年3月】](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247486380\&idx=1\&sn=dff470dbf84087a338cfd8fab826e1df\&chksm=e87d91e5df0a18f323bce07e94776da23f076a39c6961e6e93c1b4359680c3d704b36ecb8851#rd)，基本上包含了我建立公众号以来的大多数文章了。 这几天也是在工作之余，在读一本书——胡理、张治国老师主编的《脑电信号处理与特征处理》，读这本书来说的整体感觉的是对初进入脑电技术的小伙伴们来说比较友好，因为它汇总的内容还是比较偏向基础的，我拿到手后，只用了2个小时就把他翻阅完了，这本书的内容大部分内容在我的个人博客和公众号上都可以找到相关内容，没有涉及可能也就是机器学习和深度学习了。这本书的价格比较不亲民，相对来说比较贵，不是必需的，我个人还是建议看网上教程就好了。 好了，叨叨话就说这么多了，今天我们来谈谈最近有人问到我的一个话题——多模态设备间如何同步？其实这部分内容，我在之前的文章中也谈到过，是针对具体设备的，可以参考《 [眼动技术和脑电/近红外技术的联合使用](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247484841\&idx=1\&sn=4d6e27cbc42788d941a216aab988509b\&chksm=e87d9fe0df0a16f6ab9741cb0c570461018c76b98f56248d89c3b69412a3b1fba43d99fe1bad#rd)》以及《[ 脑电分析仪与近红外脑成像仪的设备联合使用](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247484050\&idx=1\&sn=fdede4a8d8f120753aac1d2801108c65\&chksm=e87d98dbdf0a11cda0381b500d908b0043ec580836ad897e7c87be7f7b648951a523849e03b3#rd)》 当我们采用涉及多种设备记录的多模态时，首先要解决的问题之一是：如何同步各种信号？原因的造成是研究人员使用了多种不同的操作系统和设备，这些操作系统和设备来自多个不同的设备厂家，或者由研究人员自己开发，所以这始终是要解决的第一个问题。在这篇文章中，我将解释为什么同步如此重要，以及如何实现同步记录的方法？ ### 为什么研究时我需要与其它设备进行同步？ 很大的原因在于你的实验目的或者是实验设计决定的，单一的实验技术在目前的实验研究中很难有比较高的影响因子，因此多模态的实验研究才显得更新颖，更突出亮点。然后，说道具体的实验问题是如何同步不同的数据流，例如：眼动+脑电；眼动+近红外；脑电+近红外甚至是 眼动+脑电+近红外技术。不管是哪种组合，同步数据流是最重要也是不可避免的问题之一，除了同步数据流之外，还有一个重要的刺激事件marker也是非常关键的，这就涉及到事件时间戳对齐的问题。 ### 事件时间戳为何如此重要？ 如果触发事件的时间戳未能确保正确同步，得到的结果可能会完全没有用，可以参考文章《[ ERP实验中时间延迟的问题](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247484668\&idx=1\&sn=d338fc9adb71723b9ad0e04c1a7a89d4\&chksm=e87d9eb5df0a17a315642ba4bdc5ee6510ef99b7c3051c8d5e17b6c193c75aa45f9522ff47cd#rd)》，在这篇文章中，我讲到事件时间戳的问题，它同样适用于同步多模态 的实验。因为，我们在做ERP（事件相关电位）时，非常依赖触发事件的准确性。我们熟悉的ERP成分，如果看到下图中的发生触发的marker产生jitter，那么很不幸的无论如何也得不到很好的结果的。 ![image-20210319160412765](https://tva1.sinaimg.cn/large/008eGmZEgy1gop9yifbqgj30k60h4dki.jpg) ### 如何进行同步信号的触发？ 在这里，我列举一些我常见到的设备，可以参考我的个人[**学术导航**](https://7988888.xyz/daohang/)查看他们的官网。 ![image-20210319175503834](https://tva1.sinaimg.cn/large/008eGmZEgy1gopd5sjrmlj319n0u0nge.jpg) 主要有两种方法来确保两个设备之间以及刺激表示之间的正确同步：1） **基于硬件**；2） **基于软件**。 1） **基于硬件** 1.1 TTL同步 基本上所有的设备发送trigger均可以通过并口端口进行，因此使用并口端口将是万能的全能解题方法之一。 对于并口应用于认知神经科学的介绍和笔记本的解决办法，我很推荐安公子写的这篇文章[**《现有电脑扩展串口和并口的问题》**](https://zhuanlan.zhihu.com/p/32893556)。 另外，我们也来谈谈并口的针脚问题。 现在所有的接头都可以分为公头和母头两大类。 公头：泛指所有针式的接头。 母头：泛指所有插槽式的接头。 所有接头的针脚有统一规定，在接头上都印好了的，连接时要注意查看。针对，每个设备型号的设备一般情况下使用手册里都能找得到，只怕你不认识它而已，所以，当你不清楚的时候，就去问厂家的技术人员吧。 并口也叫LPT端口，在这里我将列出最常见的针脚定义。 ![image-20210319193549100](https://tva1.sinaimg.cn/large/008eGmZEgy1gopg2m9xyij30zc0padj5.jpg) 如图中所示，针脚2-9才是用来传输电平信号的，它的组合方式即为2的0次幂到7次幂，当全部使用时，即可产生256个数字，一般情况下针脚25是用来接地的。所以只需要做到刺激显示电脑的一端使用的是25针的并口一分为二，两路trigger信号分别供应两个不同的设备即可达到同步触发。 1.2 并口+网口 在某些设备中，已经有设备使用了网口进行trigger的触发，那么在现有的条件下，我们就可以使用同一台刺激电脑同时发送两个不同的信号分别给两个设备，可以参考文章：[ 眼动技术和脑电/近红外技术的联合使用](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247484841\&idx=1\&sn=4d6e27cbc42788d941a216aab988509b\&chksm=e87d9fe0df0a16f6ab9741cb0c570461018c76b98f56248d89c3b69412a3b1fba43d99fe1bad\&token=701567249\&lang=zh_CN#rd) 2） **基于软件**（Lab Streaming Layer） 对于LSL的介绍，可以参考文章《[ Lab Streaming Layer 数据流简介](http://mp.weixin.qq.com/s?__biz=MzIyNTYyNzk0Mg==\&mid=2247485022\&idx=1\&sn=6ea331a7ea1b65d8c5b0c2716d63146d\&chksm=e87d9c17df0a1501506ee86642520073f16cbf83d6f84b9509468d3aad23a28b13a928006b26\&token=701567249\&lang=zh_CN#rd)》 TCP / IP同步 使用通用的TCP / IP协议来完成。这个过程是在两个需要同步的系统之间创建一个TCP / IP连接（俗称局域网），并使用预定义的协议来标记事件。例如，在刺激软件和记录软件之间使用TCP / IP连接将使我们能够将事件从一个发送到另一个，以标记信号收集。TCP / IP在配置类型和可以交换的信息方面非常灵活。我们可以将其中刺激软件的电脑用作服务器，而其它软件则可以作为客户端。一旦建立连接，就可以通过特定的IP地址将消息标记从服务器发送到客户端。这些消息可以是软件预定义的，也可以是研究人员配置应记录哪些信息来进行自定义。这里所使用的软件就可以是我们常见的MATLAB、psychopy、presentation等刺激软件，通过LSL进行发送数据流标记。 目前来说，我所知的多模态的操作方法如上，在最后，有人还会问到超扫描的设备如何设置，它其实等同于多模态，只不过是使用了相同的设备型号罢了。 对于脑电的超扫描，可以大脑技术上的相关文章，更多内容可加入知识星球 以及一篇文章中所提到的设置方法：Barraza, P. , Dumas, G. , Liu, H. , Blanco-Gomez, G. , & AP Fernández. (2019). Implementing eeg hyperscanning setups. MethodsX, 6, 428-436. 对于近红外的超扫描，可以参考文章[fNIRS超扫描的主要测量方法是什么？](https://mp.weixin.qq.com/s/lhazg4iAPsM4nu8cjfq2xg) ## 谢谢大家观看，如有帮助，来个喜欢或者关注吧！ 本文作者：Chen Rui 星球地址 ：[知识星球](https://t.zsxq.com/W5M3F)[Blog ](https://t.zsxq.com/W5M3F) 知乎地址 : [知乎专栏](https://www.zhihu.com/people/braintechnology) B站地址 : [B站主页](https://space.bilibili.com/328549846) 公众号：大脑技术\ CSDN地址 : [csdn主页](https://blog.csdn.net/craig_cc)