基因组学中的深度学习
2022-03-17 01:10:57
这一篇著作的主旨是深度练习正在基因组学中的利用情景的。著作较长，读完要花些年华，只是我的倡导是通读第一一面——合于何如举办模子锻炼的内容，读完后你应当可能体会机械练习模子的锻炼历程和逻辑，剩下的一面可能挑核心的看。
基因组学实在是一门将数据驱动行为紧要探讨妙技的学科，机械练习办法和统计学办法正在基因组学中的利用不断都比力渊博。
只是现正在众组学数据进一步激增——这个从目前渐渐增加的各样大周围人群基因组项目上可能看出来，这实在带来了新的挑衅——即是数据发掘的难度扩张了。咱们要高效地从众组学数据中发掘出有代价的讯息，那么就必要担任更富饶展现力的办法，这个期间深度练习就成了一个符合的采用。由于就目前来说深度练习自己就适适用来发掘大方的、众维度数据背后的潜正在规矩，它也仍然转换了众个盘算机规模，包罗图片识别、人脸识别、机械翻译、自然道话管束等。近年来深度练习正在基因组学规模也有了不少的探讨和利用，我这篇著作紧要基于 Nature Reviews Genetics 上《Deep learning- new computational modelling techniques for genomics》的内容，同时我也做了少许分外的增补，方针是和大师一道梳理一下目前深度练习正在基因组学探讨方面的利用情景。这篇著作紧要分为下面四个一面：
第一，先容有监视练习中四个紧要的神经收集，永诀是：全贯穿收集、深度卷积、轮回卷积和图卷积，同时证明了何如将它们用来抽取基因组数据中常睹的 Pattern；
第三，协商迁徙练习，这是一种可能从现有模子中开辟新模子的技艺。这个办法对待众组学的探讨和利用来说有委实际的代价；
第四，协商主动编码器（Autoencoder, AE）和天生顽抗收集（generative adversarial networks，GANs）这两个非监视练习办法。
好，接下来，我将一一打开先容这四个方面的内容，同时为了让你可能更好地体会这篇著作，我穿插增补了少许合于机械练习的后台常识。
这一一面的内容与有监视练习相合，于是咱们要先领略什么是“有监视练习”。图1 是有监视练习的一个示图谋：
单纯来说，有监视练习的历程是输入样本的特性值（这个特性值可能是一个值，也可能由是一系列值组成的向量），然后预测出样本属于哪一个结果标签（或叫做“标注”）。好比 图1 是一个预测 RNA 剪接位点的例子，这里模子要根据样本的特性值（如：位点序列讯息、身分、内含子长度等）举办盘算获得一个是否为剪接位点的预测结果。
因此，有监视练习是一种必要利用标签化数据举办锻炼，然后揣测出输入特性和结果标签之间函数映照相合的机械练习办法，模子的锻炼数据必要有昭着的结果标签，不然不行锻炼。搞了了界说之后，那有监视机械练习是何如举办模子锻炼的呢？所谓锻炼实在即是求解模子参数。这个历程实在是何如完毕的呢？
最初，要将锻炼数据豆割为三个调集，永诀是：锻炼集，验证集和测试集（如图2.a） 。个中，锻炼集用于模子参数的盘算，验证集用于模子职能评估和超参调度，方针是为了保证模子可能正在现罕睹据前提下到达最好的结果，而测试集则是用来评测最终模子的归纳职能。
仍然以图2为例——咱们这里图2是一个神经收集模子，锻炼着手时，最初要给这个收集中的各个参数举办一次随机初始化，然后再代入锻炼数据去迭代更新模子参数。每一次的迭代时，日常都是随机地从锻炼聚集抽取一小撮数据（图2.a中的Batch）代入模子举办盘算——提神这个历程额外紧要，然后和真正结果比力得回函数吃亏量。正在神经收集的锻炼中目前要通过反向传布算法做梯度运算得回能让模子的参数往吃亏函数最小化的偏向走的值，模子的参数要根据这个极值的结果举办更新。接着再从新到锻炼数据中随机抽取另一小撮的数据集反复这一轮迭代，直到吃亏函数收敛。
这种锻炼时仅从锻炼集里随机抽取一小撮数据集的做法与一次性利用统统锻炼集的做法比拟有两个好处：
第一，模子锻炼所需的内存将比力恒定。由于不必将大方的数据一次性加载到内存里，于是，模子能不受盘算机的内存所限，可能利用尽或者大的锻炼集数据，锻炼历程的可拓展性比力高；
第二，正在机械练习规模实在仍然声明，这种小批量数据集的办法会给模子带来必定水平的随机震动，而这种震动有利于模子职能的晋升。
所谓超参，即是“超等参数”，它是模子中一个(或少许)必要人工设定的外部参数，并且是无法通过锻炼集举办锻炼的，只可举办手动调度。好比，咱们要正在举办模子锻炼之前，先给模子的某一面乘上某一个固定的常数/向量，这个常数/向量无法锻炼，它即是“超参”。日常只可一边调度一边正在验证集上评估结果，最终留下一个“看起来”可以最确实亲切验证结果的参数。这是一个很繁琐的历程，必要众次实验，直至模子职能不再展现刷新为止。
当你竣工最终的调参之后，用另一个独立数据——也即是这里的测试集，归纳评估这个最佳模子的职能，紧要是看看是否存正在过拟合或者成果不敷的情景，没题目之后就可能用到项目中了。以上，即是锻炼一个神经收集模子的紧要历程。再次夸大一次：一共是三步，永诀是：豆割数据、利用锻炼集盘算模子参数、通过验证集调度模子超参并用测试数据归纳评估最终模子的职能。领略了以上后台内容之后，咱们就可能转入深度练习的内容了。对待良众比力单纯的题目而言，一个单层的神经收集日常是可能满意条件的。但对待维度更众、更丰富的生物常识题来说，单层是不足用的，只可通过更丰富的模子才气管束这类数据。图3是一个众层神经收集模子的示图谋。
这个收集有两层，并且你可能看到中央一层不与输出层相贯穿，对待输出来说是一个不行睹的“层”，因此也被称为规避层，它的感化是将上一层的输入数据做转换，将其映照到一个可能对特性值举办线性离散的空间，然后通过激活函数举办非线性化，再给到后一层行为输入。这个模子是深度神经收集的雏形，当你的模子有很众个中央规避层（2）时，这个模子就称之为深度神经收集模子。深度神经收集利用规避层来主动练习非线性特性的各样变换。模子里的每一个规避层都可能是众个线性模子叠加一个激活函数所组成，激活函数额外紧要，它起到了将线性模子非线性化的感化，不然你的模子就无法通过非线性的大局描写真正寰宇的生物常识题（由于这些题目自己日常即是线性模子无法解答的）。目前深度练习顶用得最众的激活函数是ReLU，这是一个线性整流函数（负数赋值为0，正数稳固）：
深度练习模子的锻炼也和上面所术的历程划一。区别就正在于，它涉及的参数众，必要更众的锻炼数据和更长的年华才气获得理思的结果。对待咱们来说深度神经收集的修筑和锻炼可能用特意的深度练习框架来完毕，好比：TensorFlow、PyTorch和Keras等。
正在说完上面的合于模子锻炼的内容之后，接下来要说的是第一一面中的第一个观点：全贯穿收集层（Fully connected layer）。
全贯穿收集层凡是是深度练习模子的倒数第二、第三层，它正在收集中紧要起分类器的感化，性子上即是将前面各层锻炼获得的特性空间线性地变换到另一个特性空间（即，结果空间——实在即是结果集）中。结果空间的每一个维度城市受到源空间一起维度的影响，数据被行使得很敷裕，因此可能很确实地将得回分类结果。这么说比力笼统的话，可能深奥体会为，历程全贯穿层的盘算之后，方针预测结果即是前面各层结果的加权和了。以全贯穿层结成的神经收集也叫全贯穿神经收集，全贯穿神经收集正在基因组学里也都有所利用，好比一着手我提到的剪接位点预测，再有致病突变预测、基因外达预测特定基因区域内顺式调控元件的预测等，但全贯穿层神经收集运算量很大。
接下来，咱们用深度卷积神经收集（也即是CNN）行为例子，先容序列形式特性的涌现历程。如图5 所示，这个模子要通过神经收集预测TAL1-GATA1转录因子复合物的团结亲和力。
图中，从左到右，第一层永诀以 GATA1 和 TAL1 转录因子的身分为权重滤波器，滑动扫描统统 DNA 序列，然后卷积盘算每一个扫描框中的结果变成一个权重矩阵（b-c），再利用 ReLU 激活函数——这个激活函数会将负值从新赋为0，正值则坚持稳固，进一步做运算。然后再用最大池化操作（图中的Max pooling），获取身分轴上各个接续窗口内的最大加权结果，再传入下一个卷积层举办新一轮的运算和特性锻炼，历程与第一个卷积层相似，最终再历程一个全贯穿层，获得最终思要的预测结果。目前行使 CNN 对序列特性预测转录因子团结位点的办法有三个，永诀是DeepBind、DeepSEA和Basset。并且这是目前 CNN 正在基因组序列特性预测方面做的比力得胜的例子。
先容完CNN之后，咱们着手讨论轮回卷积神经收集——简称RNN。鉴于它的特性，目前它紧要正在基因组远端调控预测方面有所操纵。这是由于 RNN 比拟于 CNN，它加倍适适用于管束序列化的数据，包罗年华序列数据、道话数据、文字翻译以及 DNA 序列数据，并且 RNN 对每一段序列单位都利用肖似的操作，参数之间由必定的办法举办共享。
鉴于 RNN 模子的这些特征，它既可能有用地正在DNA序列的随便身分进取行绽放读码框的预测，也可能用来识别某类特定的输入序列，好比肇始暗号子预测、终止暗号子预测等。比拟于CNN，RNN模子的紧要上风正在于，RNN模子可能很自然地管束长度转变很大的DNA序列，好比mRNA序列就很适合通过RNN模子来举办管束和说明。倘若CNN要到达相似的效益，必要作出良众繁琐的模子调度。只是，因为 RNN 只可对序列举办向日到后的按序操作，于是也不太容易举办并行化管束，这就导致它的速率要比 CNN 模子慢良众。正在基因组学的利用方面，RNN 紧要是用正在单细胞 DNA 甲基化预测、RNA binding protein预测和外观遗传学中DNA长序列可及性的预测（也即是长序列调控的预测）。倘若你对这一块感风趣可能尝尝 deepTarget/deepMiRGene，它们即是干这些工作的。其余，比来有一项探讨涌现，RNN模子还可用正在测序数据的碱基识别（即Base-calling）。这正在三代测序数据的Base-calling中有利用，DeepNano 即是通过构制符合的 RNN 模子对 Oxford Nanopore 测序仪所产出的长读长测序序列举办碱基识此外办法。
图卷积神经收集模子（GCN）图6(d)，正在基因组学中涉及的利用还很少。它比力符合的利用场景是卵白质之间互感化的收集或者基因与基因之间的调控收集上。由于这两个方面的收集，正在逻辑上都将是以图布局的大局透露。图卷积神经收集通过图中代外个别特性的节点和节点与节点之间的贯穿性来实行机械练习劳动。固然利用还比力少，但GCN本质上供给了一种说明图布局数据的新办法，值得正在基因组学中举办更众的实验和利用，好比可能实验行使它来治理肿瘤亚型的分类等。
第二一面要先容的内容是“众劳动练习和众模态练习”。之因此涉及到这个方面，是由于基因数据本质上并非只要 DNA 序列这一类遗传方面的数据，还涉及到转录组、外观组点缀、卵白组等众组学数据，并且数据正在相互之间存正在着必定的内正在相合。何如管束和整合这些众组学数据就涉及到“众劳动和众模态练习”这个题目了。正在众模态练习模子的组成中，它有一个总吃亏函数，它的值是各个模态数据吃亏函数之和或者加权和，这取决于各个模态之间吃亏函数的结果是否不同伟大。下面图7.a-c 是一个众劳动和众模态练习的示图谋。这类模子的锻炼往往比力贫乏，由于必要同时优化练习收集中众个区别的吃亏函数，而且往往还得做出符合的弃取，每一个弃取都要有合理的内正在道理。并且倘若区别的类型的数据之间，展现了较为紧要的权重失衡的话——好比展现”一超无强”的情景，那么最终的模子或者仅能代外一小撮数据的结果，这就会让模子展现紧要差错。
基因组学规模，仍然得胜利用众劳动练习和众模态练习的一个场景是对众种区别的分子外型的预测，好比前面提到的转录因子团结位点、组卵白标志、DNA可及性说明和区别机合中的基因外达等这一类与转录组学和外观基因组学合联的众组学探讨。
这一一面咱们来说说迁徙练习。迁徙练习与上述内容都区别，它是一种治理锻炼数据稀缺题目的机械练习办法。由于数据稀缺或者数据缺失的情景下，重新锻炼统统模子或者是不行行的。那么一个取而代之的办法即是利用近似布局的劳动，以及由它锻炼获得的模子的民众半参数来初始化咱们的方针模子。你可能体会为，这是一种将先验常识整合到新模子中的机械练习办法，它可能正在必定水平上治理锻炼数据不敷的题目。好比 图8 这个例子，你可能看到正在这个例子中，源模子的数据很宽裕，且源模子中第一个子模子的布局和预测结果的大局都跟方针模子近似（都是椭圆），那么这时咱们就可能将源模子里这个子模子的合联参数迁徙到下方的方针模子里，对方针模子举办初始化，接着再行使有限的锻炼数据对方针模子举办更新就可能了。
正在基因组学中，长途调控的预测模子就利用到了迁徙练习。只是迁徙练习正在组学方面的利用还短少长远的探讨，好比目前照旧不了了应当何如采用符合的源模子、以及源模子中有哪些参数适合共享到方针模子中等。
这个题目对待深度练习来说是天资的，但它相合着深度练习是否适合被敷裕利用到性命壮健规模。咱们清爽深度练习模子的一个题目是黑盒子效应——咱们无法得知模子的实在锻炼细节以及中央特性参数的转变。这对待基因组学探讨来说是倒霉的，这是由于组学探讨最终的任事对象是咱们人类自己的壮健（格外是庞大的壮健题目），没有人真的情愿将庞大的壮健题目交给一个没人体会的黑盒子管束，因此咱们仍然有需要对深度练习模子的可证明性举办必定的探讨。但缺憾的是目前对深度练习模子的黑盒子效应，好似尚未有格外有用的解密办法。目前紧要是通过不休给出示例数据，探查输入和输出结果之间的相合来臆想和评估模子所用到的特性和权重，给出特性紧要性评分（Feature important score），可用的办法包罗：归因分数、合联性系数或权重共享系数等。只是正在深度练习规模，比来有一个称为DCell的模子，它提出了一种称为“可睹神经收集”的技艺，通过它可能查抄神经收集的锻炼情景，进而再刷新神级收集的可证明性。
最终这一面协商非监视练习正在基因组学方面利用的题目，这里紧要先容主动编码机（Autoencoder, AE）和天生顽抗收集（generative adversarial networks，GANs）这两类非监视练习办法，个中天生顽抗收集正在基因组学的初次利用是正在单细胞基因组探讨中。非监视练习与有监视练习区别，它的锻炼数据并不必要标志。模子的方针是通过练习数据聚集有效的特性和属性来外征统统数据集的布局。最样板、最被熟知的非监视练习办法即是k-means聚类和降维算法（如PCA、tSNE）。神经收集也有相似的办法，好比主动编码机（AE），即是一种可以将数据嵌入到一个含有规避瓶颈层的低维空间中并对原始数据举办重筑的办法，如图9所示。
这个办法很格外，并且额外有效的一点是它可以对原始数据举办有用的“降噪”！这是由于收集中央有一个维度较低的瓶颈层存正在，它会迫使收集正在练习的历程中尽或者提取更有效的特性，那些不紧要的特性转变会被主动漏掉。并且，正在该瓶颈层中的数据仍然完毕了降维，这个正好可能与PCA相照应。别的，主动编码机适适用于缺失数据的增添，格外是可能用来增添基因芯片数据的缺失值和管束RNA-seq中基因外达数据中的格外值管束。另一个非监视神经收集是天生模子。天生模子区别于前面提到的办法，它的方针是练习数据的天生历程。代外性的例子即是天生顽抗收集（GANs）和可变主动编码器(VAEs)。个中，VAEs办法可能天生新的随机样本，可能用正在单细胞和RNA-seq数据中，用来协助寻找统计道理的结果。GANs是另一种天生模子，它包蕴一个辨别器和一个天生器收集。这两个收集会举办联合锻炼，天生器用来天生真正的数据点，而辨别器则用于分别样本是真正的或是由天生器所天生，图9(c)也是对该历程的一个描写。只是目前GANs，正在基因组学中的利用额外有限，目前只看到正在打算和卵白质合联的DNA探针方面有所利用。
合于目前深度练习正在基因组学方面的利用和探讨情景就先容到这里了。正在改日深度练习笃信是会深切影响这个规模的，实在来说紧要有三个方面：
除此之外，对待改日再有一个额外紧要的规模，那即是因果揣测。不管是古板的机械练习办法，或是现正在的深度练习办法，都很难用于预测数据之间的因果相合，而因果相合对待性命科学探讨来说异常紧要，目前虽有过少许实验——好比孟德尔随机，但实在都比力开端。总的来说，这是一个很值得咱们去进一步探究的地方，可能从零着手，而这也是咱们的机遇！
最终再有一句话：不要迷信模子。模子是治理题目的器材，用好器材是咱们的寻觅，但题目的治理应以人工本。