2020量子物理与智能计算交叉研讨会(QCAI2020)总结

本周继续根据上周的研究思路读论文学习，以下是一些学习收获

量子并行神经网络和程嵩第四章

本周重新温习了一下Bilibili冉仕举的《张量网络基础课程视频》，主要复习了纠缠熵面积律和MPO简述这一部分，纠缠熵面积定律的内容是：

对于D维格点系统的量子态，将体系二分后，两部分之间的纠缠熵满足

$S \sim O(l^{D-1})$

其中l代表空间尺度

推论：MPS满足一维量子态的纠缠熵面积定律，一维纠缠熵面积定律S是一个常数，只与辅助指标的维度有关。

二维纠缠熵面积定律意味着一条直线无法对张量网络态进行二分，例如PEPS就满足的是二维量子态纠缠熵面积定律，要切分出PEPS中的一块，必须沿两个方向，如下图所示。

MPO与一维热力学计算，TEBD可以用于计算一维格点模型的热力学性质，被称为线性张量重整化群算法。TEBD算法思路有两种.第一种是可以仅用一层MPS，让张量网络进行逐层收缩到MPS上，第二种是可以用MPO表示并直接进行收缩，最终都是为了计算有限温度密度算符。看完之后我又回过头来看程嵩的第四章，感觉很多地方豁然开朗，就能看明白了

总结一下程嵩第四章的内容就是用MPO代替神经网络的全连接层，因为全连接层参数实在是太多了，因此这种方式可减少参数，并基于MNIST和CIFAR10进行了实验，下面一张图就可概况本章的核心思想。这是一个不错的思路，可以直接用于任何具有全连接层的神经网络，HTN中的线性层可以考虑用MPO进行替换。

另外量子并行神经网络又看了一遍，在这次细看的过程中有一些困惑同时又有一些新的收获。

困惑呢就是有两个公式推不出来，一个是神经元y的叠加态表示，另一个是概率的计算（用到了欧拉公式），问了他们也还是没弄出来，只能先放一放，纠结这个意义也确实不大。

新收获就是Quron可以看作sigmoid神经元的量子化版本，是为了引入非线性，基于测量与编码。同时这个量子多选门MUX的目的是为了更多的基函数，进一步利用量子并行性，同时计算多个不同权重或结构的神经网络。

同时在A quantum-implementable neural network model这篇文章中也了解到这个量子多选门MUX也是充当了一个Dropout层的作用，通过相位theta每次随机的丢弃一些神经元，这样能够显著的减少计算的开销，改善分类结果。但是实验部分讲解不是特别详细，仅是贴出了实验结果，实验细节不太清楚，比如如何用MATLAB进行量子线路模拟就不是很清楚。

将上面的两个方案结合到一起就是一个不错的创新，程嵩这个MPO代替全连接层的方案基于张量网络，完全可以通过引入张量网络的量子态表示和运算，构造出Quantum MPO用于神经网络结构的优化，从而减少参数并提高算法的效率。最后我将这个思路进行了简单的整理，记录在了Overleaf上，目前实验部分还是很抽象，思路不清晰。

量子遗传算法+多宇宙并行

量子多宇宙并行算法主要是提出了一种神经网络中的权重初始化方式.因为一般的神经网格的权重都是随机初始化的,这可能会存在梯度消失或者梯度爆炸的问题.这篇文章QGA算法通过,针对在同一个宇宙内部的量子个体,算法采用的是量子旋门调整来搜索最优解.文中采用的量子交叉策略如下

（1）按单个宇宙中染色体种群整体30%概率从染色体种群中选取个体.

（2）对1）中选择的染色体种群分别进行一次测量，得到一组确定$Pa_i$和$Pb_i$，计算它们的适应度值.

（3）以星形宇宙模型为例，首先在模型中选取另一个宇宙，以该宇宙的最终演化目标作为当前个体的演化方向，然后对选取的量子染色体个体进行一次量子旋转门的演化操作.

（4）重复1）~3）操作，直到全部宇宙都完成量子个体的交叉操作.

实验中的ORL人脸识别率约在90%左右，仅给出不同算法的运行时间上的差别，但不知数据是否可靠，因为这篇文章缺乏实验细节，即采用什么平台来模拟或者实现量子门的运算和操作。对量子比特的操作也很简单，只是做了一个旋转角的操作.在这里遗传算法是为了优化权值，适应度函数也没给，相当粗糙了.

2020量子物理与智能计算交叉研讨会(QCAI2020)

此次“量子物理与智能计算交叉研讨会”将讨论量子物理、计算机科学与技术、人工智能等交叉学科的前沿进展，以及目前量子科技发展的挑战和机会。主题包括（且不限于）人工智能在量子物理的应用、量子人工智能、量子机器学习、量子信息检索、自然语言处理、现阶段量子技术和人工智能技术的挑战等，与我目前的研究方向非常吻合，同时也是之前刘丁老师推荐我参加的workshop。

这次分享的大佬还是蛮多的，我就简单总结回顾一下几个我印象比较深的老师。

翟荟（清华大学）：Quantum Information Scrambling and Quantum Neural Network

• Shen, Huitao, et al. “Information scrambling in quantum neural networks.” Physical Review Letters 124.20 (2020): 200504.

在这个汇报里，主要是提出了一种量子神经网络的概念，量子神经网络的概念与经典神经网络的概念对比如下图所示

从图中可以看到，从经典到量子，对应着以下变化

• 输入从向量变成了波函数
• 从各种各样的函数(线性矩阵变换+非线性激活函数作用)变成了酉变换
• 输出从数字(一般表示预测类别或者预测值)变成了测量
• 经典通过对输入信息进行特征抽取，而量子神经网络则保存所有输入信息(可逆)

这里定义了平均Operator size去刻画一个量子门电路的结构（主要是看进行了多少有效的酉变换）

$\overline{\mathrm{Size}}=\int d \hat{\mathcal{U}} \operatorname{size}\left(\hat{\mathcal{U}}^{\dagger} \hat{M} \hat{\mathcal{U}}\right)$

常见的量子门电路结构如下

而将这些一块一块的酉变换电路进行集成，从而批量能设计出深度量子线路结构，而作者呢通过实验验证，这个cubic结构的OperatorSize最高，采用不同的结构进行监督学习任务，查看loss和acc可以发现模型的准确率跟刚刚提到的指标Operator Size成正相关，也就是说还是Cubic结构的模型效果最好，BrickWall效果最差。

另外一个指标Tripartite Information用来描写信息扩散的程度，也通过各种各样的实验去验证不同结构和深度的互信息关联程度。

吕定顺（华为2012实验室）：HiQ3.0量子计算模拟器及开发者工具

HiQ3.0是量子计算模拟器，它能帮助我们设计并实现一些复杂的量子线路，这对科研者帮助很大，能够帮我们快速高效的进行建模。与此类似的还有百度的量浆、量脉、量易伏等等，阿里的太章量子电路模拟器，其背后是有强大的云计算资源支持。这部分比较重要的是了解一些这些不同量子计算工具的优劣，从而选择一款适合我们目前开发研究的工具。

华为量子计算平台所包含的一些主要功能

下面这张图是国内大厂的量子方面的研究进展

国内外未来量子计算技术的发展方向

NLP专场

这部分主要由以下三位老师进行解释,由于我对NLP不是很了解,因此将其放在一起

• Guo, Qipeng, et al. “Star-transformer.” arXiv preprint arXiv:1902.09113 (2019).
• Niu, Yilin, et al. “Improved word representation learning with sememes.” Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2017.
• Xin, Ji, et al. “Improving Neural Fine-Grained Entity Typing With Knowledge Attention.” AAAI. 2018.

邱锡鹏（复旦大学）/刘知远（清华大学）/张鹏（天津大学）

NLP的一些简单介绍

• 让计算机去理解和使用人类语言，都是在完成一个语义结构预测的功能，这个领域有很多任务如下图所示

• 对语言的深度理解需要一定的知识

 如图所示，人类知识分为不同的层次，从语义的层次理解*“The summer is like an oven.”*，**通过层层递进，在不同的语境中同样一句话表达不同的含义，那么这就需要计算机掌握对不同层次知识的理解**。

NLP的一般处理过程

• 将句子进行分词、word2vec生成词向量、将词向量输入各种神经网络训练、最后进行评价

• NLP常用的一些模型

目前最适合NLP的模型是Transformer，还有一些可以迁移的预训练模型，如下所示

• Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805 (2018).

Google Bert语言模型，NLP的领域的重要进展，在机器阅读理解顶级水平测试SQuAD1.1(Wikipedia articles question-answer pairs)中表现出惊人的成绩，目前cited: 12577

常用的中文汉字有 3500 个，这些字组合成词汇，中文词汇数量高达 50 万个。假如词向量的维度是 512，那么语言模型的参数数量，至少是512 * 50万 = 256M。

NLP与量子理论

先来看看量子信息检索的发展阶段

在建模句子的序列关系时，利用酉演化可以很好的模拟马尔科夫链的过程，将每个词映射成一元向量，作为量子系统的输入，用量子概率去建模语言。

单词表示成投影算子，词组表示，文档测量算子表示。经典概率计算语言模型和量子版本的语言模型对比见下图

因此量子语言模型的优势为

• 使用密度矩阵建模一句话的概率分布
• 密度矩阵的维度不用随着词表的维度增加而增加

HowNet语义知识库：这里

清华大学NLP实验室: Github地址

刘丁（天津工业大学）和冉仕举（首都师范大学）

这是我们非常熟悉的两位大佬啦,我相信不用我再进行过多的介绍,他们的资料在此次Workshop官网上有很多介绍,我们目前做的很多工作内容与他们两个密切相关,同时他们的论文大部分我们也都读过,因此停下来整体感觉还是比较棒的.

刘丁老师呢主要讲了Unitary algorithm inspired by MERA那篇文章,就是用五阶环境张量E和T进行分解处理来更新张量网络,还有就是那篇HTN了,看了不知多少遍的那篇.

• Liu, Ding, et al. “Machine learning by unitary tensor network of hierarchical tree structure.” New Journal of Physics 21.7 (2019): 073059.
• Liu, Ding, Zekun Yao, and Quan Zhang. “Quantum-Classical Machine learning by Hybrid Tensor Networks.” arXiv preprint arXiv:2005.09428 (2020).

整个过程中他也反复的提到了参数过多/过拟合的问题,同时他也抛出了他的一些思考,如下图所示,这些问题也是目前我们正在想办法去解决的部分

• 有关张量网络机器学习的部分理论问题尚未廓清

  — 参数复杂度、泛化误差界、稳定性、面积率对表征能力的影响等等

• 张量网络是否适用于构建大规模的深度学习模型？

• 张量网络适用于何种机器学习问题？

  — 输入数据可以用更适空间张量网络来表征的问题

  — 概率图模型

• 量子线路如何实现神经网络中的非线性变换和扇出操作？

• 目前基于张量网络的机器学习方案在机器学习的各个研究领域中距离SOTA的实验结果尚有较大距离，我们甚至不确定张量网络是否有可能逼近这些SOTA的结果

这里解释一下SOTA(State-of-the-Art),它表示目前最高水平的论文中的机器学习算法应用结果,在Browse State-of-the-Art里列出了各个领域目前最好的一些Benchmark,同时还都提供有代码,大家有兴趣的可以去查阅.

冉老师呢文章超级多,可是今天他就讲了一个BTN,论文信息如下

• Ran, Shi-Ju. “Bayesian Tensor Network and Optimization Algorithm for Probabilistic Machine Learning.” arXiv preprint arXiv:1912.12923 (2019).

这篇文章提出了一个基于概率诠释的张量网络,叫做**贝叶斯张量网络,其作用类似于MPS/PEPS/TTN等张量网络,但是其可解释性更强,**它能够处理张量网络计算中指数大的问题,同时也能避免出现神经网络中出现的梯度消失问题,在未来BTN可能用于解决更多的物理方面的模拟问题.

总结一下就是刘老师和冉老师这次提出的两个模型是不太一样的,刘老师提出的是一种Framework,其中的张量网络还是TTN/MPS这些,而冉老师直接提出一种新的张量网络结构用于解决一些特殊的问题.当然这两种算法都可用于解决各种各样的监督学习任务.

孙正之（中国科学院大学）：Tensor Network: A Bridge of Quantum Physics and Machine Learning

孙老师的报告有一段我没有听到,他主要介绍的是以下两篇论文的工作

• Yang, Y., Sun, Z. Z., Ran, S. J., & Su, G. (2020). Visualizing Quantum Phases And Identifying Quantum Phase Transitions By Nonlinear Dimensionality Reduction. arXiv e-prints, arXiv-2006.
• Sun, Zheng-Zhi, et al. “Generative tensor network classification model for supervised machine learning.” Physical Review B 101.7 (2020): 075135.

GTNC定义了一种基于量子的角度旋转去代替BP算法,用fidelities代替欧式距离/曼哈顿距离,很少的参数

我个人觉得挺棒的,非常推荐大家去阅读,了解以下处理的一些思路.

潘峰（中国科学院理论物理研究所）：任意结构张量网络收缩

报告全称为*《Contracting Arbitrary Tensor Networks: General Approximate Algorithm and Applications in Graphical Models and Quantum Circuit Simulations》*，这个任意张量网络结构的收缩倒是令人耳目一新。

无论是google还是QAOA量子线路，在线路上的酉变换并不一定都是有规律的(这跟昨天翟荟的思路恰好不一样)，大部分量子门的分布具有一定的随机性，谷歌量子计算机线路见下图（这是我第一次看到）

QAOA的线路：

上面两个图就包含很多的随机性，同时实验表明einsum缩并顺序对计算耗时影响很大，尤其是当张量的数目和阶数都非常大的时候,在讲的过程中倒是举了一个例子,待收缩的张量网络结构及收缩过程如下

上图收缩过程的代码: 点击这里,收缩的思路是先任意选择张量进行缩并,优先选缩并后物理指标维度小,作者任务这样的启发式搜索是比较可行的,但是这跟人工指定没有很大的区别,费事也费力,如果能够自动搜索任意张量网络的缩并路径那就牛逼了,这块能否用遗传算法演化拓扑结构,是一个值得考虑的内容.

实验结果分析如下,通过对比不同张量网络收缩过程的误差率体现算法的性能,可以看到误差已经非常接近机器误差了,这跟严格解释已经没有什么区别了.

一些可能存在的问题:冉老师提了几个比较好的问题,如下

1. 能不能用临界矩阵来帮助寻找合适的缩并顺序,作者回答在每两个MPS态收缩之后,张量网络结构发生变化(辅助指标维度等信息),结构变化就很难直接用邻接矩阵表示了
2. 有没有将这个算法与TEBD\HOTRG等算法进行比较,冉老师认为TEBD已经可以很好的处理任意张量网络收缩问题
3. SVD裁剪是否是基于全局正则形式,回答不是,作者的实现仅仅是定义单个mps的正则形式

马星宇（中国科学院大学）：机器学习方法在先进功能材料设计中的应用

马星宇同学将机器学习应用到材料领域，并介绍了目前业界内的一些研究工作，例如无监督机器学习预测锂离子电导率、压缩感知算法预测钙钛矿的稳定性、生成的机器学习模型VAE预测晶体结构

本文主要内容：机器学习加速发现二维光电材料(例如二维铁电金属)，通过机器学习预测光伏带隙，下图是预测过程的一些具体步骤

对于材料性质而言，回归学习的意义更大，压缩感知算法给出物理可解释性。

机器学习在材料领域的应用有以下的问题存在，如何提出更好的算法、模型、方案来处理这些问题是值得深思的，下面这张图给出机器学习应用与材料领域相关的一些问题

这张图能够带给我们思考，如何将我们学习的一些算法或者知识应用到不同的领域，这或许也是量子张量网络机器学习的用武之地。其中的一个特点就是，对于实际领域的应用，一般很少直接用深度学习进行模型的训练和预测，这可能是因为这些具体的领域需要一定的专业知识解释相关的现象，而传统的机器学习算法例如PCA/SVM/DT等算法显然更有优势，那么将张量网络用到材料科学当中？？？张量网络也可以做监督学习，正好弥补神经网络的不足。

最后总结

最后将本次Workshop的一些收获和New Idea总结如下

1. HTN和BTN能否能推广应用到TIS预测/物理/材料/目标检测等领域发挥他们更大的价值
2. 任意张量网络收缩的顺序能否通过程序自行设计(例如基于邻接矩阵的遗传算法)
3. 量子张量网络能否应用到材料或化学等领域,取代经典的机器学习(重点是考虑可解释性方面)
4. 张量网络表示词向量进行自然语言的处理
5. 增量式量子语言模型处理，结合增量大数据处理思想

参考学习资料

NLP必读：十分钟读懂谷歌BERT模型