量子群智能！！！

本周重要心得：

我发现对我而言，文章的大意和思路能够很快的把握，但对细节的理解就比较吃力了。但如果总是不理解细节，就永远呆在”门外面“，那可不是一个合格的Reasearcher.总之，要学会判断。

下面来梳理总结一下本周学习的几篇论文，以及一些比较新鲜的知识点。

1. Robust Supervised Learning Based on Tensor Network Method

这篇文章介绍了利用张量网络进行监督学习(MNIST分类)，当然这是一般情况的张量链参数又多还非常容易出现梯度消失，因此本文提出了一张将长张量链分解为短张量链的方法，从而减少参数、加快收敛速度、可以通过SGD进行更新。

其主要思想是将每个神经元与多个图片中的像素相联系，在每次更新时仅仅用一小批样本去计算梯度，这样又能加速还能优化算法，如下图所示

MNIST每张图片是$28\ast 28=784$个像素，先将其压缩成为$14\ast 14=196$个像素，然后每7个像素映射到一个神经元$x$上，因此一共对应着28个权重(神经元)，就像图中所表示的那样。下图是添加了一个线性层的Short-chains网络结构

此图结构跟上图略有不同，这个图中共有14个MPS态，也就是说图片(196pixels)被分成了14份，每一份有14个像素及其对应的神经元。

在实验上，这篇文章采用MNIST数据集，讨论了张量链Error Rate与bond strength和learning rate的关系，同时将LeNet-5(CNN网络的一种)、STN(50)、STN(10) with LT这三种网络进行对比，尽管LeNet-5准确率更高，但是它有很多的参数、并且更新速度慢，STN(50)同样具有这个问题，而经过本文优化的短张量链STN(10) with LT则从参数上、收敛速度上都有更好的优势，而且准确率还不会很低。

2. 基于量子群智能优化算法的频谱感知技术研究

借这篇文章了解了一下群智能算法以及其量子版本，比较重要的是学到了将量子结合到智能算法的方式。

群智能计算

用大自然的智慧来启发我们对各种各样的搜索问题进行近似求解

群智能算法例如粒子群算法、人工蜂群算法等通过对群体生物的觅食性行为进行模拟具有良好的性能。但是在求解一些复杂优化问题时会存在收敛速度与收敛经度之间的矛盾，在求解高维问题时，需要大规模的种群和较多的迭代次数，这无疑增加了计算量和运行时间。而量子群智能计算内容主要包括：量子粒子群算法、量子蛙跳算法、量子蜂群算法、量子细菌觅食算法、量子神经网络、量子文化算法、量子文化群智能、量子膜群算法和多目标量子膜群算法。量子群智能可以解决例如多用户检测、频谱分配、决策引擎和频谱感知等通信技术中的热点和难点问题。

群智能算法优化的频谱感知方法

看了一下混合蛙跳算法SFLA，它是一种将全局搜索和局部搜索结合起来的方法，对数据分成的m个族群不断迭代进化，最终不能能得到各个族群的最优适应度和所有族群中的最优适应度。而量子蛙跳算法QSFLA仅在SFLA的基础上修改了青蛙位置的表示方式以及更新方法，青蛙的位置移动恰好可以用各种量子门的酉变换实现。该算法通过Sphere、Sum Squares、Griewank和Ackley函数进行了测试，结果表明量子混合蛙跳算法能够较快达到最佳适应度的平均值。量子细菌觅食算法也是类似的思路，只不过改成了用量子态表示细菌的位置，用量子门进行趋向性更新，直到收敛。

那量子混合蛙跳算法、量子细菌觅食算法这些引入量子不确定性的算法是如何应用到频谱感知技术中的呢，这时候就体现出数学公式的重要性了。在上一段SFLA的介绍中我们提到了算法的目的是寻找族群最优适应度，这个适应度可以理解为满足特定条件的一组解，同loss function的作用一样。目标问题就是协作频谱感知检测概率最大化，那么根据这个概率计算公式设计出适应度函数就可以解决该实际问题了。

3. 量子并行神经网络

在阅读过程中了解到了占据当今机器学习主导地位的神经网络一直难以量子化，关键原因在于神经元激活函数是非线性的和耗散的，这和量子力学线性可逆的动力学特征相矛盾。早期量子神经网络的研究集中于Hopfield等基于关联内存而不是非线性激活函数的，关联内存可以存储n个网络状态，然后对每个输入数据，输出一个与输入有最短汉明距离)的网络状态。Hopfield具有联想和记忆功能，1984解决TSP旅行商问题

Hopfield Network

Encog可以用来绘制各种各样的神经网络结构图，并且可以生成Java、C#、VisualBasic代码

一个简单的Hopfield网络如上图，它是无监督学习，没有输出，只是去匹配一些模式，属于反馈式类型

这篇文章提出了一种量子并行神经网络，神经网络的非线性主要体现在激活函数的作用上，如果没有非线性函数（又称为激活函数），即使FFNN(FeedForward Neuro Network)层数再多，也只是一个线性划分分类器，用途有限，因此激活函数是大部分ANN的关键组成部分。

(1) 在先前的量子神经网络工作上做出了改进，提出了一种可完全物理实现可向深度发展的量子神经网络结构模型。
(2) 利用量子并行性提高神经网络的预测性能，并且采用标准测试集进行数值仿真，验证了量子效应在机器学习中的作用。
(3) 提出了量子记忆体的概念，初步讨论了其在MNIST手写体识别中的应用。

文中引入了一类新的量子神经元，称为Quron，以此为基础构建完整的QNN，Quron的示意图如下图2所示，y可以通过对x进行酉变换得到。其Quron的量子线路图如下图右侧所示，其中$x^1...x^m$表示输入的m个数据，它们还需要转换成二进制的形式用量子态表达， 也就是每个$x$对应$d$个量子比特，然后对这些比特进行旋转操作就可得到$y$.

QPNN结构示意图如下所示：

同时为了计算方便，本文还设计了一个量子多选门(QMUX)，它能够为了产生更多基函数，进一步利用量子并行性，同时计算多个不同权重或结构的神经网络。下面给出一个三层QPNN的量子线路图示例

以上就是本文的主要内容，看的还是有些粗糙，尤其是公式部分，还有些云里雾里，接下来要根据老师的指点继续细读。

周六晚上同赖老师交流了一下关于最近研究的内容和方向，感觉又明确了不少，近期呢主要有三个方向思路可以继续读论文找结合点：

1. 量子并行神经网络和程嵩第四章
2. 量子遗传算法+多宇宙并行
3. 基于张量的大数据多聚类及其安全和高效方法研究和量子计算在增量式大数据并行挖掘中的应用

还有老师发的那几张图片，我觉得还需要时间再消化一下，以上就是本周的总结