杂记 2022

describe: 记录idea或者其他的事情。

4.10

我觉得当前的AI陷入到了一种困局中。maybe并不需要如此大的训练量。

如果果真不需要如此大的训练量的话，那么势必要找到一种方法，可以更加高效地模拟神经系统。我们可以从神经网络的起始出发，原始的神经网络只能根据外界地输入机械式地输出，而后随着神经系统的发展，我们可以自主地控制意识，这种能力称之为逻辑思维能力。而当前的额AI似乎只是在最基础的神经输入输出原理上越陷越深，导致需要无穷无尽的计算量，这显然不可能实现通用人工智能。所以目前缺少的是寻找到逻辑思维这个东西最底层的原理，利用该原理在第一代神经网络（根据外界地输入机械式地输出）之上架构出第二代神经网络（具备逻辑思维能力）。

以上，我认为必须找到逻辑这一概念最低底层的原理。

有个团队认为通用人工智能从CV出发，确实很有道理。确实生物在有了视觉之后一切都不同了。

9.27

最近读了数学之美这本书，深感通信原理在自然语言处理领域的重要性。语言只是信息的载体，而其背后的信息才是真正需要关心的地方。任何关心语言本身的想法都是错误的，比如在文本校对领域，我们不要看着某句话说这地方用词不对，需要改正。而是应该说这地方的用词导致这句话的意思离其应该表达的意思有差别，我们应该修正这个差别。bert做的就很好，它阅读大量预料从而总结出语言所用词汇之间的关系和规律，从而使得模型理解了语言。但是我总觉得Bert以及当前的所有与训练模型还远远不够，还没有达到真正的理解，他们只是在表面上看似洞悉了语言的规律一样。那么人又有什么不同呢？我们知道，人学习语言中的知识不也是得通过大量的阅读吗？从这个角度来看，确实人和语言模型（Bert、gpt）等没有什么大的差别，但是我们忽略了一点就是人是通过语言表达自己的思想（含义、decode），但是语言模型只是