「小模型周」已经过去，但小模型的新战场才刚刚开辟。最近，GPT-4omini和MistralNeMo的发布引起了广泛关注，这些「麻雀虽小，五脏俱全」的小型模型成为了业界新宠。这引发了一个问题：大模型是否将失宠？Scaling Law是否失效？前OpenAI和特斯拉AI研究员Andrej Karpathy最近转向AI教育，并在推特上分享了关于科技巨头转向小模型研发背后新趋势的见解。他预测未来的模型会更小，但仍然更智能。
Karpathy指出，许多大公司和新兴独角兽最近发布了与其他同行相比更紧凑、更强大、更实惠的人工智能模型，其中包括OpenAI的GPT-4omini。他认为这一趋势将继续发展，预示未来会看到许多体积小巧但功能强大的模型问世。
大模型在发展初期曾因其处理更多数据和需要更大计算能力的能力而备受推崇。这主要受以下几个原因驱动：首先是数据驱动的需求。当前生活在一个数据爆炸的时代，大量的数据需要强大的模型来处理和理解。大模型通过大规模数据的训练，能够发现更深层次的模式和规律。
其次是计算能力的提升。随着硬件技术的进步，例如GPU等高性能计算设备的发展，大模型的训练得到了有效支持，使得训练大规模、复杂模型成为可能。
大模型追求更高的性能和精度，在语言理解、生成、图像识别等多个领域表现出色。它们拥有强大的泛化能力，能够处理未知问题并基于之前学习的知识做出合理推测和回答。
随着时间推移和实际应用的需求，大模型在部署和运行中面临着高昂的成本和资源消耗，例如计算资源、存储资源以及能源消耗等问题。相比之下，小模型更易于在各种设备和场景中部署，同时满足低功耗和高效率的要求。
从技术成熟的角度来看，通过大模型的探索和理解，可以将其知识和模式应用于小模型的设计和优化中。这使得小模型在保持大模型性能甚至更优的情况下，实现了规模和成本的降低。
尽管小模型正在成为新的趋势，Karpathy强调大模型仍然是必要的。他指出，小模型往往是从大模型中提炼和演变而来，每个模型都在不断改进，为下一个模型生成训练数据，直到出现「完美的训练集」。
尽管大模型面临着部署和资源消耗的挑战，但它们在某些任务上仍然表现出色。小模型的兴起代表着对于更高效、更经济的解决方案的追求，而大模型仍然在为AI技术的进步和创新做出重要贡献。
1、奇性定理
指在现在的宇宙膨胀相的开端，时空被高度地畸变，并且具有很小的曲率半径。
霍金70年代研究爱因斯坦的引力理论，他发现在很一般的条件下，空间和时间一定存在奇点，时空似乎被无限弯曲。 不过当时还不清楚奇点是否真实存在。 伦敦伯克贝克学院的罗杰·彭罗斯（Roger Penrose）证实，奇点确实会在黑洞中形成。
后来，彭罗斯和霍金将同样的想法应用到整个宇宙中，并表明爱因斯坦的理论预测我们在遥远过去的奇点，这就是宇宙大爆炸。 霍金与彭罗斯一起证明了著名的奇性定理，为此他们共同获得了1988年的沃尔夫物理奖。
2、黑洞理论
1974年，霍金提出黑洞蒸发的概念，认为在黑洞周围，在虚粒子产生的相对瞬间，会出现四种可能性：直接湮灭、双双落入黑洞、正粒子落入黑洞而负粒子逃脱、负粒子落入黑洞而正粒子逃脱，而且最后一种可能性最低。 霍金据此进一步提出了微型黑洞（也称为原初黑洞）的概念。
史蒂芬·霍金于2014年1月26日的论据：爱因斯坦的重力方程式的两种奇点的解，分别是黑洞跟白洞。 不过理论上黑洞应该是一种“有进没出”的天体，而白洞则只能出而不能进。 然而黑洞却有粒子的辐射，所以不再适合称其名为黑洞，而应该改其名为“灰洞”，先前认为黑洞可以毁灭信息情报的看法，是他“最大的失误”。
3、无边界宇宙理论
霍金在80年代初，创立了量子宇宙学的无边界学说。 他认为，时空是有限而无界的，宇宙不但是自洽的，而且是自足的，它不需要上帝在宇宙初始时的第一推动。
无边界宇宙理论还把上帝从“造物主”中摒除出去，他认为，时空是有限而无界的，宇宙不但是自洽的，而且是自足的，它不需要上帝在宇宙初始时的第一推动。 宇宙的演化甚至创生都单独地由物理定律所决定，这样就把上帝从宇宙的事物中完全摒除出去，后来宇宙背景辐射探测者对太空背景温度起伏的观察证实了这个预言，也证明了世界上是无神论的说法。
4、霍金辐射霍金运用弯曲时空背景下的量子场论方法，证明黑洞像热力学黑体一样对外辐射，从而提出了霍金辐射。
在“真空”的宇宙中，根据海森堡不确定性原理，会在瞬间凭空产生一对正反虚粒子，然后瞬间消失，以符合能量守恒。 在黑洞视界之外也不例外。 斯蒂芬·威廉·霍金推想，如果在黑洞外产生的虚粒子对，其中一个被吸引进去，而另一个逃逸的情况。
如果是这样，那个逃逸的粒子获得了能量，也不需要跟其相反的粒子湮灭，可以逃逸到无限远。 在外界看就像黑洞发射粒子一样。 这个猜想中的辐射被命名为“霍金辐射”。 由于它是向外带去能量，所以它是吸收了一部分黑洞的能量，黑洞的质量也会渐渐变小，消失；它也向外带去信息，所以不违反信息定律。
5、宇宙波函数霍金与Jim Hartle合作时，共同提出了“宇宙波函数”，“宇宙波函数”从理论上讲，可以用来计算我们所看到的宇宙特性。
史蒂芬·威廉·霍金是本世纪享有国际盛誉的伟人之一，剑桥大学数学及理论物理学系教授，当代最重要的广义相对论和宇宙论家。 荣获英国剑桥大学卢卡斯数学教席，这是自然科学史上继牛顿和狄拉克之后荣誉最高的教席。
霍金在《大设计》中强调，宇宙不需要一个造物主或“上帝”，以“哲学已死”开篇，这意味着人类将从愚昧的自我奴役超脱出来，其否认了纯哲学和宗教可以真正解释自然，这也表明各大宗教只是古代精神世界探索未知，追求不灭解脱的体系，而非客观真理。
随着时代的进步，人类文明也当奋起直追，不甘落后，这就是为什么世代有识之士追求存在、生命和宇宙的意义。 解决这些命题本来应该是哲学家的任务，可惜科学的高度发展使得哲学无法跟上。
霍金希望解开宇宙诞生之时的奥秘，1970年代时，霍金将量子力学应用于解释黑洞现象，在之后的30年中，用量子力学解释整个宇宙已经变得更加困难了。 霍金想找到一套可以完美解释整个宇宙现象的理论来说明137亿年诞生直到现在的宇宙，但是多年过去了就算无限接近他仍然没有得出结论。
按照他的量子力学理论，宇宙诞生是大爆炸产生的，这是一个被压缩的无限小却具有超大重力的物质（也可以理解成密度无限大）爆炸的产物。 量子力学的理论范畴不能够解释这一个过程是如何进行？为什么会这样？霍金说“那必须有一套可以描述小规模重力的理论”。
霍金的“灰洞”理论认为，物质和能量在被黑洞困住一段时间以后，又会被重新释放到宇宙中。 他在论文中承认，自己最初有关视界的认识是有缺陷的，光线其实是可以穿越视界的。 当光线逃离黑洞核心时，它的运动就像人在跑步机上奔跑一样，慢慢地通过向外辐射而收缩。
“经典黑洞理论认为，任何物质和辐射都不能逃离黑洞，而量子力学理论表明，能量和信息是可以从黑洞中逃离出来的。 ”霍金同时指出，对于这种逃离过程的解释需要一个能够将重力和其他基本力成功融合的理论。 在过去近一百年间，物理学界没有人曾试图解释这一过程。
对于霍金的“灰洞”理论，一些科学家表示认可，也有人持怀疑态度。 美国卡夫立理论物理研究所的理论物理学家约瑟夫·波尔钦斯基（Joseph Polchinski）指出，根据爱因斯坦的重力理论，黑洞的边界是存在的，只是它与宇宙其他部分的区别并不明显。 现代量子物理学认定这种物质信息是永远不会完全消失的。
30多年来，霍金试图以各种推测来解释这一自相矛盾的观点。 霍金曾表示，黑洞中量子运动是一种特殊情况，由于黑洞中的引力非常强烈，量子力学在此时已经不再适用了。 霍金的这种说法并没有让科学界众多持怀疑态度学者信服。
现在看来，霍金终于给了这个当年自相矛盾的观点一个更具有说服力的答案。 霍金称，黑洞从来都不会完全关闭自身——霍金辐射，它们在一段漫长的时间里逐步向外界辐射出越来越多的热量，随后黑洞将最终开放自己并释放出其中包含的物质信息。
2016年8月16日，海法以色列理工学院的教授杰夫斯坦豪尔（Jeff Steinhauer）在出版的《自然物理学》杂志中一篇论文上证明了霍金辐射的量子效应。 他制造一种声音黑洞而非光黑洞，使用的是带声音粒子即声子“视界”的长管。
2014年斯坦豪尔教授发现，视界上随机产生了声子。 在他最新的结果中，斯坦豪尔证明这些声子是一对相关声子中的一个，从而证明了霍金辐射的量子效应。
参考资料：斯蒂芬·威廉·霍金-网络百科
