王奕昕编辑的本文详细分析如下：
7月17日，特斯拉前人工智能总监和OpenAI研究员Andrej Karpathy在社交媒体平台X上宣布了他创立AI原生教育平台Eureka Labs的消息。Eureka Labs的使命是利用生成式AI技术创建教学助理，协助教师设计课程并指导学生学习。首个产品LLM101n是一门本科水平的AI课程，旨在帮助学生训练自己的AI模型。
Andrej Karpathy是人工智能领域的领军人物，尤其在计算机视觉和深度学习技术方面享有盛誉。在加入Eureka Labs之前，他曾是OpenAI的创始成员，并在特斯拉担任AI高级总监。Karpathy在社交媒体上解释了他创业的初衷，即通过AI技术普及高质量的教育资源，提升教育的普及性和深度。
尽管Eureka Labs已经宣布创业计划，但具体产品规划和盈利模式尚未公布。目前在Github上可以找到的第一款课程LLM101n已经引起了AI社区的广泛关注，该课程包括语言建模、机器学习等领域的基础知识以及大模型关键技术课程。
Andrej Karpathy早在特斯拉和OpenAI任职期间就一直是积极的AI教育者，他在YouTube上定期发布关于大型语言模型和人工智能的教学视频，并拥有在线课程《神经网络：从零到英雄》，专门教授构建神经网络的技能。
Karpathy的教育背景包括在多伦多大学学习计算机科学、物理学和数学，并在斯坦福大学师从李飞飞教授，创办了著名的CS231n课程。这门课程推广了卷积神经网络在视觉识别中的应用，深受学生欢迎。
Karpathy希望通过Eureka Labs将他的教育热情转化为一个健康运营的企业，致力于提升全民教育的质量和普及度。
特斯拉AI总监AndrejKarpathy在2021年计算机视觉与模式识别大会上分享了特斯拉在过去几个月中所做的事情，会上Karpathy阐明了特斯拉在自动驾驶领域的重要性，并介绍了该公司的最新超级计算机等相关内容。 据Karpathy介绍，特斯拉的纯视觉自动驾驶神经网络训练了100%的数据，而没有使用任何激光雷达数据。 这种方案的优势在于，它可以更好地适应不同的天气和光照条件，并且可以在不同的道路类型上进行测试。
自动驾驶加速发展，产业链将洗牌。
作者|Juice
编辑|志豪
自动驾驶在走过低谷之后，正开始重新攀登高峰。
从去年开始，国内自动驾驶市场的整体表现并不算好，大额融资变得寥寥，而技术上的突破也并不明显，整个行业走向了低谷。
但今年，这一趋势发生了很大的变化。
从政策角度来讲，工信部等四部委联合发布《关于开展智能网联汽车准入和上路通行试点工作的通知》，正式对L3/L4自动驾驶的准入与上路进行了具体的规范，为L3/L4向商业化、规模化迈进进行了政策法规的创新引领与适度超前部署。
▲《关于开展智能网联汽车准入和上路通行试点工作的通知》
而从技术层面来看，以ChatGPT为代表的通用人工智能技术正在给自动驾驶的发展注入新活力。 传统的小模型、小数据弱人工智能方法正被换挡，通过大模型来布局自动驾驶的路径越发明显。
其中最典型的玩家当属特斯拉，通过端到端的大模型技术，其在自动驾驶方面的最新产品FSDV12在海外的表现已经非常稳定了，引进国内也指日可待，届时，特斯拉在自动驾驶领域可能会再次化身为鲶鱼，搅起新的风暴。
▲特斯拉FSD Beta在不同环境下的示意图
从用户接受度的维度来看，现阶段，部分新购车的用户尤其是新能源汽车的车主对于智能辅助驾驶NOA的接受程度已经越来越高了，完成了初步的用户教育，这也为自动驾驶的真正规模化落地提供了可能性。
可以说自动驾驶的发展正进入一波全新的发展周期。
而在大好形势下，我们也应该清晰地认识到，自动驾驶的发展也还有一些难题需要解决，比如说大模型如何为自动驾驶赋能？放开L3/L4准入政策后，怎样才能真正实现产品落地？多种技术路线之争应该如何决断？
如果不能很好地回答这些问题，那对于自动驾驶的发展来说仍然会产生不小的影响。 为了更好得到这些问题的答案，车东西特地采访了国内人工智能和自动驾驶领域的先行者——清华大学计算机系长聘教授，博士生导师，清华大学人工智能研究院视觉智能研究中心主任邓志东教授。
邓志东教授是国内最早一批开始从事人工智能研究的专家之一，同时在2009年就开始了自动驾驶的研发与实践，也属于最早的一批研究者，因此在这两方面无疑有着足够的积累和发言权。
另外预告一下，邓志东教授将参加12月19日由智一科技旗下智能汽车产业新媒体车东西联合硬科技讲解与服务平台智猩猩在深圳发起主办的2023全球自动驾驶峰会，并在主会场开幕式带来主题报告《大型视觉语言模型助力自动驾驶产业落地》。 另外，李弘扬、李志琦等学者以及来自智行者、元戎启行、Nullmax等企业的众多大咖也已确认参会演讲或参与圆桌讨论。 欢迎大家报名，线下参会交流。
ChatGPT是分水岭 人工智能发展提速
在人工智能领域，邓志东教授绝对算得上是老资历了，1992年在清华博士后期间就开始投身到了人工神经网络的研究方向。
当时研究的主要是人工神经网络与非线性系统学等，这些在当时还处在非常早期的阶段，人工神经网络模型还在缓慢的量变过程中，没有达到质变。
人工智能产业从2012年开始起步，十几年间，真正落地的产品并不算多，一些落地的产品主要为人脸识别、机器翻译与语音识别等，但机器翻译的“机器”味道似乎还比较浓，整个行业并未闭环一个良好的产业逻辑。
2022年，很多行业内的从业人员对于（弱）人工智能产业能否真正落地产生了怀疑。
而ChatGPT无疑是一个划时代的产品，大模型在某种意义上把人工智能这个产业又重新救活了。
▲ChatGPT聊天页面
不过大模型并不算是一个全新的概念。 预训练与微调的范式，2015年前后就出现了，2017年Transformer问世后就开始有了大模型。 事实上，2020年出现了两个重要的AI进展，一个是OpenAI推出的GPT-3，另一个则是谷歌的AlphaFold2，这两项成果被普遍认为是人工智能领域六十多年来产生的“诺奖级”成果。
事实也确实如此。 AlphaFold 2就成为了今年诺贝尔奖的候选成果之一，虽然最终没有获奖，但是这一成果和GPT-3基础大模型之重要性，可谓不言而喻。
这些大型语言模型与以往最大的不同之处在于，已开始出现了一些认知能力，这是此前不曾有过的，人工智能确实更聪明了。 从目前的视角回头来看，2022年11月30日ChatGPT惊艳问世之前的人工智能十年，应该叫做弱人工智能时代，当时一个模型只能解决一个任务。
当时是小数据、小模型，通常需要标签进行完全的监督学习，而且也还没有摆脱机器性。
现在最大的不同就是模拟并构建了人类语言模型与世界知识模型，开始运用人类的语言思维来理解和学习了。 这是一个非常大的突破，语言实际上属于高级文明，不仅可帮助人类沟通交流，而且还便于记载文明，促进人类知识传承，让下一代人站在人类知识总和的肩膀上前行。
相比于人类，机器对人类知识的传承效率更高，可以在短短数年时间内学完人类整个一般性的文本知识，甚至还能记忆得更加准确。
大模型的发展离不开Transformer的出现，2017年6月12日谷歌的NLP研发人员在进行神经机器翻译的时候提出了Transformer这种可规模化的新一代神经网络模型。
▲八位在谷歌工程师率先提出Transformer
邓志东教授认为，Transformer的诞生并不是突然出现的，当时行业内已有很多人都在研究LSTM模型的注意力机制，包括怎么使用多层的编码器，怎么使用多个解码器层，怎么去做隐含的特征表达等等，实际已经有了Transformer的雏形。
但是这样的突破性创新或许只能出现在巨头企业里，原因是相比于LSTM，Transformer更加复杂“冗余”了，这就需要更多的GPU算力，显然当时只有头部企业才能有足够的算力去考虑或支撑这样的研究。
不过，Transformer诞生之初还仅是为了做机器翻译，后来才开始用来做文本语言大模型。 OpenAI在2015年12月正式成立，初心就是要实现通用人工智能（AGI），而这一使命或愿景也是十分大胆的，此前极少有人敢提及这一观点。
▲OpenAI初始成员
实际上，OpenAI的核心团队都是硅谷非常成功的人士，新的阶段有了更加宏大的目标。
OpenAI早期并没有做出什么重要的成果，回过头去看，初期的GPT-1和GPT-2都没有太大的意义，不具有明显的优势，直到GPT-3的出现。
这主要跟模型的架构有关系，BERT等编码器架构的模型文本阅读理解与特征表达能力会比较强，但是生成能力相对较差，反过来，GPT等解码器架构的模型生成能力比较强，但阅读理解能力比较差，OpenAI正是选择了后一种技术路线。
后来通过Transformer神经网络规模的不断增加，特别是与GPU算力的交替跃升之后，才通过大型语言模型的自监督学习与构建，获得了非常大的性能提升。
随着算力和数据的不断扩增，人工智能的能力也在不断提升。 现在GPT-4 Turbo甚至已经可以开始利用外部工具了，包括可以调用很多Action来完成任务，这也是一个非常大的突破。
▲OpenAI CEO山姆·奥尔特曼发布GPT-4 Turbo
但也应该明确的一点是，通用人工智能的发展还刚刚拉开序幕，一切才刚刚开始。
从这个角度来看，我们正处在一个非常幸运的时代，还有大量机会见证通用人工智能更多的发展变化。
大模型赋能智能驾驶 特斯拉是先行者
从仅十年人工智能的发展角度来看，有三个人的作用非常突出，一个是图灵奖得主杰弗里·辛顿，另外两个则是辛顿的博士生，一个是前一段时间OpenAI“政变”的核心人物伊利亚·苏茨克维（Ilya Sutskever），另一个则是亚历克斯·克里切夫斯基（Alex Krizhevsky）。 AlexNet就是以后者的名字命名的，而伊利亚作为OpenAI的联合创始人与首席科学家，则在GPT的发展过程中做出了很大的贡献。
除此之外，特斯拉AI与Autopilot 视觉主管，斯坦福李飞飞教授的博士生Andrej Karpathy，曾是OpenAI的创始成员及研究员之一，2017年至2022年则成为特斯拉人工智能与自动驾驶的灵魂人物。
▲Andrej Karpathy（左）与马斯克（右）在特斯拉AI DAY上演讲
Karpathy在特斯拉负责人工智能与AutoPilot期间，于2020年主持将特斯拉EAP的所有底层代码都进行了Transformer重写，这与他的OpenAI工作经历不无关系。
也是在那个时候，马斯克才正式对外喊出了要推出FSDBeta。
所以特斯拉较早就知道要用大模型来落地自动驾驶。 为了更好地支撑多模态大模型的发展，特斯拉还专门研发了Dojo超算，也购置了大量的A100。
▲Dojo超算机柜
目前人类已经进入到了互联网和移动互联网时代，每天都有海量的数据涌现，因此必须要采用自监督或者无监督的学习方法，这就对数据本身的质量具有非常之高的要求。
而特斯拉既是一家人工智能算法与算力公司，也是一家自动驾驶公司，更是一家主机厂，不但具有足够多的数据，也拥有足够强的算力支撑，并且已经在大模型算法方向上走了较长时间了。
BEV+Transformer算法的使用，不用激光雷达也可以进行纵向距离的测算与补全，这也是一个创新性的做法。
大型语言模型的使用对于自动驾驶的性能提升非常明显，例如，通过视觉语言大模型就可以直接阅读理解道路交通场景，并生成详细的文本描述。
从GPT-4V的案例来看，视觉大语言模型对于整个驾驶场景识别的正确率已经比较高了，例如对高速、城市道路，对晴天、雨天、雾天，还有对不同时间段的分类等。 但对一些复杂场景的微观细节的检测与识别，则还有不少问题需要解决。
当大模型人工智能获得了道路交通场景的感知能力之后，再配合类似于Q*之类的深度强化学习算法进行决策与规控，特别是利用多模态大型语言模型进行端到端的整体贯通之后，甚至直接通过交互就可进行智能体学习，这就和人一样，只要经过一些驾驶技能的培训与操练就能够上路了。
目前产业界和学术圈对于特斯拉FSDV12都很期待，这一版本正是用彻底的端到端思路来实现高阶智驾的，跟人类一样，输入是不断涌入的图像帧视频，输出就直接是转向、制动与加速这三个模拟量。
这个过程中会存在较多的问题，例如中间的感知、预测、决策与规控过程其实是不透明的，另外就是如何处理边缘事件？现在看来，特斯拉可能通过视觉大模型与超级算力有效地解决了后面这个问题。 这可能是因为他们已拥有了足够多的高质量训练数据，或多模态大模型出现了超强的零样本泛化能力。
另外特斯拉已经从2020年就开始做这个事情了，而且作为头部造车新势力，也积累了世界上最多的数据，而国内则在今年3月之后才开始加速布局，中间的差距至少有三年，所以在短时间内很难去超越特斯拉。
▲特斯拉基于视觉数据构建3D空间
国内的智驾玩家中，华为投入了大量的人力与资源进去，技术扎实，目前走得比较靠前。而网络、
第一步：复习线性代数。（学渣的线代忘了好多-_-||）
懒得看书就直接用了著名的——麻省理工公开课：线性代数，深入浅出效果拔群，以后会用到的SVD、希尔伯特空间等都有介绍；
广告：边看边总结了一套笔记 GitHub - zlotus/notes-linear-algebra: 线性代数笔记。
第二步：入门机器学习算法。
还是因为比较懒，也就直接用了著名的——斯坦福大学公开课 ：机器学习课程，吴恩达教授的老版cs229的视频，讲的非常细（算法的目标->数学推演->伪代码）。这套教程唯一的缺点在于没有介绍最近大火的神经网络，但其实这也算是优点，让我明白了算法都有各自的应用领域，并不是所有问题都需要用神经网络来解决；
多说一点，这个课程里详细介绍的内容有：一般线性模型、高斯系列模型、SVM理论及实现、聚类算法以及EM算法的各种相关应用、PCA/ICA、学习理论、马尔可夫系列模型。
课堂笔记在：CS 229: Machine Learning (Course handouts)，同样非常详细。
广告：边看边总结了一套笔记 GitHub - zlotus/notes-LSJU-machine-learning: 机器学习笔记
第三步：尝试用代码实现算法。
依然因为比较懒，继续直接使用了著名的——机器学习 | Coursera ，还是吴恩达教授的课程，只不过这个是极简版的cs229，几乎就是教怎么在matlab里快速实现一个模型（这套教程里有神经网络基本概念及实现）。
这套课程的缺点是难度比较低，推导过程非常简略，但是这也是它的优点——让我专注于把理论转化成代码。
广告：作业参考 GitHub - zlotus/Coursera_Machine_Learning_Exercises: Machine Learning by Andrew Ng from Coursera
第四步：自己实现功能完整的模型——进行中。
还是因为比较懒，搜到了cs231n的课程视频 CS231n Winter 2016 - YouTube ，李飞飞教授的课，主讲还有Andrej Karpathy和Justin Johnson，主要介绍卷积神经网络在图像识别/机器视觉领域的应用（前面神经网络的代码没写够？这门课包你嗨到爆~到处都是从零手写~）。
这门课程的作业就更贴心了，直接用Jupyter Notebook布置的，可以本地运行并自己检查错误。
主要使用Python以及Python系列的科学计算库（Scipy/Numpy/Matplotlib）。
课堂笔记的翻译可以参考 智能单元 - 知乎专栏，主要由知友杜客翻译，写的非常好~
在多说一点，这门课对程序员来说比较走心，因为这个不像上一步中用matlab实现的作业那样偏向算法和模型，这门课用Python实现的模型同时注重软件工程，包括常见的封装layer的forward/backward、自定义组合layer、如何将layer组成网络、如何在网络中集成batch-normalization及dropout等功能、如何在复杂模型下做梯度检查等等；最后一个作业中还有手动实现RNN及其基友LSTM、编写有助于调试的CNN可视化功能、Google的DeepDream等等。
（做完作业基本就可以看懂现在流行的各种图片风格变换程序了，如 cysmith/neural-style-tf）另外，这门课的作业实现非常推崇computational graph，不知道是不是我的幻觉……要注意的是讲师A.K的语速奇快无比，好在YouTube有自动生成解说词的功能，准确率还不错，可以当字幕看。
广告：作业参考 GitHub - zlotus/cs231n: CS231n Convolutional Neural Networks for Visual Recognition (winter 2016) （我的在作业的notebook上加了一些推导演算哦~可以用来参考:D）
怎么学习人工智能？
相关标签：
教育、 物联网、 创业、 互联网、 最前沿、 新经济、 车联网、 最前线、 资本市场、 科技、 黑科技、 房产、 网红经济、 上市、 汽车、 无人驾驶、 股票、 新商业、 资讯、 职业、 投资、 36氪首发、 游戏、 自动驾驶、
