特斯拉自动驾驶负责人,特斯拉的未来自动驾驶

多年前,斯坦福学校博士研究生 Andrej Karpathy 做了一件令 AI 小区十分钦佩的事:在校园里创立了一门深度学习本科专业,并将短视频所有免费公开。

做为深度学习的初期学者和教育工作者之一,Karpathy 赌对了方位。通过十多年的迅速发展和技术革新,如今深度学习技术性早已推动着检索、图像识别技术、社交媒体、工控自动化、无人驾驶等众多重要行业和产业。

因为科学研究造就突显,Karpathy 自身也成为运用 AI 技术发展趋势的获益者,摆脱学术研究进到业内的第一份工作,便是特斯拉特斯拉汽车担任 AI 部门总监,领导干部 Autopilot 及其全部特斯拉自动/自动辅助驾驶技术项目的开发,并带领公司渗透到了智能机器人等更多前沿领域。

上一个月,Karpathy 公布从特斯拉汽车正式离职。

当我们仍在关注他下一站要去哪,可是他毫无意外地“碎尸万段”,做起了“教师”。

把“锤头”交给每一个人手里

就在那上星期,Karpathy 再次启动了申请了很多年可是却未用过的 YouTube “新号”,发布一条长达2个多小时的教学视频,名为《从零陪你新手入门神经元网络和反向传播:搭建 micrograd”》。

他指出,有关反向传播(神经元网络的基础算法之一)及其搭建神经元网络工作,这一条图片是迄今为止门坎最少、全面的解读。他就声称,只需大家对 Python 基础好掌握,而且记得一点普通高中水准的微积分学,就可以轻轻松松新手入门:

“如果看完并不了解反向传播和神经元网络的关键,那就直播吃鞋

图片来源:Andrej Karpathy

根据这门课程,Karpathy用最基本的 Python 编程方法,及其他研发的 Micrograd 模块,和大家一起进行神经元网络搭建、撰写交叉熵、手动式调优质基本操作,而且在的时候对反向传播等关键专业知识展开了系统软件的讲解。

对于授课风格,Karpathy 也是十分了解当今年青技术工程师在敲代码时的那种苦恼,落实了"talk is cheap, show me the code"的发展理念:整节课课的绝大部分基本上就是直播间自已的显示屏界面,手把手的教大伙儿敲代码……

图片来源:Andrej Karpathy / YouTube

Karpathy 曾经在多伦多大学、斯坦福学校入读,师从于的 Geoff Hinton、李飞飞专家教授全是现如今深度学习的领军人。他还是 OpenAI 的创立组员之一,曾经在早期谷歌大脑、Google Research、DeepMind等众多科研机构见习。

做为深度学习领域内的知名学者和从业人员,Karpathy 出境非常经常,经常会在 CVPR、NeurIPS 等众多学术会的布论文发表和演说,还曾作为英伟达显卡 Geforce 技术大会主演讲嘉宾。

甚为搞笑幽默的是,在2014年,他曾以自己“温暖的尸体”,在 ImageNet 争霸赛中对一个神经网络发起考验,而且赢得了获胜,所以被学界和行业中形容为 ImageNet 的“人们标准” (the human benchmark of ImageNet)。

图片来源:Andrej Karpathy

但是许多人对 Karpathy 印象最深刻,最感谢它的,往往是她在医生入读期内做出来的一件大善举:

创立了 CS231n,斯坦福大学第一门面对本科生的深度学习课程内容。

图片来源:Andrej Karpathy、斯坦福学校

CS231n 以机器视觉为基本方位,从入门到精通讨论深度学习技术性,创课第一年就会有累计150名学生报名,到2016年翻了一倍,第二年又再翻了一倍。现阶段这门课程已经成了斯坦福大学校园内全部系院里报考时间最长、最热门的课程内容之一。学科的 TA 都是有16人;和 Karpathy 一起创课的李飞飞,至今仍然在担任授课人。

更为重要的是,从创课的第二年,Karpathy 把 CS231n 的讲课短视频、教材、工作、手记等大量有关网络资源所有公布,放到网络上。不仅仅是报名学生们,就算没报考里的、其他学校的学生们,甚至于世界上所有人,只要是有互联网,就可以免费上课。

再往前推五年,伴随着 Udacity、Coursera 等企业的创立,“mooc” (MOOC) 的发展理念早就广为流传。在各种知名公司的软件上,也是有着许多电子信息科学和设备学习上的课程内容。

但是 CS231n 的横空面世,尤其是它更为优秀和实时课题设计,及其没有商业服务香味的对外开放特性,使之变成了最前沿深度学习技术性向社会各界盛行的重要节点。

图片来源:Andrej Karpathy、斯坦福学校

有关为什么要对外开放课程内容,Karpathy 以前表明,在自己那时候十分强烈的感到深度学习将成为具备极大颠覆性价值的技术性,预计在整个社会多方各面获得普遍使用,如同一把实用的锤头。

但在当初,好多人连锤头都“没钱买”,更不用说了解它能力与把握它的用法——是便决定挺身而出,做这种来给大家完全免费派发锤头得人。

这门课程最有意思的感受,取决于它没有一个提早定下、决不偏移的课程内容:

“其他学科授课,说的有可能是19新世纪的基础知识。在大家的课堂上,常常今日说的文章是上星期,乃至昨日刚公开发表,”Karpathy 提到,“我们讲的并不是高能物理,并不是上太空,你只要最基本的微积分学和解析几何专业知识,就可以听得懂我们自己的课程内容,掌握并掌握时下正发生的新生事物。每一次的课程内容都是在更改,体会很不一样,可是大家都很享有这样的体验。”

因为创课那时候 Karpathy 还是一位博士研究生,当教师的确消耗了他很多时间和精力。每一年教2次,每一次四个月,一到授课的那段日子,他就迫不得已启动120%的时间和精力,乃至博士研究生的有关科研工作都不得不暂停。

“即便如此,我还是觉得这门课程就是我读博士阶段的巅峰时刻。”

Andrej Karpathy 图片来源自己

假如简易访问一遍 Karpathy 的简历,一般人也许不会觉得他是一个课堂教学型专家学者。可事实上他真的超级热衷传道授业解惑,尤其是跟大家分享他个人的学习成果,和提高技能独特的工作经验。

他曾以博士研究生过来人的身份读过一些经验之谈,发表于斯坦福大学官方网站与个人博客上。例如针对本科毕业生备战考试,他真心实意告诫大家“经常熬夜不值得”、“多找多换 TA”、“复习备考前期通过自学,临考多沟通”等。但对于担心是不是读博士的学生们,他专业写过一篇“医生生存手册”万字文,从前期准备工作、老师挑选、课题研究、著作发布、学术演讲等诸多方面,共享了很多的指导思想等具体工作经验……

图片来源:Andrej Karpathy

假如你觉得他只是讲深度学习,那就太小瞧人家了:

对非本专业的具体内容,他也会自己用碎片时间,做长期性、系统化的研究与检测,随后写出文章内容。例如她在 GitHub 账户上以前写过一篇“生物黑客”的帖子,讲述了自己在锻炼身体、断食法、血液检测、身体素质药品、睡眠研究等多个方面所做的检测工作经验。

少为人知的是,Karpathy 还是一个更专业的三阶魔方教师……

在解三阶魔方这件事情上他有一个 alter ego,名字叫做 Badmephisto。他有一个专业授课三阶魔方专业知识网站,做过一个手把手教你解三阶魔方的 app(iPhone & Android),仍在 YouTube 晒出了很多视频教学,一共有900多万元收看量……

朋友们真是授课成瘾啊……

Karpathy 在谷歌搜索在实习期间内部结构方式弄到了一台 Google Glass,录制了这一段在自行车上解三阶魔方的小视频 动态图由来:Andrej Karpathy

AI 大佬都爱授课

特别注意的是,不仅 Karpathy,深度学习/AI 行业大佬等级角色,都特喜欢“授课”。

这样说确实有点废话文学了……所以这些巨头之中,好多人自身就在那知名院校拥有基本或终身教职,一部分进到工业领域的人群,之前也有较强学术研究和教学背景。但是他们即使现在在工业领域位高权重忙到不行,依然对深度学习知识推广和普及化充满激情。

例如 Karpathy 在多伦多大学的教师 Geoff Hinton 专家教授。这个人是反向传播等深度学习核心算法的发明者,深度学习领域内的“三剑客”之一,图灵奖获得者。有这样一种对他的点评:当别人仍在怀疑设备/深度学习时,Hinton 在多伦多市一边静静地执教,一边不断着科学研究推动,总算以一己之力活过来了机器学习算法科学研究与行业,称得上深度学习鼻祖。

自打创建的 DNNResearch 公司在2013年被谷歌收购,Hinton在谷歌搜索一直有岗位,可事实上它的关键科研工作还是多伦多大学的计算机科学系。尽管近些年他已不太讲基本课程内容了,但是他依然会花时间与精力,引导学生研究与参加论文撰写。而且,他参加录制了一些深度学习神经元网络等方面的免费网课具体内容。

截屏由来:Coursera

“三剑客”另二位组员 Yoshua Benjio 和 Yann LeCun,也是有各自教师。

Bengio 是蒙特利尔大学专家教授,也创立了 Mila 人工智能技术研究室并担任科学合理主管。他至今仍然校园内和 Mila 研究室领着和引导着大量硕士研究生、博士研究生和博士后研究员。他常常参加一些外界组织精彩的演讲和讲课邀约,以后的小视频都会公布在网络上。

LeCun 在 Meta 出任副总裁兼顶尖AI专家,或是美国的大学电气设备和计算机工程系专家教授。他曾诚挚地表示过,可能自己没办法立即查阅和回应学校邮箱和手机留言。但是,最少上年他依然还在美国的大学的信息科学中心 (NYU-CDS) 教深度学习的课程。此外由于疫情等因素,NYU-CDS 的所有由LeCun 教授的深度学习课程内容,在2020年也也完全线上化并免费公开了:

视线转回国内,前几年离职回校教书的原腾讯 AI Lab 主任张潼,也是一个有趣的例子。他是机器学习领域知名的国际专家,曾经在美国大学拿到终身教职,在 IBM 研究院、雅虎研究院、百度 IDL 担任研究和管理方面的高级别职位,还是 ICML、NIPS 等一系列国际顶级学术会议的主席或领域主席。

然而可能是因为更享受教书和学术界的环境,张潼在2019年初离开了腾讯 AI Lab,来到了港科大数学系和计算机科学工程系,直接就拿到了专为特别杰出且成就非凡的学者才设立的讲席教授 (chair professor) 资格。

当然他也没有完全离开业界,在港科大和创新工场之间牵线搭桥,帮助两家机构成立了联合实验室,专注于基础科研。现在的他,在港科大做研究、带学生,这一学期还教了 COMP6211E 和 MATH6450J 两个和机器学习优化相关的课程。

这些热爱传道授业解惑的顶尖学者让我们看到:即便在高度商业化的今天,一项技术、一种知识,仍然可以通过教育这种古典的形式,加上“免费网课”的创新手段,来完成更高效、更具公益性的普及。

这样的大佬们,请多来点,不要停。

*注:封面图来自于斯坦福大学网站,版权属于原作者。如果不同意使用,请尽快联系我们,我们会立即删除。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By Z-BlogPHP 1.7.3

 Theme By 优美尚品

每日搜寻全球各个角落的热点新闻,锁定小童说事网,多一点惊喜与感动!