FSD（自动驾驶）对人形机器人的影响

1. 特斯拉的 FSD 在人形机器人中的主要作用(1) FSD 系统作为人形机器人的大脑控制终端特斯拉的 FSD 系统在人形机器人上的作用是充当一个大脑，类似于人类大脑进行计算和智能处理的过程，通过 FSD 系统可以实现人形机器人的各种决策和动作行为，包括语言生成。(2) FSD 系统在人形机器人中的控制功能FSD 系统可以将自动驾驶领域的控制算法迁移到人形机器人上，控制人形机器人的各种动作和行为。2. FSD 在人形机器人中的技术设计(1) 对视觉传感器的迁移方案马斯克希望在人形机器人上使用纯视觉方案，但目前迁移到人形机器人上的视觉传感器只是将主驾驶和后视镜位置的 3 个摄像头配置到人形机器人的头部上，其余 5 个摄像头并未迁移到人形机器人上。(2) 人形机器人仍需依赖其他传感器在短期内，人形机器人仍然需要依赖其他传感器，如惯导和力矩传感器，纯视觉方案不能直接迁移到人形机器人上。3. 人形机器人市场规模及预期应用场景特斯拉的 FSD 系统在人形机器人中的应用主要集中在工厂和服务行业，根据预测，未来在工厂和家庭等场景中使用的人形机器人数量可能会达到 800 亿至 2000 亿台，市场规模可能会非常大。4. FSD 系统与其他机器人厂商的优势及实际应用效果FSD V12 版本相较于以前的版本进行了根本性的改变，特斯拉一直在执行马斯克对第一性原理的执念，通过极简化的系统来提高操作效率和降低功耗 FSD 系统可以用于人形机器人的训练和学习，尤其是手部关节等复杂的操作。与汽车相比，人形机器人的自由度更高，使得 FSD 系统的应用更加困难。在人形机器人的操作中，传统的编写代码的方法将非常困难，可通过观察他人的行为来学习并复现，希望FSD 系统能够为人形机器人带来类似的效果。特斯拉的智能驾驶系统在进行训练和数据积累时，会选择学习最优秀驾驶员的行为，违反交规或新手司机的行为将被过滤掉，只会使用最优秀的驾驶员的数据来训练 FSD 系统。Q&AQ：FSD 对人形机器人有哪些影响？比如运动性能或手部性能的变化？A：FSD 系统可以为人形机器人的训练提供一个学习算法平台，使其能够学习人类操作技能。通过录制熟练工人的操作过程并导入到 FSD 系统中，人形机器人可以学习操作技能，包括手法、步骤和逻辑。这样可以为人形机器人的技能实现提供思路。Q：为什么人形机器人在过去干的事情相对简单？A：人形机器人的关节数较多，对程序控制而言较为复杂。由于涉及的量特别多，并且关节之间存在耦合，所以实现人形机器人的操作技能是非常困难的。因此，在过去，很多国内的人形机器人在操作技能方面进行了简化。Q：FSD 系统如何帮助人形机器人实现优秀的操作技能？A：FSD 系统可以通过学习算法平台，让人形机器人学习操作技能。通过录制不同人的操作过程并进行训练学习，人形机器人可以学习复现这些熟练工人的操作技能。这样，无论是自动驾驶汽车还是人形机器人，都可以实现所谓的端对端的反应，即看到什么场景就能做出相应的动作。Q：特斯拉的智能驾驶的训练和数据积累有何特点A：特斯拉的智能驾驶的训练和数据积累是由北美每一台特斯拉汽车进行的。特斯拉会对驾驶数据进行评价和分类，只选择那些达到熟练工和专家级水平的驾驶行为数据进行训练和积累。因此，并不是每台车的数据都会被用于训练和积累。Q：国内的智能驾驶数据积累与特斯拉相比有何差距？A：目前国内的智能驾驶数据积累与特斯拉相比还存在较大差距。尽管国内的厂商已经在一些城市开放了自动驾驶区域，但是数据量和积累的能力仍然与特斯拉相比有较大差距。特斯拉选择积累熟练工和专家级水平的驾驶行为数据进行训练，而国内的数据量尚不足以满足这一要求。Q：特斯拉的数据积累有什么优势？与中国厂商相比，有什么差距？A：特斯拉已经积累了大量有效数据，如 3 亿英里的数据，并且每个季度还能增加 1 亿英里。这种数据积累呈指数级增长趋势。相比之下，中国的数据积累还存在差距，但是随着中国市场的放开，数量也会快速增加。Q：为什么训练数据对于人形机器人很重要？A：训练数据对于人形机器人的学习非常重要，就像给人吃粮食一样，好的数据能够让机器人学习出更好的行为和决策，而缺乏营养价值的数据则会影响机器人的学习效果。Q：人形机器人的行为和决策是否具有解释性？A：在使用神经网络进行学习时，人形机器人的行为和决策可能没有很强的解释性，但是我们可以将其理解为复现人类的操作和直觉智能。Q：特斯拉的人形机器人主要使用哪些模型和算法？与国内厂商相比，有什么优势？A：特斯拉的人形机器人主要基于神经网络进行感知决策和行动，并使用自己开发的HD3.0 系统。与国内厂商相比，特斯拉更注重自研的软件和硬件系统，而国内厂商更多采用外购的硬件并在其上进行适应性设计和改造。Q：人形机器人在位移导航方面的处理方法有哪些差别？A：在位移导航方面，特斯拉和国内厂商基本采用相同的架构，都是基于感知环境、计算姿态信息和规划路径的方式进行导航。差别主要体现在使用的算法和芯片上，特斯拉使用自研的系统和芯片，而国内厂商主要使用英特尔或高通的芯片，部分厂商还会加上英伟达的显卡。Q：达华科技与其他人形机器人厂商有什么区别？A：达华科技在控制方案上与其他厂商略有差别，它采用了云端控制，一部分控制放在云端进行处理。而其他厂商主要将控制集中在机器人终端上。整体而言，国内与国外厂商的主要差别在于硬件和算法平台的自研与外购。Q：11 月份特斯拉要对人形机器人进行行走训练，它会用 fsd 的 v12 系统预计可能会带来哪些人形机器人行动方面的改变？A：我觉得 11 月份我们能看到人形机器人表现出来的一些技能还是会比较惊艳的，至少我们可以期待达到所谓的 html 类人水平。甚至特斯拉可能会体现一些比较 humanlevel 的操作技能，展示一些远超人类操作技能水平的操作。具体能够展示成什么样，可能我们期待一下，我自己也非常期待这个事情，虽然我们团队也做人形机器，但是我知道我们目前的效果肯定会和特斯拉的机器人没得比。Q：专家，华为宣布的新的 m7 对智能驾驶有哪些影响？是否会对人形机器人有影响？A：在智能驾驶方面，不依赖高精地图的技术对人形机器人也有借鉴意义。人形机器人上的运动控制算法可以从四足机器人的研究中迁移过来，虽然两者之间有一些差异，但这种迁移仍会起到积极的作用。Q：人形机器人是否需要高精地图？对人形机器人的发展有何影响？A：对于人形机器人来说，在工厂等规则化的场景下，高精地图是有价值的。但是我们希望人形机器人具备鲁棒性和适应环境的能力，不仅仅局限于规则化的场景。未来的人形机器人需要具备更好的智能能力，以适应不同环境和任务的需求。Q：特斯拉的超级计算机利用海量数据进行训练，这对人形机器人有什么影响？A：特斯拉的超算平台能够将全球收集到的驾驶数据放到平台上进行训练，以提升自动驾驶系统的性能。这个超算平台具备高吞吐量，能够快速学习和提炼最优秀的驾驶技能，并将其应用于自动驾驶系统和人形机器人的训练中。这将对人形机器人的发展产生积极影响。Q：马斯克提到了 FSD 系统的升级和训练过程，可以离线使用吗？A：离线使用的前提是必须进行升级，从超算平台训练出好的结果并传递到车上。车上会有一个智囊团做出决策，并将结果传输给用户。Q：特斯拉的 AI 日推迟了吗？会带来哪些展示？A：目前尚未看到相关合作厂商透露延期消息，预计会在 9 月 30 日发布。AI 日对特斯拉来说很重要，需要通过硬件投入和软件研发来回收成本。可能会针对 4.0 硬件版本做升级，提升训练结果和 bug 修复。Q：特斯拉的人形机器人是否会在 AI 日展示？A：希望在 AI 日上能展示出人形机器人在工厂场景中的组装能力，即使是 demo 版本也会对人形机器人市场产生冲击。特斯拉的产品进步会超出预期， 推动人形机器人市场发展。Q：谷歌的 IT2 模型对人形机器人有哪些影响A：IT2 模型在自然语言处理和机器视觉方面有优秀表现，可能可以迁移到人形机器人中用于聚身技能的开发。谷歌的技术可能对人形机器人的发展有一定参考价值。Q：人形机器人最有可能率先应用在哪个场景？A：目前大家的发力点主要是在工业的生产领域、汽车的装配领域。个人认为，人形机器人在汽车的自动装配领域得到最大量的普及的概率是最大的。尽管在智能家居等领域实现更容易，但是产值不足以吸引研发人员和公司的精力去优先实现目标。一旦攻下工业装配领域，可能会顺带解决智能家居、科普导航等任务。工业生产的产值空间巨大，人形机器人在工业生产中可以扮演重要角色，因此我个人预测人形机器人首先会在工厂装备领域实现商业化落地。股市调研