在第五届字节跳动奖学金颁奖典礼上,字节跳动技术副总裁杨震原分享了公司自2014年以来在技术领域的探索历程。作为一位资深技术爱好者,杨震原自2014年加入字节跳动后,从搭建推荐系统起步,至今已参与公司多项关键技术突破,带领团队在多个前沿领域取得重要进展。
2014年,字节跳动启动推荐系统建设时,工业界主流的机器学习系统是搜索广告中成熟应用的大规模离散逻辑回归模型。团队将这一原理引入推荐领域时面临诸多挑战:当时既精通大规模软硬件工程又熟悉机器学习的人才稀缺,且除搜索广告外,其他领域普遍不愿承担高昂的硬件计算成本。尽管如此,团队仍设定了极具挑战性的目标——当年实现万亿级特征规模。通过系统建模优化推荐目标、突破存储计算瓶颈、持续改进算法,团队在年底成功引入FM类算法,并构建了通用的深度学习体系,上线首日即采用流式训练系统。这一技术路径至今仍被验证有效,其浅层神经网络算法在推荐场景中展现出独特优势。
2020年,团队将目光投向科学计算领域。经过深度研讨,团队认为现实世界与科学计算是继线上推荐、搜索、广告之后,最具数据价值潜力的方向。在第一性原理计算方面,团队基于神经网络量子蒙特卡洛方法(NNQMC)展开研究,通过神经网络表示波函数并进行采样计算,再沿能量降低方向优化网络参数。2021年后,团队在该领域取得多项突破性成果,最新研发的Scaling Laws with LAVA技术证明,增加参数规模可持续提升仿真精度,显示出巨大的实用化潜力。在分子动力学领域,团队开发的GPU加速程序GPU4PySCF实现单GPU性能相当于500-1000个CPU核心,算力成本降低一个数量级。与比亚迪成立的联合实验室正探索将高通量自动化实验与AI算法结合,推动电池材料研发的工业化应用。
2021年,字节跳动收购Pico后,在XR领域展开双线布局:一方面持续运营视频、直播等内容生态,另一方面加大基础技术研发投入。2023年战略调整后,团队聚焦核心技术突破,在显示清晰度方面取得重大进展。通过与供应商联合定制MicroOLED显示技术,单眼4K分辨率下仍保持小巧面板尺寸,配合微透镜阵列提升亮度,并通过光学设计优化色亮度均匀性。在运动追踪领域,团队自研的专用芯片于2024年量产,将系统延迟压缩至12毫秒,达到行业领先水平。为支撑虚实融合交互,团队还构建了高精度环境识别系统,通过专业测试平台提供精准校准数据。
大模型领域,团队早在2021年即开始布局,2022年ChatGPT引发关注后加速研发进程。目前,豆包已成为中国最受欢迎的AI对话助手,火山引擎的大模型服务更据IDC报告位居中国MaaS市场首位。技术层面,团队构建的大规模训练系统MegaScale实现55%以上的浮点运算利用率,较主流开源框架提升30%。通过模型结构优化与自研服务器设计,团队成功降低大模型应用成本,在保持毛利率的同时打破行业价格底线。当前研究重点聚焦两大方向:一是提升模型学习能力,使其能像人类一样持续进化;二是增强交互能力,缩小在内容理解、界面操作等领域与人类的差距。这些基础性研究将持续推动AI技术向更智能、更实用的方向发展。



