自ChatGPT面世两年多以来,AI领域的主战场正逐渐从训练端转向推理,这一领域规模更大且竞争更为激烈。推理被视为AI大模型发展的“下半场”,焦点已从上半场的快速预训练响应转向慢速深度推理。

一直以来,讯飞星火坚定走全国产化路线,面对在全国产算力平台上训练深度推理模型的诸多挑战,科大讯飞与华为携手,成功解决了一系列难题,包括训练推理强交互、高吞吐推理优化以及国产算子优化等。

1月15日,科大讯飞发布国内首个基于全国产算力平台上的深度推理大模型——讯飞星火X1。该模型以更接近人类的“慢思考”方式解题,并以较少算力实现了业界优异效果。目前,星火X1已应用于教育、医疗等多个场景,并在中国教育科学研究院的协助下,推出了高中数学智能教师助手,正在部分地区进行试点。

科大讯飞还宣布讯飞星火4.0 Turbo升级。凭借行业、图文、长文本等能力的进阶,首发混域知识搜索技术,实现对个人、企业、业务系统、精品行业数据及互联网信息的综合搜索,显著提升信息检索效率。

业内人士分析认为,预训练时代或将结束,随着端侧AI的发展及AI应用的快速增长,算力需求正加速从预训练向推理侧转移。讯飞星火、ChatGPT等应用的兴起,预示着推理将成为下一阶段算力需求的主要驱动力。AI领域正迎来推理时代的崛起。