AT&T计划提升开源模型调用占比至60%-70%以控制AI成本，现40%请求由开源模型承载

AT&T正借助开源大模型降低AI运营成本。该公司副总裁马克·奥斯汀透露，企业计划在未来数年控制员工调用Anthropic、OpenAI等闭源模型产生的费用，保持支出持平，主要方案是更多采用英伟达Nemotron等开源大模型。奥斯汀负责管理公司供10万名员工使用的人工智能工具，覆盖代码编写、财务分析、人力资源配套工具、客服支撑系统等场景。除面向消费者推出的部分AI功能外，其人工智能应用绝大多数集中在内部业务。

过去一年间，AT&T已大幅提升开源模型的使用占比，目前员工发起的AI调用请求中，已有40%由开源模型承载。企业规划在未来数年将这一比例提升至60%至70%。奥斯汀表示，实测发现开源模型的效果与Anthropic、OpenAI等厂商推出的旧版闭源模型持平甚至更优。软件开发人员处理代码生成等复杂任务时仍选用顶尖闭源模型，但代码摘要生成等轻量化工作可改用成本更低的开源模型。

AT&T还部署了模型路由工具，根据任务复杂程度自动将员工请求分配至成本更低的模型。接入路由服务商LiteLLM后，代码编写等高级AI任务的成本最高下降56%，AI输出质量仅降低2%。2023年，AT&T自研核心内部AI系统Ask AT&T，该系统最初完全依托通过微软云采购的OpenAI模型运行，如今已接入多款模型，覆盖开发人员编写修改代码、员工查询人事制度、销售人员记录会谈内容、客服人员通话检索资料等场景。使用Ask AT&T的开发人员可自主选择GitHub Copilot、Devin、Claude Code、Codex等模型或智能代理工具，相关调用设有费用上限。

Ask AT&T目前每日处理450亿token。依据OpenAI、Anthropic公开定价测算，若全部采用闭源模型承载该处理量，每年至少耗费上亿美元。除Nemotron外，AT&T还使用Meta的Llama、谷歌Gemma等开源或开放权重模型。部分任务部署在自有数据中心，依托英伟达、AMD服务器芯片运行，相比向云厂商租用算力通常成本更低。AT&T同时在评估来自中国的开源模型，包括深度求索、月之暗面，但尚未投入业务使用，仍在评估潜在风险。奥斯汀指出，开源模型整体能力通常比前沿顶尖闭源模型落后6至10个月，但二者之间的性能差距正在持续缩小。