Gartner预测AI推理成本将大幅下降90%

Gartner预测，到2030年，万亿参数AI模型的推理成本将比去年下降90%以上。未来四年内，大语言模型的成本效率将提升100倍。硬件改进、模型设计优化以及边缘设备推理将推动成本下降。然而，企业不会直接受益于成本降低，...

大模型时代，推理的成本决定最终的胜利

大模型时代，底层逻辑发生了很大的变化。系统的成本几乎和客户使用量成线性关系，边际成本依然很高。这里的成本绝大部分都是推理的算力消耗。

Meta的Llama-3.1-405B遭泄漏，可下载，性能超GPT-4o！

这个模型一般的GPU肯定是跑不起来，如此大的参数在部署方面个人开发者也负担不起（如果你有一些H100也没问题），估计是给企业、政务公共部门用的。对于Meta即将发布的模型，就有网友泼冷水。相比OpenAI最新的GPT-4...

GPT-4o发挥重要作用，赢得第一届AIMO进步奖！开源大模型数据集

Numina一路披荆斩棘、过关斩将，在50道超难的数学竞赛题中，其AI模型回答对了29道比第二名多出7道顺利拿下第一名。