谷歌已正式推出每日Token配额功能，该功能适用于BigQuery的生成式AI函数，旨在帮助企业按项目和用户维度限制AI使用量，从而让AI相关支出更具可预测性。
这些配额可通过Google Cloud控制台中的IAM和管理选项卡进行管理，涵盖项目级别和用户级别每日的输入和输出Token数量，适用范围包括AI.GENERATE、AI.GENERATE_TABLE、AI.GENERATE_TEXT、AI.CLASSIFY、AI.IF、AI.AGG以及AI.SCORE等函数。
去年11月，这家云计算巨头在其托管数据仓库和分析平台中加入了基于AI的SQL函数，帮助企业降低大规模分析（尤其是针对非结构化数据的分析）的复杂度。
这些函数利用大语言模型来处理非结构化数据以供分析使用，由于SQL本身无法理解数据的细微差别和含义，这类函数大幅减少了传统上耗时较长的数据准备流程。
不过，该公司在一篇博客文章中写道，诸如AI.GENERATE_EMBEDDING（同时也以ML.GENERATE_EMBEDDING和AI.EMBED的形式提供）等嵌入函数不受这些配额限制，因为它们运行在不同且成本显著更低的模型上。
对于其他函数，默认情况下，输入Token每个项目每日上限为2000亿，每用户每日上限为1500亿；输出Token每个项目每日上限为200亿，每用户每日上限为150亿。
该公司还表示，输出Token配额也包含大语言模型使用的推理Token，并补充说明企业可以提交申请以提高这些默认配额。
企业还可以通过Cloud Quotas API、gcloud命令行工具以及Terraform以编程方式管理这些配额。
不过，除此之外，该数据仓库平台在执行Token配额限制时还存在一些细节差异。
如果查询所需的Token配额已经用尽，BigQuery会拒绝该查询并返回"QuotaExceeded"错误。该公司在文档中写道，如果配额在查询运行过程中耗尽，BigQuery将停止向大语言模型发送新请求。
这意味着查询结果可能会受到影响。
对于AI.IF函数，如果无法处理的行数维持在指定的错误限制范围内，BigQuery可以返回部分结果；若超出该限制，则查询失败，该公司补充说明。
不过对于AI.GENERATE函数，谷歌进一步解释道，查询可以完成执行，但无法处理的行将没有生成的输出内容，并会在其状态字段中携带错误信息。
为帮助企业在查询运行期间避免触及这些配额限制，谷歌还新增了一个AI.COUNT_TOKENS函数，帮助企业团队在运行AI函数之前估算Token消耗量。
然而，该函数同样存在局限性。它仅能估算输入Token数量，并不计算输出Token、推理Token、AI函数附加的额外指令，或图像等非文本输入内容所消耗的Token。
这意味着该估算值可能低于工作负载实际消耗的Token数量。
为了获得更准确的估算结果，这家云计算巨头建议企业团队在为大型工作负载设置配额之前，先运行小规模样本工作负载以测量实际的Token消耗情况。
尽管存在这些局限性，但Pareekh Consulting首席分析师Pareekh Jain认为，每日Token配额对于在BigQuery中扩展工作负载的企业及其首席信息官而言是一项"重要改进"。
Jain表示："此前，不可预测的Token使用量可能导致意外成本。新的控制机制有助于首席信息官管理支出，而成本可预测性是扩展任何企业工作负载的重要因素。"
Scopic Software工程副主管Nhat Bui认为，这种成本可预测性可以为更多数据专业人员带来更大的自由度："分析师和数据科学家可以进行实验，而不必担心因失误造成高昂成本。"
Bui还补充说，这也省去了企业构建专门机制或仪表盘来监控BigQuery中AI函数相关支出的复杂工作："基本的防护机制现已内置其中：每日限额、使用历史记录，以及在运行任务前估算Token数量的函数。团队不再需要定制工具来避免账单失控。"
然而，Nord-IQ Research首席分析师Manoj Chandra Jha表示，这并不能消除企业对FinOps（财务运营）的需求。
Jha补充说："对于首席信息官而言，BigQuery的Token配额限制的是最坏情况，而非整体支出状况。这些配额让企业在SQL中采用AI时更加安心，但它们统计的是Token数量而非实际金额，也没有提供团队或业务部门级别的预算，因此财务部门仍然无法清楚了解具体是谁在花钱。"
Jha进一步表示："明智的做法是将这些配额视为底线，再设定真正的限额，按团队划分项目使每个项目实际上成为一条预算线，并在此基础上叠加FinOps报告体系，因为没有归因机制的可预测性只是治理策略的一半。"
Bui指出，对企业而言，更大的挑战将是在成本控制与生产可靠性之间取得平衡。
Bui表示，Token限额设置得越低，对AI支出的控制力就越强，但如果配额在每日重置前就已耗尽，查询可能失败或返回不完整结果，从而扰乱生产工作负载的风险也就越高。
Jha表示，为平衡这些相互竞争的优先事项，企业应将生产工作负载与开发及实验性工作负载区分开来，给予前者更大的操作空间，同时对后者保持更严格的限制。
Jha还补充说，企业还应构建相应的流程管道，用于检测被跳过的数据行，并在配额重置后重新处理这些数据。
