一、问题主要出在交接环节,建模本身通常不是瓶颈
GS Caltex 是一家韩国能源化工企业。它在模型开发与运维之间做了一次明确的分工:工艺工程师熟悉流程背后的变量和数据,负责判断模型预测是否有用,在 SageMaker Canvas 里不写代码完成建模和验证;ML 工程师负责把成果变成生产作业,用 SageMaker Pipelines 配置部署流程和定时推理,并管理模型版本与执行历史。
分工本身不难,难点在于交接。把 Canvas 里的资产搬进 Pipelines,过去需要额外的集成工作:为生产环境设置数据路径、提供模型配置、把预处理作业和推理作业连接起来。GS Caltex 把这段交接自动化,同时复用了 Canvas 中已经验证过的预处理流和训练好的模型。
结果体现在两个可量化的点上:ML 工程师现在能在几小时内完成模型部署,此前大约需要一周;批量推理每 30 分钟运行一次,不再需要为每个模型维持持续运行的端点,推理成本相应明显下降。
二、对用户的价值:分工不改变,交接环节变短
这套方案的价值在于把重复劳动消除,并非让工艺工程师改行做工程。两边各管一段,中间用手工搬运的环节被压缩掉:
| 环节 | Canvas 侧负责 | 生产流程侧负责 | | --- | --- | --- | | 数据准备 | 用 Data Wrangler 搭建预处理流 | SageMaker Processing 中的预处理作业 | | 模型开发 | 训练模型与评估结果 | Model Registry 中的版本与审批状态 | | 预测 | 验证模型预测是否合理 | 用已审批模型每 30 分钟做批量推理 | | 运维 | 单个模型的开发与验证 | 步骤执行历史、结果存储、失败处理 |
对工艺工程师来说,建模门槛没有因为要上生产而抬高;对 ML 工程师来说,不必重写一遍别人已经验证过的特征变换,只需要配置输入输出路径、确定执行顺序,并写出把审批和调度接入流程的代码。对组织来说,模型从验证到投产的周期缩短,试错成本跟着下降。
三、适用场景与选择标准
这套做法适合满足以下条件的业务:一次能凑齐一批记录一起计算,比如工艺参数监控、批量打分、周期性给历史数据补预测;对延迟没有秒级要求;模型会周期性重训、重新审批;不希望为每个模型长期保有一个推理端点。
不适合直接照搬的情况也要说清楚。需要持续稳定低延迟响应的请求,仍然更适合配置常驻的实时端点,批量作业按作业申请和释放资源的方式在这种场景下反而会带来额外调度开销。另一个不能忽略的限制在预处理环节:如果预处理流会用目标列筛选行、从目标列派生特征,或者对目标列做编码,那么补一个占位目标列的做法就不可靠,需要把推理需要的变换和学习到的状态单独拆出来。
做选择时可以先问几个问题:业务能接受多长的结果延迟;单批数据量有多大;预处理是否依赖目标列;审批是否必须由人工把关;如果跨区域部署,所用容器镜像在目标区域是否可用。这些问题基本决定了架构走向。
四、落地要点:让已验证的环节尽量保持不变
第一步是复用预处理流。从 Canvas 导出数据到对象存储时,关闭自动作业配置并选择 SageMaker Processing,然后在作业详情里记录容器镜像地址、名为 flow 的输入位置、执行角色和输出设置。容器镜像建议固定版本,以保证复现当时验证过的变换;输出 ID 需要按节点与输出名的组合精确匹配;训练阶段学到的缩放、编码参数要保留,不要在每个推理批次上重新拟合。上线前用同一份输入分别跑 Canvas 和 Processing,比对列、数据类型和变换后的取值。
有几个容易出错的地方需要注意。预处理文件里引用的数据源位置不会因为你把原始数据传到别处而自动更新;把流程迁到其他区域时,要先确认容器镜像在该区域可用;不要把原始数据上传到别处就当作已经切换数据源。多个执行如果共用同一个可变输入路径,要避免它们时间上重叠;如果希望每次执行都有独立的输入,可以复制一份预处理文件并修改其中的源地址,注意声明一个流水线参数并不会自动替换文件内部的地址。
第二步是处理训练与推理的输入差异。训练数据里有目标列,推理数据里没有,而预处理流可能仍按训练时的结构期待这一列。参考做法是在预处理前增加一个准备步骤补上占位列,预处理完成后用单独步骤删掉该列,再交给批量推理,最后合并结果。占位值的类型和列位置要与训练时的结构一致,并且只把模型期望的特征按原顺序传进去。这个办法只适用于占位目标列不影响特征取值的情况。验证要覆盖列顺序与列数、数据类型、缺失值处理和行数。
第三步是把审批真正做成一道检查关卡。模型版本连同模型文件、推理配置和评估结果登记到模型仓库,ML 工程师复核后再改审批状态。需要注意的是,模型仓库记录审批状态,但不会在每次推理请求上强制检查;部署代码里必须显式确认模型包已完成且已审批,并保留所选模型包标识和模型名。审批被撤销时,要同步更新引用该模型的调度和执行配置。注册与部署只在版本发布时做一次,每 30 分钟运行的那条流水线直接调用已部署模型,不必重复注册。
第四步是调度与结果对齐。建议先手动运行一次验证,再挂上定时规则;每 30 分钟可以用间隔表达式,需要整点和半点触发则用对应的 cron 表达式。触发角色要信任事件服务并具备启动流水线执行的权限。每次运行处理哪个数据窗口,应该在输入准备环节确定并记录到执行上,否则事后很难解释某一批结果对应的业务时间。结果合并如果按行位置对齐,上线前必须校验文件顺序和行数一致,不一致就停止产出;如果预处理会排序或删除行,则需要维护源记录标识与预测结果的显式映射,不能想当然认为行序不变。
五、成本结构与落地建议
流水线编排本身是无服务器形态,不需要自己准备和维护工作流服务器,主要负责执行顺序和依赖。真正产生费用的是预处理作业和批量转换作业,按实例类型和运行时长计费。成本结构因此发生了变化:原本是端点在线时长和常备容量,现在变成作业时长、运行频率、实例数量和数据量。批量作业结束即释放资源,多个模型不必各自养一个常驻端点,这是成本下降的主要来源;而需要稳定低延迟的请求,仍应交给实时端点。
落地建议上,可以先做三件事。一是按全流程算总成本,把预处理、批量转换、存储和调度频率放在一起看,只看单项容易误判。二是把运行频率当成业务决策而不是默认值,30 分钟来自业务节奏,不是通用最优解,频率降低通常是最直接的省钱手段。三是把校验前移,列顺序、数据类型、缺失值处理、行数这些检查应该在调度启用之前就跑通,并明确数据无效或不匹配时的处理方式,例如直接停止产出而不是写入错误结果。
最后是推进节奏:先用一个模型跑通从验证到定时推理的完整链路,确认交接、审批、结果对齐和失败处理都能闭环,再逐步扩大模型数量和批处理频率。这套方案真正的门槛通常在交接细节和校验纪律上,而不在算法本身。