在完成模型的训练或自定义镜像的开发后，可以使用模型服务模块部署为在线服务。
操作步骤
登录 TI-ONE 控制台，在左侧导航栏中选择模型服务 > 在线服务，进入在线服务列表页面。 在服务列表页面单击新建服务，进入服务启动页面。 在服务启动页面，配置在线服务的相关参数。
- 服务基础信息
基础页面填写的参数说明：
| 参数 | 说明 |
|---|---|
| 服务名称 | 服务的名称，按照界面提示的规则填写即可。 |
| 服务版本 | 版本号系统自动生成。 |
| 服务描述 | 可按需为服务配置描述信息。 |
| 地域 | 同账号下的服务按地域进行隔离，地域字段取值根据您在服务列表页面所选择的地域自动带入。 |
| 部署方式 | 支持多种部署方式： - 标准部署：单副本下有1个实例运行，适用于大多数标准场景。 - 多机分布式部署：单副本下有多个实例协调运行，适用于模型需要多机并行的场景。 注意： 服务新建后，更新服务、新增版本均无法修改部署方式，请新建的时候谨慎选择。 |
| 资源组 | 可选择资源组管理模块的资源组。 |
- 副本设置信息
参数填写说明：
| 参数 | 说明 |
|---|---|
| 模型来源 | 支持多种模型来源（不同部署方式下支持的模型来源也不一致）： - 选择 CFS 适用于，部署服务所需的模型文件已放在 CFS 文件系统里的场景，选择模型所在的 CFS 实例，路径输入到模型所在路径的层级（如模型为精调出来的 checkpoint500，则路径输入到/a/b/checkpoint500这一层级）。CFS Turbo 仅支持机器来源为“从 CVM 机器中选择”时使用。 - 选择镜像适用于，部署服务所需的自定义镜像已封装模型文件，不需要再进行模型文件挂载，且自定义镜像已上传至容器镜像服务 TCR 的场景；或者内置大模型的场景。 |
| 运行环境 | - 若从 CFS 选择模型，则运行环境需要根据模型文件选择对应的内置镜像。 - 若从镜像选择模型，则运行环境可以选择已上传至容器镜像服务 TCR 的自定义镜像、输入镜像地址或者内置大模型镜像。 |
| 开启 gRPC | 开关默认关闭。关闭时仅支持 HTTP 协议调用。开启后支持 gRPC 协议调用。 |
| 端口 | 支持配置容器对外暴露的端口，可填范围 1024-65535，但不包括 8502-8510,6006,9092。 额外注意两个特殊端口号：8500 是 gRPC 的默认端口，8501 是 REST 的默认端口，不可混淆使用。 |
| 资源申请/算力规格 | 可设置从所选资源组中申请多少资源用于启动当前服务。 |
| 启动命令 | 支持配置容器的启动命令，选填。 |
| 环境变量 | 支持配置容器的环境变量，选填。 |
| 优雅停止时限 | 即 Kubernetes 的 terminationGracePeriodSeconds，停止时间超过该时限的 Pod 将被强制销毁。默认值为30s。 |
| 停止前执行 | 即 Kubernetes 的 PreStop 命令，Pod 在销毁前会先执行该命令以实现优雅停止，选填。命令格式为字符串数组，例如：“["sleep", "70"]”。 |
| 选择Sidecar容器镜像 | 支持用户自定义配置 Sidecar 容器镜像，选填。 |
- 服务特性配置
参数说明：
| 参数 | 说明 |
|---|---|
| 请求限流 | 支持配置服务限流值： - 不限流默认单个服务最大的 QPS 为500，限流值大于500时，按照500进行限流，当服务升级包后，服务的总限流值以升级包的上限为准。 - 单副本 QPS 的限流值为单个实例的限流。 - 单副本最大并发数为单个实例的限流。 注意： 该限流值为单个副本的限流，当服务进行扩缩容时，服务整体限流值将按照设置的值 * 副本数进行更新；单个服务组最大的 QPS 为500，当服务组下设置的服务总限流值大于500时，按照500进行限流。 |
| 副本调节 | - 手动调节：可以自定义设置服务的副本数量，副本数量最小为1。 - 自动调节：可以选择基于时间或者基于 HPA 的调节策略，该部分详细说明请查看 在线服务运营。 |
| 是否生成鉴权 | 若开启，则服务调用时会进行签名认证，已启动的服务可在服务调用页面查看签名密钥及签名计算指引。 开启鉴权后，将会为您自动生成服务的首个密钥，您可在服务详情页-服务鉴权中查看并创建更多密钥。 |
| CLS 日志投递 | 平台为用户提供近15日服务日志存储，若需要持久化日志存储以及更灵活的日志检索能力、日志监控告警能力 ，可开启 CLS 日志投递，开启后服务日志会根据日志集与日志主题投递至日志服务 CLS。 |
| 重试策略 | 配置服务部署失败时采用的重试逻辑，支持“有限次重试”或“无限次重试”。默认值为有限重试5次。只有在新部署服务时才会使用该逻辑；更新服务或启动已停止服务时，系统将采用“无限次重试”。 |
| 滚动更新策略 | 支持设置服务滚动更新策略，确保服务平滑升级： - MaxSurge：表示滚动更新期间，允许超出所需规模的最大副本数量。 - MaxUnavailable：表示滚动更新期间，允许不可用副本数量的上限。 |
| 健康检测 | Kubernetes 的健康检查机制，支持自动检测并恢复失败的容器，确保流量分发到健康的实例上。 - 存活检测：Liveness Probes，验证服务进程是否存活，容器是否正常运行。触发阶段：容器启动后持续运行（整个生命周期）。 - 就绪检测：Readiness Probes，确认服务已具备处理请求的能力，容器是否准备好接受流量。触发阶段：容器启动后持续运行（整个生命周期）。 - 启动检测：Startup Probes，对慢启动容器进行监控检查，检测容器内应用是否完成。触发阶段：仅在容器启动阶段运行（成功后停止）。 检查方法支持三种：HTTPGet、TCPSocket、Exec。 |
| 自动停止 | 平台支持自动停止模型服务，当开启该开关后，在线服务将在指定的停止时间自动停止，同时停止服务算力计费。 |
| 标签 | 支持为服务添加标签，用于按照标签进行授权等。 |
- 启动服务
确认服务配置信息无误后，单击启动服务进行服务部署。服务部署过程中将为您创建网关并调度计算资源，需要等待一段时间，待服务成功完成部署时，服务状态将变为运行中。