首页 > 分享 > 提示流故障排除指南

提示流故障排除指南

跳转至主内容

此浏览器不再受支持。

请升级到 Microsoft Edge 以使用最新的功能、安全更新和技术支持。

Learn

文档

有关 Microsoft 开发人员工具和技术的深度文章

问答

经 Microsoft 审核的技术问题和解答

代码示例

Microsoft 开发人员工具和技术的代码示例库

节目

来自 Microsoft 专家的数千小时原创节目

适用于组织的 Microsoft Learn

提高团队的技术技能

访问特选资源,以提升团队技能水平,缩小技能差距。

适用于组织的 Microsoft Learn

提高团队的技术技能

访问特选资源,以提升团队技能水平,缩小技能差距。

适用于组织的 Microsoft Learn

提高团队的技术技能

访问特选资源,以提升团队技能水平,缩小技能差距。

适用于组织的 Microsoft Learn

提高团队的技术技能

访问特选资源,以提升团队技能水平,缩小技能差距。

登录

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

提示流故障排除指南

项目2024/09/02

本文内容

计算会话相关问题流运行相关问题流部署相关问题

本文解答了有关提示流用法的常见问题。

运行失败,因为“没有名为 xxx 的模块”

此类与计算会话相关的错误缺少所需的包。 如果使用的是默认环境,请确保计算会话的映像使用的是最新版本。 如果使用的是自定义基础映像,请确保在 docker 上下文中安装了所有所需的包。

在何处查找计算会话使用的无服务器实例?

可以在计算页下的“计算会话列表”选项卡中查看计算会话使用的无服务器实例。 详细了解如何管理无服务器实例 管理计算会话。

使用自定义基础映像时计算会话失败

如何查找 LLM 工具的原始输入和输出以进一步调查?

在提示流中,在成功运行的流页面和运行详细信息页面上,可以在输出部分找到 LLM 工具的原始输入和输出。 选择 view full output 按钮以查看完整输出。

显示在 LLM 节点上查看完整输出的屏幕截图。

Trace 部分包括对 LLM 工具的每个请求和响应。 可以检查发送到 LLM 模型的原始消息和 LLM 模型的原始响应。

显示原始请求发送到 LLM 模型以及 LLM 模型的响应的屏幕截图。

如何修复来自 Azure OpenAI 的 409 错误?

你可能会遇到来自 Azure OpenAI 的 409 错误,这意味着你已达到 Azure OpenAI 的速率限制。 可以在 LLM 节点的输出部分中检查错误消息。 详细了解 Azure OpenAI 速率限制。

显示来自 Azure OpenAI 的 429 速率限制错误的屏幕截图。

确定哪个节点消耗的时间最多

检查计算会话日志。

尝试查找以下警告日志格式:

{node_name} 已运行 {duration} 秒。

例如:

案例 1:Python 脚本节点运行时间过长。

显示超时运行符号的屏幕截图。

在这种情况下,你会发现 PythonScriptNode 运行时间过长(大约 300 秒)。 然后,可以检查该节点详细信息,查看问题出在哪里。

案例 2:LLM 节点长时间运行。

显示 LLM 超时导致的超时日志的屏幕截图。

在这种情况下,如果在日志中找到消息 request canceled,可能是因为 OpenAI API 调用花费的时间太长,超出了超时限制。

OpenAI API 超时可能是由网络问题或需要更多处理时间的复杂请求引起的。 有关详细信息,请参阅 OpenAI API 超时。

请等待几秒钟,然后重试请求。 此操作通常可以解决任何网络问题。

如果重试不起作用,请检查是否使用了较长的上下文模型,例如 gpt-4-32k,并为 max_tokens 设置了较大的值。 如果是这样的话,这是预期的行为,因为提示可能会生成长响应,所需时间超过交互模式的阈值上限。 在这种情况下,建议尝试 Bulk test,因为此模式没有超时设置。

如果在日志中找不到任何内容表明它是特定的节点问题:

请与提示流团队 (promptflow-eng) 联系并提供日志。 我们会努力找出根本原因。

使用终结点时的上游请求超时问题

如果使用 CLI 或 SDK 部署流,可能会遇到超时错误。 request_timeout_ms 默认为 5000。 最多可以指定为 5 分钟,即 300000 毫秒。 下面的示例演示如何在部署 yaml 文件中指定请求超时。 若要了解详细信息,请参阅部署架构。

request_settings: request_timeout_ms: 300000

OpenAI API 命中身份验证错误

如果重新生成 Azure OpenAI 密钥,并手动更新在提示流中使用的连接,在重新生成密钥之前调用现有终结点时,可能会遇到“未授权。 访问令牌缺失、无效、访问群体不正确或已过期”等错误。

这是因为终结点/部署中使用的连接不会自动更新。 部署中密钥或机密的任何更改都应通过手动更新来完成,目的是避免由于无意脱机操作而影响联机生产部署。

如果终结点部署在工作室 UI 中,则只需使用相同的部署名称将流重新部署到现有终结点。 如果使用 SDK 或 CLI 部署终结点,则需要对部署定义进行一些修改,例如添加虚拟环境变量,然后使用 az ml online-deployment update 更新部署。

提示流部署中的漏洞问题

对于提示流运行时相关的漏洞,以下是有助于缓解的方法:

更新流文件夹中 requirements.txt 中的依赖项包。 如果使用流的自定义基础映像,则需要将提示流运行时更新为最新版本,并重新生成基础映像,然后重新部署该流。

对于托管联机部署的任何其他漏洞,Azure AI 以每月的方式修复了问题。

“MissingDriverProgram 错误”或“在请求中找不到驱动程序程序”

如果部署流并遇到以下错误,可能与部署环境相关。

'error': { 'code': 'BadRequest', 'message': 'The request is invalid.', 'details': {'code': 'MissingDriverProgram', 'message': 'Could not find driver program in the request.', 'details': [], 'additionalInfo': [] } }

Could not find driver program in the request

可通过两种方法解决此问题。

(建议)可以在自定义环境详细信息页面中找到容器映像 uri,并将其设置为 flow.dag.yaml 文件中的流基础映像。 在 UI 中部署流时,只需选择“使用当前流定义的环境”,后端服务将基于此基础映像和 requirement.txt 为部署创建自定义环境。 了解有关流定义中指定的环境的详细信息。

可以通过在自定义环境定义中添加 inference_config 来修复此错误。

以下是自定义环境定义的示例。

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json name: pf-customized-test build: path: ./image_build dockerfile_path: Dockerfile description: promptflow customized runtime inference_config: liveness_route: port: 8080 path: /health readiness_route: port: 8080 path: /health scoring_route: port: 8080 path: /score

模型响应耗时太长

有时,你可能会注意到部署需要很长时间才能做出响应。 有几个可能的因素会导致这种情况发生。

流中使用的模型不够强大(例如:使用 GPT 3.5 而不是 text-ada) 索引查询未优化,且耗时过长 流有许多要处理的步骤

考虑根据上述考虑因素优化终结点以提高模型的性能。

无法提取部署架构

在部署终结点并想要在 部署详细信息页的“测试 ”选项卡中对其进行测试后,如果 “测试 ”选项卡显示 “无法提取部署架构”,可以尝试以下两种方法来缓解此问题:

“部署详细信息”页中“测试”选项卡中无法提取部署架构的错误屏幕截图。

请确保已授予对终结点标识的正确权限。 详细了解如何授予对终结点标识的权限。 这可能是因为你在旧版本的运行时中运行了流,然后部署了流,因此部署也使用了旧版本中的运行时环境。 若要更新运行时,按照更新 UI 上的运行时,并在最新的运行时中重新运行流,然后再次部署流。

拒绝访问以列出工作区机密

如果遇到“拒绝访问以列出工作区机密”之类的错误,请检查是否已授予对终结点标识的正确权限。 详细了解如何授予对终结点标识的权限。

反馈

相关知识

金昌自动灌溉系统的养护和维修指南
2022合肥苗木花卉交易大会参展指南
AI种草文案工具使用故障排查:全面解析无法使用的原因与解决方法
EAU前列腺疼痛综合征(PPS)诊治指南解读
清明祭扫、踏青出游,江夏交警发布出行提示
ChatGPT提示词,汇聚全网提示词,chatgpt提示词大全
【提示】梅雨季来临,这份养护指南助你家植物安然度过→
chatgpt提示词
chat gpt的提示词汇总
超过 500 个 ChatGPT 顶级提示词

网址: 提示流故障排除指南 https://m.huajiangbk.com/newsview105029.html

所属分类:花卉
上一篇: 找不到文件/无法预览/恢复乱码/
下一篇: [机器学习基础][笔记] 一、鸢