ChatGPT 现在很火，它打破了互联网。 作为 ChatGPT 的狂热用户和 ChatGPT 应用程序的开发者，我对这项技术的可能性感到无比兴奋。 我看到的情况是，基于 ChatGPT 的解决方案将呈指数级增长，人们将需要监控这些解决方案。

由于这是一项非常新的技术，我们不想让我们闪亮的新代码负担专有技术，对吗？ 不，我们不会，这就是为什么我们要使用 OpenTelemetry 来监控本博客中的 ChatGPT 代码。 这对我来说尤其重要，因为我最近创建了一项服务，可以从 Zoom 通话中生成会议记录。 如果我要将其发布到外面，我要花多少钱？我如何确保它可用？

毫无疑问，OpenAI API 非常棒。 它还会在对每个 API 调用的每个响应中为我们提供如下所示的信息，这可以帮助我们了解我们被收取的费用。 通过使用 OpenAI 在其网站上发布的代币数量、模型和定价，我们可以计算成本。 问题是，我们如何将这些信息输入到我们的监控工具中？

1. {2. "choices": [3. {4. "finish_reason": "length",5. "index": 0,6. "logprobs": null,7. "text": "nnElastic is an amazing observability tool because it provides a comprehensive set of features for monitoring"8. }9. ],10. "created": 1680281710,11. "id": "cmpl-70CJq07gibupTcSM8xOWekOTV5FRF",12. "model": "text-davinci-003",13. "object": "text_completion",14. "usage": {15. "completion_tokens": 20,16. "prompt_tokens": 9,17. "total_tokens": 2918. }19. }复制代码OpenTelemetry 来拯救

OpenTelemetry 确实是一项了不起的工作。 多年来，它得到了如此多的采用和致力于它的工作，它似乎真的到了我们可以称之为 Linux of Observability 的地步。 我们可以使用它来记录日志、指标和跟踪，并以供应商中立的方式将它们放入我们最喜欢的可观察性工具 —— 在本例中为 Elastic 可观察性。

借助 Python 中最新最好的 otel 库，我们可以自动检测外部调用，这将帮助我们了解 OpenAI 调用的执行情况。 让我们先看看我们的示例 Python 应用程序，它实现了 Flask 和 ChatGPT API，并且还具有 OpenTelemetry。 如果你想自己尝试，请查看本博客末尾的 GitHub 链接并按照以下步骤操作。

登录后，单击 Add integrations。

然后向下滚动以获取此博客所需的详细信息：

此处对 OpenAI 的一些请求已超过 3 秒。 ChatGPT 可能会非常慢，因此了解它有多慢以及用户是否感到沮丧对我们来说很重要。

我们研究了使用 OpenTelemetry 和 Elastic 监控 ChatGPT。 ChatGPT 是一种全球现象，毫无疑问，它会不断发展壮大，很快每个人都会使用它。 因为获得响应可能很慢，所以人们能够理解使用此服务的任何代码的性能至关重要。

还有成本问题，因为了解这项服务是否正在侵蚀你的利润以及你所要求的是否对你的业务有利可图非常重要。 在当前的经济环境下，我们必须密切关注盈利能力。

在此处查看此解决方案的代码。 请随意使用 “monitor” 库来检测你自己的 OpenAI 代码。

有兴趣了解有关 Elastic 可观察性的更多信息吗？ 查看以下资源：

并报名参加我们以 AWS 和 Forrester 为特色的 Elastic 可观察性趋势网络研讨会，不容错过！

原文链接：Monitor OpenAI API and GPT models with OpenTelemetry and Elastic | Elastic Blog