开发大规模AI推理解决方案并不困难。现在就可以开始使用高通AI推理套件，在Cirrascale上利用本公司的Python SDK托管该AI推理套件。
高通与Cirrascale合作推出了免费试用的AI推理服务，确保开发人员能够通过代码轻松连接并运行推理任务。您无需配置容器或处理复杂的云基础设施，只需注册并获取API密钥即可开始使用。
获得密钥后，您只需选择如何连接到推理端点即可。如果您习惯使用Python，我们一并提供了文档和SDK，确保您可以使用熟悉的Python编码规范进行连接。如果您更倾向于使用兼容OpenAI的API，我们还支持其他20多种编程语言和工具。
示例场景
让我们创建一个示例场景来演示如何使用。您希望AI能判断某条客户评论是正面、负面还是中性的。获取这些数据后，您可以进一步分析哪些产品或服务受欢迎，哪些不受欢迎。
Python SDK示例
我们将逐步构建示例代码。
从Imagine SDK导入所需要的函数：
from imagine import ChatMessage, ImagineClient在环境变量或代码中设置API密钥和端点：
myendpoint = "https://aisuite.cirrascale.com/apis/v2"
myapikey = "useyourownkeyhere"
利用端点和密钥为API创建客户端：
client = ImagineClient(endpoint=myendpoint, api_key=myapikey)设置您的请求，选择所要使用的大语言模型：
mymodel = "Llama-3.1-8B"
feedback = "Feedback: ' We loved this hotel, we will be coming back.'"
mycontent = "You are an expert at sentiment analysis. Please evaluate the following customer feedback and answer only with positive, negative, or neutral. Only answer positive, negative, or neutral in lowercase. " + feedback
请求调用聊天函数：
mymessage = ChatMessage(role="user", content=mycontent)
chat_response = client.chat(
messages=[mymessage],
model=mymodel,
)
打印结果：
print(chat_response.first_content)尝试将反馈变量的文本更改为任一产品相关的不同文本集，并试用一下。
试用一下
如您所见，在类似高通AI推理套件这样的可扩展平台上使用推理的过程与使用任何其他简单的API一样方便，但是该推理套件利用更大的模型实现了非常快的结果访问。尽管这只是一个小示例，但可以将其集成到微服务中，作为生产数据管道的一部分提供大量的客户情绪分析。
是否喜欢您所看到的内容？请加入我们的开发者Discord社区，与其他开发者联系，以获得最新消息和及时的技术支持。
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品均为高通技术公司和/或其子公司的产品。
关于作者
雷·史蒂芬森，云开发人员关系领导
