NVIDIA免费模型调用#

from openai import OpenAI
import os

# 配置客户端
client = OpenAI(
    base_url="https://integrate.api.nvidia.com/v1",  # 固定地址
    api_key=os.getenv("NVIDIA_API_KEY", "nvapi-xxx_xxx")  # 替换为你的Key
)

def query_nim_model(prompt, model="z-ai/glm4.7", max_tokens=1024):
    """
    调用英伟达NIM大模型
    
    参数:
        prompt: 用户输入的提示词
        model: 模型ID，默认为GLM-4.7
        max_tokens: 最大输出长度
    
    返回:
        模型生成的文本
    """
    try:
        response = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            temperature=0.7,  # 控制随机性，0-1之间
            max_tokens=max_tokens,
            stream=False  # 设为True可流式输出
        )
        return response.choices[0].message.content
    except Exception as e:
        return f"调用失败: {str(e)}"

# 使用示例
if __name__ == "__main__":
    result = query_nim_model("用Python写一个快速排序算法，并添加详细注释")
    print(result)

# 完整API调用参数示例
response = client.chat.completions.create(
    model="z-ai/glm4.7",           # 必填，模型标识
    messages=[                     # 必填，对话历史
        {"role": "system", "content": "你是一个资深Python开发专家"},
        {"role": "user", "content": "解释Python的装饰器原理"}
    ],
    temperature=0.7,              # 随机性：0-2，越高越有创意
    max_tokens=2048,              # 最大输出长度
    top_p=0.9,                    # 核采样：0-1，控制多样性
    stream=False,                 # 是否流式输出
    presence_penalty=0.0,         # 话题新鲜度：-2到2
    frequency_penalty=0.0         # 重复惩罚：-2到2
)

# 添加重试机制的示例
import time
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def robust_query(prompt):
    return query_nim_model(prompt)

def batch_process(queries, model="z-ai/glm4.7", delay=2):
    """批量处理多个查询，避免频率限制"""
    results = []
    for i, query in enumerate(queries):
        if i > 0 and i % 10 == 0:
            time.sleep(60)  # 每10个请求暂停1分钟
        result = query_nim_model(query, model)
        results.append(result)
        time.sleep(delay)  # 请求间基础间隔
    return results