ETJava Beta | Java    注册   登录
  • 搜索:
  • .NET使用OllamaSharp实现大模型推理对话的简单演示

    发表于      阅读(1)     博客类别:Crawler     转自:https://www.cnblogs.com/weskynet/p/18497936
    如有侵权 请联系我们删除  (页面底部联系我们)  
     
    前提条件:请确保你本地已经安装了ollama以及有关本地离线模型。或者已有远程模型环境等。如果没有,请自行部署。如果需要帮助,可以文末获取联系方式咨询。由于部署离线大模型过于简单,在线资料也很多,我就省略这个步骤了。
     
    创建一个项目,添加使用MIT开源协议的一个nuget包 OllamaSharp
    0
    确保Ollama应用已经启动。
    0
     
    默认本地ollama的端口是11434,也可以自行部署时候更改环境变量进行修改大模型存放地址、默认端口、是否允许远程访问等等。创建连接,并且验证下连接是不是正常,返回true,代表连接正常。
    0
     
    可以遍历出已有的模型有哪些,咱们写个选择模型的输入,通过输入来选择模型。由于获取的是IEnumerable集合,所以此处为了方便,之间转为数组来获取下标,从而获取模型名称。大家自己使用时候记得优化下写法。
    运行,可以看到我本地罗列的模型列表等信息。
    0
     
    选择模型完毕,并绑定prompt提示词进行创建聊天对话。创建对话以后,根据用户输入的内容进行推理并获取返回内容。
    0
     
    运行结果如下:
    如果需要以上演示的demo源码,可以在个人公众号 Dotnet Dancer 内,回复 【代码演示】 即可获取代码开源地址。
    核心代码片段:
    var uri = new Uri("http://localhost:11434");
    var ollama = new OllamaApiClient(uri);
    
    var models = await ollama.ListLocalModels();

     foreach (var model in models)
     {
        Console.WriteLine($"{index++}:{model.Name} {model.Size / 1024 / 1024} MB"); // 输出模型名称和大小
     }
     int selectIndex = Convert.ToInt32(Console.ReadLine());
     ollama.SelectedModel = models.ToArray()[selectIndex].Name; // 选择模型名称

    var chat = new Chat(ollama, prompt);
    
    await foreach (var answerToken in chat.Send(message))
           Console.Write(answerToken);