GPT-OSS 模型架构与 20B 本地运行体验
本文拆解 GPT-OSS 20B/120B 的 MoE、稀疏注意力、GQA 与 RoPE 架构,并记录 18GB 内存 MacBook Pro 通过 Ollama 运行 20B 模型的资源占用和实际表现。
本文拆解 GPT-OSS 20B/120B 的 MoE、稀疏注意力、GQA 与 RoPE 架构,并记录 18GB 内存 MacBook Pro 通过 Ollama 运行 20B 模型的资源占用和实际表现。
上周被spring-ai调用模型api这个折腾的有点难受,这周又试了下用deepseek官方的api,但结果还是一样,不确定是啥原因,请求会一直卡着 后来想着本地有ollama,那是不是可以直接用ollama来调本地模型 这里我们用一个非常基础很小的模型 然后对应的配置是 当然…
之前经常看一些LLM的工具,类似于ollama,chatbox等等,这些都类似于是个独立工具,真的在代码里使用的话可能没那么方便 正好看了下spring有个spring-ai的包,可以来使用试下 首先我们要用比较新的jdk版本,比如jdk17,然后需要使用springboot比…
上次介绍了n8n的安装和简单的工作流搭建,现在我们可以来看下一批免费开源的模板,也许它不能直接为我们所用,但是可以给我们搭建使用过程中提供一些帮助 就是这个仓库 https://github.com/wassupjay/n8n-free-templates 比如我们看下第一个目…
开始研究学习下现在比较流行的工作流画布,用官方的话就是 Flexible AI workflow automation for technical teams 根据中文教程的描述,它也可以认为是个低代码的画布工具,首先安装非常简单,咱们先玩玩本地的 前提是装有docker 然后…