欢迎来到 金小颖论坛!
所有类别
-
Ollama接入Prometheus与Grafana实现推理指标监控及告警配置 在本地或服务器上运行 Ollama 后，最常见的问题不是“模型能不能回答”，而是“为什么突然变慢、是否出现请求堆积、显存是否不足”。仅靠日志很难持续观察这些变化。📊 通过 Export -
Ollama并发请求队列控制与高负载推理吞吐优化实战 在本地部署大模型时，单次推理顺畅并不代表系统能够承受多人同时访问。Ollama 进入高负载后，常见现象包括首 Token 延迟上升、请求长时间排队、显存突然耗尽，以及服务返回 503。
-
Ollama离线模型导入导出与私有镜像仓库同步实践指南 在内网、涉密研发或网络不稳定的环境中，Ollama 模型不能只依赖在线拉取。更稳妥的方案是把模型权重、Modelfile、清单文件和校验信息作为一套制品管理，并建立可追溯的离线导入、导
-
Ollama Docker Compose 多实例服务编排与 GPU 设备映射实践 在本地大模型推理场景中，单个 Ollama 服务往往难以同时满足开发测试、业务接口和不同模型隔离等需求。借助 Docker Compose，可以将多个 Ollama 实例统一编排，并通
-
Ollama模型热加载与冷启动延迟优化实战 在本地部署大模型时，很多人会发现一个现象：同一个模型第一次请求明显较慢，后续请求却快了不少。🚀 这通常不是网络问题，而是模型经历了从磁盘读取、内存映射、显存分配到推理引擎初始化的“冷启
-
Ollama多模态模型部署与图片理解接口调用实战 多模态大模型让本地 AI 从“只会读文字”升级为“能够看图片并回答问题”。借助 Ollama，我们可以在个人电脑或服务器上部署视觉模型，并通过统一接口完成图片描述、文字识别、界面分析和
-
Ollama自定义Modelfile编写与参数继承配置实战指南 在 Ollama 中，Modelfile 可以理解为模型的“构建说明书”：它不要求重新训练模型，而是在基础模型之上固化系统提示词、推理参数、提示模板和适配器配置。对于需要统一回答风格、
-
Ollama接入Cline：用本地模型驱动代码代理并配置终端权限 在代码代理逐渐成为日常开发工具后，数据是否离开本机、模型调用成本以及终端操作是否可控，成为不少开发者关注的问题。Ollama 与 Cline 的组合提供了一条实用路径：由 Ollama
-
Ollama接入Qdrant打造本地向量检索与混合搜索调优实践 在企业知识库、代码文档和个人资料检索场景中，将文本发送到云端生成向量，往往会带来隐私、成本与网络依赖问题。Ollama 配合 Qdrant，可以在本地完成向量生成、存储和检索，并通过稠
-
Ollama接入Dify搭建本地智能体工作流与工具调用配置实战 在本地部署大模型时，Ollama 负责模型下载、加载与推理，Dify 则提供可视化工作流、智能体编排、知识库和工具管理能力。两者结合后，可以搭建一个数据尽量留在本地、流程可控、便于调试
-
Ollama接入AnythingLLM搭建团队私有知识库与工作区隔离实践 在团队知识管理场景中，把合同、制度、项目文档直接上传到公共 AI 服务，往往会带来数据边界、权限控制和合规方面的顾虑。Ollama 与 AnythingLLM 的组合提供了一条较易落地
-
Ollama接入LiteLLM实现多模型统一路由与调用配额管理 当团队同时使用本地大模型、云端模型和不同业务模型时，应用往往需要维护多套地址、鉴权方式与调用逻辑，后续还会遇到成本难统计、权限难隔离、流量难控制等问题。将 Ollama 放在模型运行层
-
Ollama接入Continue插件实现VS Code本地代码补全与上下文配置指南 想在 VS Code 中获得代码补全能力，又不希望项目源码频繁发送到云端，可以尝试使用 Ollama 配合 Continue 插件。Ollama 负责在本机运行大语言模型，Contin
-
提升Ollama结构化输出与JSON Schema约束的稳定性 在本地大模型应用中，让 Ollama “返回 JSON”并不困难，真正棘手的是让它持续输出字段完整、类型正确、能够直接解析的结构化数据。模型可能偶尔添加解释文字、遗漏必填字段，或者把数
-
Ollama嵌入模型部署与本地知识库向量检索优化实践 在企业文档、技术手册和个人笔记不断积累的情况下，传统关键词搜索很容易出现“字面不同但意思相近却搜不到”的问题。Ollama 可以在本地运行嵌入模型，把文本转换成向量，再配合向量数据库完
-
Ollama模型跨磁盘迁移与存储目录无损调整指南 当系统盘空间告急，或准备把大容量模型转移到更快的 SSD 时，直接删除再下载既耗时，也可能丢失自定义模型。更稳妥的办法是完整迁移模型目录，再通过 OLLAMA_MODELS 环境变量切
-
Ollama容器化部署与Docker Compose持久化配置实战 在本地大模型应用中，Ollama 可以简化模型下载、运行和接口调用，但直接安装在宿主机上，容易遇到环境差异、升级困难和迁移成本高等问题。借助 Docker Compose，我们可以把运
-
Ollama模型预加载与冷启动延迟优化实战指南 在本地部署 Ollama 后，最常见的性能困惑不是模型生成速度，而是“第一次请求为什么特别慢”。这段等待通常包含模型文件读取、权重装入内存或显存、运行环境初始化等过程，也就是冷启动延迟
金小颖论坛
欢迎来到我们的社区。
这里倡导自由表达、平等交流、友好互动、开放分享和有趣探索。无论你是想认真讨论、轻松聊天、分享经验，还是发现好玩的人和内容，都可以在这里找到属于自己的位置。
请尊重他人，理性发言，友善交流，一起建设一个更自由、更开放、更有趣的社区。
帖子数
1472
1472
评论数
1470
1470
用户数
52
52
在线
1
1
微信号
微信号
微信快人一步获取最新文章
扫一扫
不错过精彩文章
热门活动
热门标签
友情链接
XIUNOX基于 Xiuno BBS 4.0.4 原版打造的现代化重构版本 XIUNOX， 全面适配 PHP 8 + MySQL 8，采用 Bootstrap 5.3 与 HTMX 构建现代无刷新 UI， 安全与可扩展性大幅提升，原生支持多语言、RESTful API，让轻量论坛重获新生。
xiunox交流论坛—
Linux 人社区综合性技术论坛
不知名作家论坛不知名作家论坛，由众多爱好者共建的公益性交流论坛，可以发表自己的随笔，散文，短篇小说，随写。
侠客岛侠客岛是一个融合江湖豪情与技术热情的技术社区。一入江湖岁月催，代码人生共举杯。在这里，既能论剑编程之道，也可把酒江湖夜话。
酒入论坛分享资源，分享快乐
破走论坛分享资源，分享快乐
申请友情链接
值得一看
首页动态展示横幅 wajxy_home_banner_v1.1.8【插件】
立即查看
QIK7电脑硬件信息修改工具（免费绿色版）
立即查看
靓号登录 wajxy_premium_number_v1.0.9【插件】
立即查看