rocky linux9.8从零编译、部署llama.cpp

测试软硬件信息 处理器 内存 显卡 存储 网络 系统 类型 E5-2965v4 DDR4 ECC RTX 5060 M.2 AQC113C linux 规格 48核 48G 8G 200G 万兆 rocky9.8 配置环境 # 安装基础开发工具和 CMake以及CUDA工具包、pip sudo dnf groupinstall ...

2026-8-6 2 0

PVE直通显卡到linux虚拟机

确认宿主机显卡状态已准备好直通 打开pve宿主机的shell,执行`lspci -nn | grep -i nvidia` （默认N卡，其他的请自行更换匹配关键词），根据显示的pci编号执行`lspci -nnk -s 83:00.0`，如果Kernel driver in use后显示**不**是vfio-pci，则需要编辑vfio.conf文件。 ...

2025-10-17 556 0

Ubuntu24.04安装docker compose

安装部署： 若之前尝试过安装，先移除残留配置 sudo apt remove docker-compose sudo rm -f /etc/apt/sources.list.d/docker.list 添加Docker官方GPG密钥 sudo mkdir -m 0755 -p /etc/apt/keyrings sudo curl -fsSL https:...

2025-9-12 658 0

大模型应用的技术架构

AGI架构商业落地 大模型应用的技术架构 AI>software>world AI世界分三类人：AI使用者、AI产品开发者、基础大模型相关 调用大模型，相当于调动一个人 TA懂人话 TA说人话 TA直接给结果，但不一定对 核心心法：把AI当人看 范式变化所在，所有方案的源泉 要解决的问题 举例 人的思路 大模型的思路 布置任务 查数...

2025-9-5 555 0

100个IT运维知识

2025-9-4 588 0

Ubuntu 24.04搭建高可用Harbor私有镜像仓库

模拟生成环境实现私有仓库高可用，使用containerd完成部署，以及k8s如何调用等等，后期将持续更新结合sql数据库实现数据持久化………

2025-8-3 896 0

FRP内网穿透之1panel篇

搭建目的 为了能远程家里电脑，同时映射web网站服务。 拓扑图 配置清单 硬件 配置建议 推荐配置 组件服务 备注 路由器 - - - 连接互联网，光猫即可 交换机 至少2个万兆电口或光口 - - 负责局域网内数据交换 服务器 万兆电口或光口 24核/128G/256G+1T pvewindows专业版ubuntu24.04 也可以自...

2025-7-21 691 0

AI大模型基本原理及阿里百炼API调用

AIGC的发展历程 从GPT1到GPT4 GPT-1（2018年） 基于12层Transformer解码器架构，参数量1.17亿，首次采用无监督预训练+微调范式，在文本生成任务中展现基础语言理解能力。 GPT-2（2019年） 参数量增至15亿，训练数据达40GB，证明模型规模扩大可显著提升零样本任务表现，生成文本连贯性增强。 GPT-3（2020年） 参...

2025-5-7 1039 0