本文详细介绍了如何使用Transformers框架进行大型语言模型（LLM）的训练，包括预训练、有监督微调和高效微调。预训练部分讲解了使用Transformers框架和分布式框架deepspeed进行模型预训练的全过程，包括模型初始化、数据预处理和使用Trainer进行训练。有监督微调部分则介绍了如...
傻猫网络日志 Samool's blog - 二十年老博客
本站创建于2004年，博主为Delphi老码农，暗黑忠实粉丝，主要用于记录工作、生活、学习、游戏相关内容本文是《从零开始的大语言模型原理与实践教程》的第五章，介绍了如何动手搭建大模型LLaMA2。首先，定义了模型的超参数，包括模型大小、层数、头数等，并创建了ModelConfig类。接着，详细讲解了如何构建RMSNorm、LLaMA2 Attention和MLP模块，以及如何将这些模块组合成一个完整的...
本文详细介绍了大语言模型（LLM）的概念、特点、能力以及训练过程。LLM是参数量更多、在更大规模语料上进行预训练的语言模型，具有涌现能力、上下文学习能力、指令遵循能力和逐步推理能力。训练LLM需要经过预训练（Pretrain）、有监督微调（SFT）和人类反馈强化学习（RLHF）三个阶段。预训练使用海...
从零开始的大语言模型原理与实践教程深入理解 LLM 核心原理，动手实现你的第一个大模型项目介绍 很多小伙伴在看完 self-llm 开源大模型食用指南 后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。 本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM...
文章探讨了人在什么情况下成长最快，提出了九个关键点：情绪稳定、冷静应对、不过分在意他人看法、不纠缠、不怕犯错、保持良好心态、学会钝感力、接受自己的平庸和用正面角度看待问题。这些观点旨在帮助人们在面对挑战和困难时保持积极态度，实现个人成长。
本文提供了一个全面的AI产品经理学习路线图，包括九个步骤，涵盖从基本概念到AI评估系统的各个方面。每个步骤都提供了相应的资源和工具，如统计学、Python、神经网络、提示词工程、模型微调、RAG、AI代理与工作流、AI原型设计与构建、基础模型和AI评估系统。此外，还提供了一些额外的AI资源，如AI ...
Artificial Analysis发布的《2025年第二季度中国人工智能现状报告》显示，中国的人工智能实验室已接近美国水平，尤其是DeepSeek成为全球第二，背后有10多个企业组成的生态系统。报告指出，中国AI生态系统具有深度，多个实验室的模型在智能评分上令人印象深刻，且采用开放权重策略支持国...
王大勇（Samool）预测，根据人工智能的指数级增长，通用人工智能（AGI）将在2030年左右到来，最晚不超过2035年。他拥有丰富的电信行业和软件开发经验，包括在多家公司担任信息总监和开发多个系统。
微软、OpenAI、谷歌、Anthropic等公司在AI领域取得新进展，包括编程助手、AI硬件、新模型等。Nvidia、FutureHouse、Mistral等公司在机器人技术、治疗黄斑变性、开放编码AI等方面取得突破。新加坡Sharpa发布高自由度机器人手，特斯拉和字节跳动分别在视频学习转移和多模...
Gemini 2.5 Pro是一款免费的软件，可以替代专家进行视频转录、播客和病毒性帖子。文章提供了五个技巧来使用Gemini 2.5超越竞争对手，包括如何进入Google AI Studio，点击Gemini 2.5 Pro，添加视频，并提示转录视频并标记时间戳。
Hugging Face发布了免费的AI在线课程，涵盖大型语言模型、AI代理、深度强化学习、计算机视觉、音频处理、游戏机器学习、3D机器学习、扩散模型等领域，并提供开源AI食谱供学习者实践。教程可在官网学习。
玛雅文明是中美洲一个繁荣于公元前2000年至16世纪的文明，以其建筑、书写系统、数学和天文学成就而闻名。玛雅人在艺术、数学、天文学和复杂历法创造等领域取得了重大进步，建造了宏伟的建筑结构，如金字塔和寺庙。然而，玛雅文明在末期古典时期经历了显著的衰落，主要城邦被废弃，人口减少。衰落的原因包括环境恶化、...
本文从第一性原理出发，预测了2025-2035年人工智能的五大发展趋势：基础技术驱动力、算法演进与范式转变、系统层级创新、现实应用场景爆发以及安全性、治理与哲学挑战。预计到2030年，专用AI芯片将使单位算力成本降低10-50倍，开源模型训练门槛降低，多模态大模型将具备逻辑推理、跨领域迁移和计划能力...
这篇文章分享了十三句富有哲理的话，旨在启发人们在生活、工作和心态上做出积极的改变。这些话语涵盖了形象与能力、遇到贵人、自我提升、面对压力、顺其自然、坚持与成功、珍惜每一步、内心强大、认知与财富、自信与焦虑、成熟与情绪、乐观与幸福等多个方面，鼓励人们以更积极、成熟的态度面对生活的挑战。