团队还使用两个技巧，加速模型的训练过程，一个是常见的batch-size warmup，另一个是受微软Phi系列模型启发，利用现有的性能良好的ModernBERT-base模型权重，通过将基础模型的权重“平铺”扩展到更大的模型，提高权重初始化的效果。

近期，面壁智能的刘知远教授团队就在2024中国人工智能大会（CCAI 2024）上提出了大模型的“ 密度定律 （Densing Law）”——模型能力随时间呈指数级增长，2023年以来能力密度约每3.3个月翻一倍。也就是说， ...

西风 发自 凹非寺量子位 | 公众号 QbitAI 时隔6年，一度被认为濒死的“BERT”杀回来了—— 更现代的ModernBERT问世，更快、更准、上下文更长，发布即开源！

scGPT团队意识到，生成式AI在自然语言处理（NLP）领域的成功，可以为单细胞多组学的研究提供新的思路。他们设想利用生成式预训练变换模型（GPT）技术，开发出一个能够处理单细胞数据的基础大模型，以提升细胞和基因的表示能力，同时期望提高数据分析的准确性和效率。

大模型（如GPT和BERT等）的快速发展，促使各大科技公司纷纷投入巨资进行研发。如今，大模型的商业化应用成为业界关注的焦点，关键问题在于：谁成为了这股力量的最大受益者？这篇文章将深入探讨这一现象，并分析其背后的技术与商业逻辑。 大模型的崛起 ...

AI大模型，作为一类具备庞大参数规模与卓越学习能力的神经网络模型，如BERT、GPT等，已在自然语言处理、计算机视觉等多个领域展现出卓越成效 ...

示例：在情感分析任务上微调BERT模型。 16）. 语言模型（Language Model） 定义：预测自然语言中词序列概率的模型，帮助生成或理解文本。 示例：GPT-4是一种能够生成连贯文本的语言模型。 17）. AI偏见（Bias in AI） 定义：AI系统产生偏向性结果，通常由于训练数据 ...

大模型（Large Models）是人工智能发展的里程碑，特别是基于深度学习的预训练模型（如 GPT、BERT）。 随着模型参数规模的指数级增长，大模型在自然语言处理（NLP）、计算机视觉（CV）等领域取得了突破性成果。 本文将深入解析大模型的核心技术、应用场景 ...

H100 GPU 在 LLM 预训练性能上比首次提交时快了 1.3 倍，并且在 GPT-3（175B 训练）中实现了 70% 的性能提升。 英伟达利用 11616 个 H100 GPU 进行了 MLPerf 的 ...