LLaMa-1 技术详解 - 知乎
LLaMa 采用了高效的 causal multi-head attention (基于 xformers)，不存储注意力权重，且不计算 mask 掉的 query 和 key 的值。 为了进一步提高训练效率，LLaMa 通过 checkpointing 技术来减少在反向传播过程中需要重新计算的激活数量。
草泥马是alpaca还是llama，两者的区别主要是什么？ - 知乎
Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生物和驴一样，对于小动物尤其是绵羊和山羊有很强烈的保护欲望。
如何评价 LLaMA 模型泄露？ - 知乎
最近跟风测试了几个开源的类似于ChatGPT的大语言模型（LLM）。 主要看了下Mete半开源的llama，顺便也看了下国人大佬开源的RWKV，主要是想测试下能不能帮我写一些代码啥的。
Meta 发布开源可商用模型 Llama 2，实际体验效果如何？ - 知乎
1.LLama 2和Llama1的diff，是最好的技术学习资料，尤其是sft和rlhf上。 之前llama1在SFT和RLHF上的发力不多，现在2代模型的技术细节和实验都变得更丰富了。 2.LLama 1代是曾经最好的开源大模型，从使用热度，开源生态，用户口碑全方位碾压其他的模型，LLama 2改进了它。
2023年12月，如何配置一台GPU 服务器，流畅运行LLAMA-70B的 …
Dec 1, 2023 · 刚试了一下，用llama.cpp运行4bit量化的Qwen-72B-Chat，生成速度是5 tokens/s左右。 另外，llama-70b不是一个性价比高的选择，mistral 7b以及国产的qwen 14b/baichuan 13b效果也都挺不错的，稍微SFT一下（从GPT4搞几百条数据蒸馏就够了），
为什么现在的LLM都是Decoder only的架构？ - 知乎
相对于Encoder-Decoder架构，Decoder-only架构更容易收敛，预训练任务简单，可以大规模开展。
llama2 回答重复 咋办? - 知乎
遇到这个现象就对了，说明你用的真的是LLaMA 2模型。 Reddit上的这个帖子里面就有大量的外国友人抱怨LLaMA 2的重复问题，在各个尺寸的模型上都有，不是个例。 所以我也认为，这些模型的跑分毫无意义。LLaMA 2在各种跑分当中都是遥遥领先，但到用户那里这种重复基
现在LLM 的大小为什都设计成6/7B、13B和130B几个档次？ - 知乎
能下载到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三种，比如ChatGLM 和Llama2 等。这个在数学上
如何让LLM大语言模型支持多语言？ - 知乎
Screenshot from LLaMA. 这导致了两个问题（以中文为例）： （1）LLaMA词表中仅包含少量中文字符，在对中文字进行tokenzation，一个中文汉字往往被切分成多个tokens； （2）预训练中没有出现过或者出现得很少的语言学习得不充分。 1.2. 寻找多语言替代模型
Transformer变种对比：GPT和BERT的差别（易懂版）-2更 - 知乎
Sep 10, 2024 · 第一种方法是，用一个特殊的符号替换句子中的一个词，我们用 "MASK "标记来表示这个特殊符号，可以把它看作一个新字，这个字完全是一个新词，它不在字典里，这意味着mask了原文。