关于chatGPT的一些迷思

July的专题博客

• ChatGPT通俗导论：从RL之PPO算法、RLHF到GPT-N、instructGPT： https://blog.csdn.net/v_JULY_v/article/details/128579457
• BERT通俗笔记：从Word2Vec/Transformer逐步理解到BERT：https://blog.csdn.net/v_JULY_v/article/details/127411638

关于 ChatGPT 必看的 10 篇论文：https://blog.csdn.net/u010280923/article/details/128969774

欢迎大家互关，一起努力写作，加油~ 互关必回！

一起写作，互相关注一下吧，有关必回，一起加油啊！！！

欢迎大家互关，一起努力写作，加油~ 互关必回！

都是开源的啊

ChatGPT提示工程文档使用指南，非常不做的专栏，作者在持续更新中：https://blog.csdn.net/u010665216/category_12217154.html

ChatGPT提示工程文档使用指南，非常不做的专栏，作者在持续更新中：https://blog.csdn.net/u010665216/category_12217154.html

人存在情绪问题，人工智能也可以赐予情绪，在不同环境有不同的情绪，即使相同的问题，给出的答案也不会一模一样，存在个性化的点。

Yann LeCun发Facebook，关于大模型的13个看法： https://hub.baai.ac.cn/view/24151

1. 它们作为写作辅助工具是有用的。
2. 他们的回复 "被动的"，回复没有规划也不主动推理。
3. 他们有时候胡编乱造，或者靠检索就回复了。
4. 这一点可以通过人类的反馈来改善，但无法解决。
5. 未来会有更好的系统会出现。
6. 目前仅可作为写作的辅助工具。
7. 很难将它们与搜索引擎工具结合起来。
8. 未来将会有更好的系统，它们是事实的、相对安全和可控的。他们不会仅仅只依赖自回归LLM。
9. 我一直坚持上述观点，同时以Galactica作为科学写作工具。
10. 提醒大家，AR-LLMs编造了一些东西，不应该用来获得事实性建议。
11. 特别注意LLMs只能捕捉到人类知识的一小部分表面现象。
12. 非常明确的是，未来会有更好的系统将会出现，但它们将基于不同的原则。它们不会是自回归LLMs。
13. 为什么LLM在生成代码方面似乎比生成一般文本要好得多？与现实世界不同，程序所操纵的宇宙（变量的状态）是模仿的、离散的、确定的和完全可观察的，但现实世界却不是这样的。

ChatGPT背后的算法——RLHF

• 阶段1：预训练语⾔模型（InstructGPT）
• 阶段2：奖励模型的训练型（reward model，简称RM）
• 阶段3：基于 RL 进⾏语⾔模型优化

请继续讨论

https://weibo.com/1912273717/Msk8YuciS 这里有两篇论文。

ChatGPT 简介：https://blog.csdn.net/u010280923/article/details/128951607

7个 chatGPT 应用场景示例：https://img-mid.csdnimg.cn/release/static/image/mid/comment/ccloud/1675924519233/ChatGPT%20Cheat%20Sheet.pdf

1. NLP Tasks
2. Code
3. Structured Output Styles
4. Unstructured Output Styles 5. Media Types
5. Meta ChatGPT
6. Expert Prompting