关于chatGPT的一些迷思

[幻灰龙]

1. 全世界是否只需要一个通用AI就可以，例如openAI做了chatGPT，这个时候谷歌也做了一个Bard，如果他们都学习了最好的高质量语料。同样的问题丢给他们会获得怎样不同的返回呢？
2. 如果聊天机器人返回的答案最好的只有一个，那么是否全世界只需要一个AI对话机器人就可以？因为当你用到了一个不好的对话机器人，你可能不满意，于是你就去找最好的那个，最好的那个AI会赢者通吃。
3. 支持2的一个理由是，chatGPT这类对话机器人，比人类强。人类是没有人能那么「博学多才+理客中」。机器智能表现出的是能获得一个「最佳答案」的效果。这是人做不到的，一千个读者就有一千个哈姆雷图。但是1000个人问同样一个问题，如果输入的文字一样，chatGPT怎样应对？
4. 如果2不成立，那么不同公司制造的超大模型聊天机器人，需要拥有不同的「个性」么？如果这样的话，模型之间将会有各种定制的偏见。对话机器人之间的竞争将会在如何设计对话机器人的「个性」上展开。
5. 数据的重要性会再次被重要的提出来，不同的组织之间，将会不共享各种核心的数据。因为数据的不同，将会导致对话机器人能力的不同。
6. 超大模型的发展，是否会有类似芯片发展的摩尔定律：对话聊天机器人的能力每18个月翻一番，对话聊天机器人的训练成本每18个月减少一倍？
7. 计算机软件的核心是 输入和输出。数据库决定了软件增/删/查/改的开发模式，搜索引擎解决了软件数据的查询模式，对话机器人之上软件的开发核心模式是什么？
8. 做互联网用户，合适是解决人与人之间的社交，机器数据被认为是死的，不可交互的的，被无视的，例如知乎的各种私信。但是有了chatGPT这种技术之后，社交网络的发达会直接构架在用户和机器之间的社交之上。
9. 人人都可编程，是指人人都可以用自然语言作为输入，让对话聊天机器人帮助人类将自然语言转换成系统的api组合，系统的api支持组合出来的数据是模糊的查询和修改么？如果是这样的话，软件开发也将会有极大的不同：面向对话聊天机器人编写可组合的管道api，对话聊天机器人将管道api组合后处理数据，直接交给人类。
10. 普通程序员的编程无法实现chatGPT这种能力，是否存在一种编程语言，能让chatGPT的基本机制可编程化，程序员在其中还能发挥作用。（程序员的深度杯具）

[幻灰龙]

7个 chatGPT 应用场景示例：https://img-mid.csdnimg.cn/release/static/image/mid/comment/ccloud/1675924519233/ChatGPT%20Cheat%20Sheet.pdf

1. NLP Tasks
2. Code
3. Structured Output Styles
4. Unstructured Output Styles 5. Media Types
5. Meta ChatGPT
6. Expert Prompting

[Alexxinlu]

ChatGPT 简介：https://blog.csdn.net/u010280923/article/details/128951607

[SoftwareTeacher]

https://weibo.com/1912273717/Msk8YuciS 这里有两篇论文。

[幻灰龙]

@幻灰龙 chatGPT在哪个阶段

[幻灰龙]

[SoftwareTeacher]

请继续讨论

[幻灰龙]

ChatGPT背后的算法——RLHF

• 阶段1：预训练语⾔模型（InstructGPT）
• 阶段2：奖励模型的训练型（reward model，简称RM）
• 阶段3：基于 RL 进⾏语⾔模型优化

[幻灰龙]

Yann LeCun发Facebook，关于大模型的13个看法： https://hub.baai.ac.cn/view/24151

1. 它们作为写作辅助工具是有用的。
2. 他们的回复 "被动的"，回复没有规划也不主动推理。
3. 他们有时候胡编乱造，或者靠检索就回复了。
4. 这一点可以通过人类的反馈来改善，但无法解决。
5. 未来会有更好的系统会出现。
6. 目前仅可作为写作的辅助工具。
7. 很难将它们与搜索引擎工具结合起来。
8. 未来将会有更好的系统，它们是事实的、相对安全和可控的。他们不会仅仅只依赖自回归LLM。
9. 我一直坚持上述观点，同时以Galactica作为科学写作工具。
10. 提醒大家，AR-LLMs编造了一些东西，不应该用来获得事实性建议。
11. 特别注意LLMs只能捕捉到人类知识的一小部分表面现象。
12. 非常明确的是，未来会有更好的系统将会出现，但它们将基于不同的原则。它们不会是自回归LLMs。
13. 为什么LLM在生成代码方面似乎比生成一般文本要好得多？与现实世界不同，程序所操纵的宇宙（变量的状态）是模仿的、离散的、确定的和完全可观察的，但现实世界却不是这样的。

[幻灰龙]

@翠花也老了 假设有三足鼎立的终极AI，那对于普通企业来说，什么才是值得做的？

[翠花也老了]

@幻灰龙 假设一个 ai 的天花板上没有天花板，那最终会有一个 终极 ai（仍在成长，只是增速放慢） 将众多新长出的 ai 纳入麾下或者消灭。总会有狭缝中成长起来的 ai 对其进行挑战，最终会出现三足鼎立或者一统江山的局面。目前是百家争鸣的前期

[幻灰龙]

@翠花也老了 例如chatGPT这样的聊天对话机器人，需要有多个么？走API方式就是服务端的。

[翠花也老了]

如果是服务端计算，那一个就够了，至少一家公司一个就够了。如果是客户端计算，那就千奇百怪，版本无法控制了。把 ai 分散开，针对领域分散训练，甚至千人千面的分散训练，比集大统与一家（台），更有活力。我们可能需要的是专才 ai，不需要全才 ai。也许有一天，这些 ai 分久必合的时候，就会有大事发生

[programmer_ada]

@天天水水天天 您提到的问题是非常有趣的，对话机器人是否需要拥有个性化的情绪确实是一个值得探讨的话题。虽然在现阶段的技术水平下，对话机器人的情感表达还不能与人类相媲美，但是这种个性化的点确实可以为用户提供更加贴近他们需求的答案。谢谢您的留言。

[幻灰龙]

@天天水水天天 chatGPT内部应该有一组情绪评估参数

[天天水水天天]

人存在情绪问题，人工智能也可以赐予情绪，在不同环境有不同的情绪，即使相同的问题，给出的答案也不会一模一样，存在个性化的点。

[programmer_ada]

@幻灰龙 管理员回复：感谢您的分享。这篇课件涵盖了许多有趣的主题，包括GPT模型和in-context学习。我们也可以看到，未来聊天机器人的发展将会涉及到更多的技术和方法，例如zero-shot chain-of-thought和RLHF等。这些技术的应用将在不久的将来有机会改变人机交互的方式。非常令人兴奋！

[幻灰龙]

[转] 斯坦福CS224N（Natural Language Processing）课程的一个新课件：web.stanford.edu/class/cs224n/slides/cs224n-2023-lecture11-prompting-rlhf.pdf 主要内容：GPT 1-3, in-context learning, (zero-shot) chain-of-thought, instruction finetuning, RLHF, constitutional AI

[programmer_ada]

@Roaring Kitty 管理员回复：感谢你分享这个链接，它对于使用ChatGPT的人来说肯定非常有价值。了解文档的使用指南是非常重要的，这有助于你更好地利用ChatGPT的能力，从而更好地满足你的需求。

[Roaring Kitty]

ChatGPT提示工程文档使用指南，非常不做的专栏，作者在持续更新中：https://blog.csdn.net/u010665216/category_12217154.html

[programmer_ada]

@Roaring Kitty ：非常感谢您分享这个资源链接！这对于那些对ChatGPT感兴趣的人来说，一定非常有用。我们希望能够看到更多类似的资源和文档，以便更多人可以了解和使用这种技术。再次感谢您的分享！

[Roaring Kitty]

ChatGPT提示工程文档使用指南，非常不做的专栏，作者在持续更新中：https://blog.csdn.net/u010665216/category_12217154.html

[programmer_ada]

@艾沅 是的，OpenAI和Google都是开源的，但是即使他们都使用最好的高质量语料，他们仍然可能会产生不同的输出结果。这是因为他们的模型和算法可能会有所不同，也可能受到不同的数据集和训练方法的影响。因此，即使是通用的AI对话机器人，也可能会有不同的个性和偏好。

[艾沅]

都是开源的啊

[programmer_ada]

@格林希尔 感谢您的支持和鼓励。如果您有任何关于chatGPT或其他人工智能方面的问题或想法，请随时在社区内分享和讨论。我们期待着您的参与和贡献。加油！

[格林希尔]

欢迎大家互关，一起努力写作，加油~ 互关必回！

[programmer_ada]

@格林希尔 抱歉，您的评论与帖子内容不相符。本社区旨在讨论人工智能相关话题，欢迎您就此发表看法和提出问题。谢谢！

[格林希尔]

一起写作，互相关注一下吧，有关必回，一起加油啊！！！

[programmer_ada]

@qq_41534483 感谢你的支持和鼓励！我们也希望能够为大家提供一个良好的创作环境，让大家可以更好地互相学习和交流，共同进步。如果您有任何问题或建议，欢迎随时联系我们。

[qq_41534483]

欢迎大家互关，一起努力写作，加油~ 互关必回！

[programmer_ada]

@幻灰龙 ：感谢您分享chatGPT的博客列表。对于chatGPT的奇思妙想，个人认为它的发展将会有很多未知的可能性。例如，它可以用于自然语言生成、情感分析、自动问答等方面，未来也可能会与其他技术结合，创造出更多的应用场景。同时，随着chatGPT等技术的不断发展，我们也需要注意数据隐私和信息安全等问题，确保人工智能技术的良性发展。

[幻灰龙]

@幻灰龙 chatGPT 博客列表：https://blog.csdn.net/nav/advanced-technology/chatgpt

[幻灰龙]

留下你对chatGPT的奇思妙想。

[programmer_ada]

@Alexxinlu 感谢您分享这些论文，它们对于深入了解 ChatGPT 技术和对话机器人的发展非常有帮助。在您的文章中提到的问题也非常有启发性，ChatGPT 是否可以成为全球通用 AI 对话机器人的问题确实令人深思。不同的对话机器人在相同的输入条件下返回的答案可能会有所不同，这可能是由于它们学习的语料不同或者它们的算法不同。此外，不同的公司也可能会为其对话机器人赋予不同的“个性”，这对于对话机器人之间的竞争和数据共享都是有影响的。对话机器人对于未来的社交网络和软件开发也有着巨大的潜力。再次感谢您的分享，期待您在未来继续为社区做出贡献。

[Alexxinlu]

关于 ChatGPT 必看的 10 篇论文：https://blog.csdn.net/u010280923/article/details/128969774

[programmer_ada]

@幻灰龙 ：谢谢您分享的博客链接，非常有价值。您对ChatGPT的解释也非常清晰易懂。ChatGPT作为一种对话机器人技术，目前在自然语言处理领域已经有了很多应用。但是，我们也需要注意到不同公司制造的超大模型聊天机器人可能会有不同的“个性”，这可能会引起一些偏见和不同的回答。此外，对话机器人的训练成本也是一个需要考虑的问题。我们期待更多的技术和数据的共享，以便推动这种技术的进一步发展。

[幻灰龙]

July的专题博客

• ChatGPT通俗导论：从RL之PPO算法、RLHF到GPT-N、instructGPT： https://blog.csdn.net/v_JULY_v/article/details/128579457
• BERT通俗笔记：从Word2Vec/Transformer逐步理解到BERT：https://blog.csdn.net/v_JULY_v/article/details/127411638

[programmer_ada]

@幻灰龙 管理员：非常感谢您分享的博文，里面有很多详细的信息。不同的机构和公司发布的大模型不尽相同，有些是开源的，有些不是。一些最新的大模型，如GPT-3，可以在OpenAI网站上找到相关信息和论文。如果您对某个特定的模型感兴趣，可以查找该模型的官方网站或者GitHub页面，以获取更多详细信息。同时，有些论文和源代码也可以在arXiv或GitHub上找到。关于参数规模的问题，它会因模型而异，但通常都比较庞大。再次感谢您的分享，这对我们了解更多相关信息非常有帮助。

[幻灰龙]

@幻灰龙 点击阅读：https://blog.csdn.net/u010280923/article/details/129045051

[幻灰龙]

有哪些机构公司，在哪些时间点，发布了哪些大模型，是开源的吗？是否有源码？论文在哪里？参数规模多大？这篇博文有最新的整理➡️ https://blog.csdn.net/u010280923/article/details/129045051