Geo创始人Yaniv Tal指出了在线信息的四个弱点,他认为这些弱点使得AI回答不可靠:来源丢失、权威扁平化、隐藏的分歧以及重复的模型生成错误。
摘要
- Geo在社区治理的知识空间中分离主张、来源和支持证据。
- Tal表示,人类判断可以帮助对可信推理进行排序,而无需移除竞争观点。
- 《自然》杂志的一项研究发现,反复训练合成材料可能导致模型崩溃。
- NIST建议跟踪训练来源,并将专家的人类反馈纳入AI系统。
Geo创始人Yaniv Tal告诉crypto.news,不可靠的AI回答往往始于模型接收的材料,他认为互联网的设计目的是分发信息,而不是保留其权威性、来源或问责性。
“AI没有真相问题,互联网才有,”Tal说。
据Tal称,当网站抓取并重新发布信息时,信息会丢失关键上下文。一个主张可能经过多个页面后才进入训练集,使得模型只有陈述,而没有清晰的路径回到原始来源。
当研究论文、公司公告和匿名论坛帖子作为文本进入同一数据管道时,权威性也变得难以衡量。Tal表示,模型可能会将不同证据标准的材料视为具有相似权重。
“来源崩溃。一个主张被抓取、重述、再抓取,直到原始来源无法恢复,”他说。
Geo创始人指出不可靠AI回答背后的四个失败点
分歧也造成另一个问题,因为语言模型常常将竞争立场合并到一个回答中。Tal表示,这种压缩可能隐藏合格专家之间的真正争议,给用户一个单一的自信答案,而不显示存在可信的替代方案。
第四个弱点出现在AI生成的材料返回给后续模型使用的数据供应时。错误可能在重复发布中存活,而合成文章、帖子和摘要使得更难定位主张最初源自的人类制作材料。
“模型越来越多地训练于其他模型的输出,因此错误不仅持续存在,还会放大,”Tal说。
独立研究记录了相关风险。2024年《自然》杂志的一项研究考察了生成模型反复学习早期模型产生的材料时会发生什么。研究人员将“模型崩溃”描述为系统逐渐失去关于原始数据分布信息的过程。
根据论文,较不常见的材料在实验早期阶段开始消失,而后续模型世代产生的分布与源数据几乎没有相似之处。研究人员表示,随着AI生成材料在互联网上传播,获取原始、人类制作的信息仍然很重要。
Tal并未将这四个弱点归类为仅限于模型设计的失败。在他看来,模型复制了训练材料中已经嵌入的缺陷,包括缺失来源以及证据、观点和推广之间缺乏可见区分。
人工验证将对主张进行排序而不移除分歧
Geo提出的解决方案首先将陈述与其作者及支持证据分离。条目之间的关系可以显示一个论点是否支持另一个论点、与之矛盾或直接回应争议点。
Tal表示,一旦这些链接被记录,Geo可以根据评估的强度对论点进行排序,同时在其下方保留竞争材料。该结构旨在保持分歧可用,而不会将每个贡献显示为无差别的评论流。
“多元主义不一定是噪音,”Tal说。“我们认为,几个结构良好的竞争视角往往是更诚实的答案。”
Geo通过称为Spaces的独立社区组织信息。其当前网站列出了涵盖加密、健康、AI、教育、世界事务和美国政治的初始Spaces。
成员可以贡献内容并参与讨论,而具有相关知识的人可以申请成为编辑。据Geo介绍,其策展人计划要求参与者评估来源、连接论点,并向开放知识图谱添加结构化信息。
该模型源自Geo Genesis,后者于2025年1月进入早期访问阶段。正如先前报道,其默认治理结构将参与者分为编辑和成员。编辑拥有投票权,而成员可以向各个空间贡献信息。
Geo Genesis基于Aragon OSx治理框架构建,紧随GRC-20发布之后,GRC-20是表示连接知识的标准。The Graph在2025年6月表示,GRC-20可以让社区在链上发布结构化信息,并通过子图和子流检索。
Tal在创立Geo之前共同创立了The Graph,他表示,在拟议的系统中,专业知识不会由单一中央机构分配。贡献者将通过工作建立声誉,Geo打算让该记录随个人在不同空间之间流转。
“人类判断现在是稀缺输入,而不是冗余输入。机器生成的内容超出了人们能处理的范围,而且几乎没有任何内容有人对其真实性负责。”
社区治理仍面临身份问题
一个人工运行的知识网络仍然必须确定贡献者是否真实、合格且独立。开放治理系统可能面临Sybil攻击,即一个参与者创建多个身份以影响投票、排名或奖励。
一份2026年6月的解释探讨了生物识别检查、社交信任网络和零知识身份工具如何尝试验证独特的人。每种方法都在隐私、抗攻击性、可访问性和控制之间进行权衡,而AI可以帮助攻击者以低成本创建令人信服的角色。
Tal表示,Geo将依赖贡献记录和特定领域的社区,而不是允许匿名材料与具有公开历史的人所附的声明具有同等地位。编辑将通过各个空间申请,成员将参与管理他们关注的主题。
“没有财务投入的切身利益改变了人们愿意以自己的名义发布的内容的质量,”Tal说。
这种方法并没有消除决定谁选择编辑、社区如何解决协调操纵,或者在一个主题中获得的专业知识是否应在另一个主题中具有权重的问题。Tal将把关人问题描述为真实存在,但认为独立空间将防止一个机构控制所有领域。
人类参与在加密安全领域也受到关注,自动化工具可能检测恶意活动,但用户仍然授权交易。2026年5月,一份Ledger安全报告将手动验证和清晰的交易显示描述为针对AI辅助钓鱼、虚假界面和自动诈骗的保障措施。
链上记录将交易与周围声明分开
Tal表示,加密是Geo的首批空间之一,因为区块链活动为可验证记录与人类解释之间的区别提供了直接测试。
区块链可以确认交易发生在记录的地址和区块。没有额外证据,它无法确定谁控制该地址、资金为何转移、活动是否有机,或者项目计划下一步做什么。
“链上数据在构造上是可验证的。交易发生了或没有发生,”Tal说。“围绕它的所有内容都是声明。”
因此,根据Tal的说法,项目公告、合作伙伴描述、市场预测和代币变动解释需要单独处理。Geo打算将这些声明附加到具名贡献者身上,并保留他们的记录,包括后来被证明错误的早期声明。
促销活动使这种区别在数字资产市场中尤为重要,团队可能会在可验证的交易数据旁边展示选定的指标。Tal表示,一个值得信赖的知识层应该标记类别,而不是以相同的声音呈现两者。
美国指南也要求溯源和人工审查
对于部署生成式AI的美国开发商和公司,美国国家标准与技术研究院推荐了几项控制措施,这些措施与Tal的部分论点重叠。
NIST的生成式AI概况于2024年7月发布,建议组织记录训练数据来源,监控生成材料的来源,并评估溯源系统与人工审查员之间的反馈。该自愿性框架还要求领域专家和受影响社区参与某些评估。
内容溯源标准提供了另一种记录数字材料来源的方法。内容溯源与真实性联盟使用加密签名的内容凭证来保存关于谁创建或更改了资产以及如何编辑的信息。
然而,根据C2PA规范,经过验证的溯源并不决定所附声明的好坏或真实性。该标准验证断言是否与底层资产相关联、格式是否正确以及是否未被篡改。






