Основатель Geo Янив Тал определил четыре слабости онлайн-информации, которые, по его словам, делают ответы ИИ ненадежными: потерянное происхождение, уплощенный авторитет, скрытые разногласия и повторяющиеся ошибки, генерируемые моделями.
Резюме
- Geo разделяет утверждения, источники и подтверждающие доказательства в управляемых сообществом пространствах знаний.
- Тал говорит, что человеческое суждение может помочь ранжировать достоверные рассуждения, не удаляя конкурирующие точки зрения.
- Исследование Nature показало, что повторное обучение на синтетическом материале может вызвать коллапс модели.
- NIST рекомендует отслеживать источники обучения и включать экспертные отзывы людей в системы ИИ.
Основатель Geo Янив Тал рассказал crypto.news, что ненадежные ответы ИИ часто начинаются с материалов, которые получают модели, утверждая, что интернет был создан для распространения информации, а не для сохранения ее авторитета, происхождения или подотчетности.
«У ИИ нет проблемы с истиной, она есть у интернета», — сказал Тал.
По словам Тала, информация теряет важный контекст, когда веб-сайты ее копируют и переиздают. Утверждение может пройти через несколько страниц, прежде чем попасть в обучающий набор, оставляя модели утверждение, но без четкого пути обратно к его первоисточнику.
Авторитет также становится трудно измерить, когда исследовательская работа, объявление компании и анонимный пост на форуме попадают в один и тот же конвейер данных в виде текста. Тал сказал, что модели могут тогда обрабатывать материалы с разными стандартами доказательств так, как если бы они имели одинаковый вес.
«Происхождение разрушается. Утверждение копируется, переформулируется и снова копируется, пока первоисточник не становится невозможным восстановить», — сказал он.
Основатель Geo выявляет четыре причины ненадежных ответов ИИ
Разногласия создают еще одну проблему, потому что языковые модели часто объединяют конкурирующие позиции в один ответ. Тал сказал, что такое сжатие может скрывать реальные споры между квалифицированными экспертами, давая пользователям единственный уверенный ответ, не показывая, что существуют достоверные альтернативы.
Четвертая слабость возникает, когда материалы, созданные ИИ, возвращаются в поставку данных, используемых более поздними моделями. Ошибки могут сохраняться при многократной публикации, в то время как синтетические статьи, посты и резюме затрудняют поиск материалов, созданных человеком, из которых возникло утверждение.
«Модели все чаще обучаются на выводах других моделей, поэтому ошибки не просто сохраняются, они усиливаются», — сказал Тал.
Независимые исследования задокументировали связанный риск. Исследование Nature 2024 года изучило, что происходит, когда генеративные модели многократно учатся на материалах, созданных более ранними моделями. Исследователи описали «коллапс модели» как процесс, при котором системы постепенно теряют информацию о исходном распределении данных.
Менее распространенные материалы начали исчезать на ранних стадиях экспериментов, согласно статье, в то время как более поздние поколения моделей производили распределения, мало похожие на исходные данные. Исследователи заявили, что доступ к оригинальной информации, созданной человеком, остается важным, поскольку материалы, созданные ИИ, распространяются по интернету.
Тал не классифицирует четыре слабости как сбои, ограниченные дизайном модели. По его словам, модели воспроизводят недостатки, уже встроенные в их обучающий материал, включая отсутствующие источники и отсутствие видимых различий между доказательствами, мнением и продвижением.
Человеческая проверка будет ранжировать утверждения, не удаляя разногласия
Предлагаемое решение Geo начинается с отделения утверждения от его автора и доказательств, подтверждающих его. Связи между записями могут показать, поддерживает ли один аргумент другой, противоречит ему или напрямую отвечает на спорный вопрос.
После того как эти связи записаны, Geo может упорядочить аргументы по их оцененной силе, сохраняя конкурирующий материал под ними, сказал Тал. Структура предназначена для сохранения доступности разногласий без отображения каждого вклада в виде недифференцированной ленты комментариев.
«Плюрализм не обязательно означает шум», — сказал Тал. «Мы считаем, что несколько хорошо структурированных конкурирующих перспектив часто являются более честным ответом».
Geo организует информацию через независимые сообщества, называемые Spaces. Его текущий веб-сайт перечисляет начальные Spaces, охватывающие криптовалюты, здоровье, ИИ, образование, мировые дела и политику США.
Участники могут вносить вклад и участвовать в обсуждениях, а люди с соответствующими знаниями могут подать заявку на роль редакторов. По словам Geo, их программа кураторов требует от участников оценивать источники, связывать аргументы и добавлять структурированную информацию в открытый граф знаний.
Модель была разработана на основе Geo Genesis, который вышел в ранний доступ в январе 2025 года. Как сообщалось ранее, его структура управления по умолчанию разделяла участников на редакторов и членов. Редакторы получали право голоса, а члены могли вносить информацию в отдельные пространства.
Построенный на основе структуры управления Aragon OSx, Geo Genesis последовал за выпуском GRC-20, стандарта для представления связанных знаний. The Graph заявил в июне 2025 года, что GRC-20 может позволить сообществам публиковать структурированную информацию в сети и получать ее через подграфы и Substreams.
Тал, который соучредил The Graph до запуска Geo, сказал, что в предлагаемой системе экспертиза не будет назначаться одним центральным органом. Участники будут строить репутацию через свою работу, и Geo намерен, чтобы эта запись следовала за человеком между пространствами.
«Человеческое суждение сейчас является дефицитным ресурсом, а не избыточным. Машины генерируют больше контента, чем люди могут обработать, и почти никто не несет ответственности за его правдивость».
Управление сообществом по-прежнему сталкивается с проблемой идентичности
Управляемая людьми сеть знаний должна по-прежнему определять, являются ли участники подлинными, квалифицированными и независимыми. Открытые системы управления могут сталкиваться с атаками Sybil, при которых один участник создает несколько личностей для получения влияния на голосование, рейтинги или вознаграждения.
Объяснение от июня 2026 года рассматривало, как биометрические проверки, сети социального доверия и инструменты идентификации с нулевым разглашением пытаются проверить уникальных людей. Каждый метод включает компромиссы между конфиденциальностью, устойчивостью к атакам, доступностью и контролем, в то время как ИИ может помочь злоумышленникам создавать убедительные личности с низкими затратами.
Тал сказал, что Geo будет полагаться на записи о вкладе и специализированные сообщества, а не позволять анонимным материалам иметь тот же статус, что и утверждения, связанные с людьми с публичной историей. Редакторы будут подавать заявки через отдельные пространства, а члены будут участвовать в управлении темами, за которыми они следят.
«Участие в игре без финансовых ставок меняет качество того, что люди готовы подписывать своим именем», — сказал Тал.
Этот подход не устраняет необходимость решать, кто выбирает редакторов, как сообщества разрешают скоординированные манипуляции или должна ли экспертиза, полученная в одной теме, иметь вес в другой. Тал описал проблему привратника как реальную, но утверждал, что независимые пространства предотвратят контроль одного учреждения над всеми областями.
Участие человека также привлекло внимание в криптобезопасности, где автоматизированные инструменты могут обнаруживать вредоносную активность, но пользователи все равно авторизуют транзакции. В мае 2026 года отчет Ledger по безопасности описал ручную проверку и четкие дисплеи транзакций как меры защиты от фишинга с помощью ИИ, поддельных интерфейсов и автоматизированных мошенничеств.
Записи в сети отделяют транзакции от окружающих утверждений
Криптовалюта — одно из первых пространств Geo, потому что активность блокчейна предлагает прямую проверку различия между проверяемыми записями и человеческой интерпретацией, сказал Тал.
Блокчейн может подтвердить, что транзакция произошла по записанному адресу и в блоке. Он не может без дополнительных доказательств установить, кто контролирует адрес, почему были перемещены средства, была ли активность органической или что проект планирует делать дальше.
«Данные в сети проверяемы по построению. Транзакция произошла или нет», — сказал Тал. «Все, что вокруг этого, — утверждения».
Объявления проектов, описания партнерств, рыночные прогнозы и объяснения движений токенов, следовательно, требуют отдельного подхода, по словам Тала. Geo намерен привязывать такие утверждения к названным участникам и сохранять их записи, включая более ранние заявления, которые оказались неверными.
Промоактивность делает это различие особенно важным на рынках цифровых активов, где команды могут представлять выбранные метрики рядом с проверяемыми данными транзакций. Тал сказал, что надежный слой знаний должен маркировать категории, а не представлять их одинаковым голосом.
Руководство США также требует указания происхождения и проверки человеком
Для американских разработчиков и компаний, развертывающих генеративный ИИ, Национальный институт стандартов и технологий рекомендовал несколько мер контроля, которые частично совпадают с аргументацией Тала.
Профиль генеративного ИИ NIST, опубликованный в июле 2024 года, рекомендует организациям документировать источники обучающих данных, отслеживать происхождение сгенерированного материала и оценивать обратную связь между системами происхождения и проверяющими людьми. Добровольная структура также призывает экспертов в предметной области и затронутые сообщества принимать участие в определенных оценках.
Стандарты происхождения контента предлагают еще один метод записи того, откуда взялся цифровой материал. Коалиция за происхождение и подлинность контента использует криптографически подписанные учетные данные контента для сохранения информации о том, кто создал или изменил актив и как он был отредактирован.
Однако согласно спецификации C2PA, подтвержденное происхождение не определяет, является ли прилагаемое утверждение хорошим, плохим или правдивым. Стандарт проверяет, что утверждения связаны с базовым активом, правильно сформированы и не подвергались вмешательству.
