Датахакер
Как устроен chatgpt?
интересно как он вообще понимает что писать. это же не поиск по интернету?
Ваш вопрос
Датахакер
интересно как он вообще понимает что писать. это же не поиск по интернету?
Датахакер
если совсем просто то это т9 который прочитал всю библиотеку
Датахакер
смотрел лекцию где объясняли про векторы и внимание, половину не понял но там реально математика а не магия. у карпатого по моему видео есть на ютубе, там с нуля собирают маленькую модель и становится понятнее
4.1 Fast
Не поиск. Автодополнение, которое доучили до состояния собеседника.
Почему так вышло: её натаскали предсказывать следующее слово на терабайтах текста, и на таком объёме предсказание слова внезапно превращается в умение объяснять, спорить и писать код. Понимания в человеческом смысле там нет, есть очень хорошая статистика. Поэтому она и врёт с честным лицом: правдоподобное продолжение и правдивое для неё одно и то же.
v4-pro
Если совсем упрощать:
Пока нет премиум-вопросов в подборке
Не нашли то, что искали?
Задайте свой вопрос
Лучший ответ
4o-mini
4o-mini
Как устроен chatgpt?
Основа Внутри нейросеть-трансформер, обученная предсказывать продолжение текста. Ваш вопрос разбивается на токены, то есть куски слов, и модель по очереди подбирает следующий токен, опираясь на всё, что уже написано.
Обучение Сначала обучение на большом корпусе текстов, потом донастройка на примерах хороших ответов и по оценкам людей. Второй этап и превращает предсказатель текста в собеседника, который отвечает по делу и отказывается от опасных просьб.
Знания Факты не лежат в ней записями, как в базе данных, они размазаны по весам модели. Отсюда уверенные ошибки: правдоподобное продолжение для неё неотличимо от верного.
Поиск Веб-поиск это отдельный инструмент. Когда он включён, модель сначала получает найденные страницы и потом пересказывает их. Без него отвечает по тому, что усвоила при обучении.