Сегодня на своей первой конференции разработчиков OpenAI представила GPT-4 Turbo, улучшенную версию своей флагманской языковой модели. Разработчики из OpenAI отмечают, что новый GPT-4 Turbo стал мощнее и при этом дешевле GPT-4.
Языковая модель GPT-4 Turbo будет предлагаться в двух версиях: одна предназначена исключительно для анализа текста, вторая понимает контекст не только текста, но и изображений. Модель текстовой аналитики доступна в предварительной версии через API начиная с сегодняшнего дня. Компания пообещала сделать обе версии нейронной сети общедоступными «в ближайшие недели».
Стоимость использования GPT-4 Turbo составляет 0,01 доллара США за 1000 входных токенов (около 750 слов) и 0,03 доллара США за 1000 выходных токенов. Входные токены представляют собой фрагменты необработанного текста. Например, слово «фантастический» делится на лексемы «фан», «тас» и «тик». Выходные токены, в свою очередь, представляют собой токены, которые модель генерирует на основе входных токенов. Цена GPT-4 Turbo для обработки изображений будет зависеть от размера изображения. Например, обработка изображения размером 1080×1080 пикселей в GPT-4 Turbo будет стоить 0,00765 доллара США.
«Мы оптимизировали производительность, поэтому можем предлагать GPT-4 Turbo в три раза дороже за входные токены и вдвое дешевле за выходные токены по сравнению с GPT-4», — говорится в сообщении OpenAI в блоге.
Для GPT-4 Turbo была обновлена база знаний, которая используется при ответах на запросы. Языковая модель GPT-4 обучалась на веб-данных с сентября 2021 года. Ограничение знаний GPT-4 Turbo — апрель 2023 года. Другими словами, нейросеть будет давать более точные ответы на запросы, связанные с недавними событиями (до апреля 2023 года). На основе множества примеров из Интернета GPT-4 Turbo научился предсказывать вероятность появления тех или иных слов на основе закономерностей, включая семантический контекст окружающего текста. Например, если типичное электронное письмо заканчивается словами «С нетерпением жду…», GPT-4 Turbo может закончить его словами «…ваш ответ».
При этом модель GPT-4 Turbo получила расширенное контекстное окно (объем текста, учитываемый в процессе генерации). Увеличение контекстного окна позволяет модели лучше понимать смысл запросов и давать более адекватные ответы, не отклоняясь от темы. Модель GPT-4 Turbo имеет контекстное окно на 128 тысяч токенов, что в четыре раза больше, чем у GPT-4. Это самое большое контекстное окно среди всех коммерчески доступных моделей искусственного интеллекта. Оно превосходит контекстное окно Anthropic Claude 2, которое поддерживает до 100 тысяч токенов.
Anthropic сообщает, что экспериментирует с контекстным окном на 200 тысяч токенов, но еще не обнародовал эти изменения. Контекстное окно из 128 тысяч токенов соответствует примерно 100 тысячам слов или 300 страницам текста, что эквивалентно размеру «Грозового перевала» Эмили Бронте, «Путешествий Гулливера» Джонатана Свифта или «Гарри Поттера и узника Азкабана» Джоан Роулинг.
