Объем стандартного контекстного окна Gemini 1.5 Pro составляет 128 тысяч токенов, что уже больше, чем у аналогичных моделей от конкурирующих разработчиков. Однако, при желании его можно увеличить до 1 миллиона токенов. Это равно примерно 700 тысячам слов. Для сравнения, в первых двух томах «Войны и мир» слов 616 668, а страниц около 1300.
За один раз Gemini 1.5 Pro может обработать час видео, 11 часов аудио и 30 тысяч строк кода. Это не предел — Google уже тестирует окно на 10 млн токенов. Причем модель действительно понимает всю информацию, которую предоставляет пользователь. Испытания выявили, что Gemini пропустила фрагмент текста лишь в 3 из 1125 запросов.
Пока что через AI Studio можно использовать до 20 бесплатных запросов в день. Из РФ протестировать новинку тоже можно, но понадобится VPN. Нужно использовать IP-адреса стран, где доступны сервисы Google API.
Gemini 1.5 Pro сочетает в себе архитектуру трансформера и смеси экспертов (Mixture of Experts, MoE). Последняя отвечает на вопросы пользователей за счёт подмоделей-экспертов, которые решают, какая из них наиболее компетентна. Поскольку так задействована не вся модель, а лишь её часть, ответ приходит пользователю быстрее, а разработчики экономят ресурсы.
