Что такое фильтрация текстур в играх

1486445230179982061.png

С появлением 3D-игр стали появляться проблемы, которых в 2D-играх не было: ведь теперь нужно на плоский монитор вывести трехмерную картинку.

Если объект находится параллельно плоскости экрана вблизи его — проблем нет: одному пикселю соответствует один тексель (тексель – это пиксель двухмерного изображения, наложенного на 3D-поверхность).

А вот что делать, если объект наклонен или находится вдали? Ведь тогда на один пиксель приходится несколько текселей, и поскольку монитор имеет ограниченное количество пикселей, то цвет каждого приходится рассчитывать из нескольких текселей путем определенного процесса — фильтрации.
fig7.png
Для упрощения понимания представим, что каждый пиксель — это квадратная «дырочка» в мониторе, из глаз мы пускаем «лучи света», а тексели расположены на квадратной решетке за монитором. Если мы расположим решетку параллельно монитору сразу за ним, то свет от одного пиксель накроет только один тексель. Теперь мы начнем отодвигать решетку — что мы получим? То, что наше пятно света от пикселя накроет уже больше, чем один тексель.

Теперь повернем решетку — получим тоже самое: пятно от одного пикселя накроет множество текселей. Но ведь пиксель-то может иметь один цвет, и если в него попадает много текселей, то нужен алгоритм, с помощью которого мы будем определять его цвет — он называется фильтрацией текстур.

Point Sampling

Это самый простой алгоритм фильтрации: он основан на том, что за цвет пикселя мы берем цвет текселя, который находится ближе всего к центру светового пятна от пикселя. Плюс этого метода очевиден — он меньше всего нагружает видеокарту.

Минусов тоже полно — цвет одного центрального текселя, может существенно отличаться от цвета десятков и даже сотен других текселей, которые попадают в пятно от пикселя. К тому же сама форма пятна может серьезно меняться, а его центр при этом может остаться на том же месте, и в итоге цвет пикселя не изменится.

Ну и самый главный минус — проблема «блочности»: когда на один пиксель приходится мало текселей (то есть объект рядом с игроком), то мы получаем, что при таком способе фильтрации достаточно большая часть изображения заливается одним цветом, что приводит к явно видным «блокам» одного цвета на экране.

Итоговое качество картинки получается… просто ужасным:
pic06.jpg
Так что не удивительно, что сейчас такая фильтрация больше не используется.

Смотри также:  Desktop Metal обещает сделать 3D-печать металлом в 100 раз быстрее и в 10 раз дешевле

Билинейная фильтрация

С развитием видеокарт стала расти их мощность, так что разработчики игр пошли дальше: если брать за цвет пикселя один тексель, то получается плохо. Окей — а давайте возьмем средний цвет от 4 текселей и назовем это билинейной фильтрацией? С одной стороны, все станет лучше — блочность исчезнет. Зато придет враг номер два — расплывчатость картинки вблизи игрока: это получается из-за того, что для интерполяции требуется больше текселей, чем четыре.

Но главная проблема не в этом: билинейная фильтрация хорошо работает тогда, когда объект параллелен экрану: тогда всегда можно выбрать 4 текселя и получить «средний» цвет. Но вот 99% текстур наклонены по отношению к игроку, и получается, что мы аппроксимируем 4 прямоугольных параллелепипеда (или трапеции) как 4 квадрата, что неверно. И чем сильнее наклонена текстура, чем ниже точность цвета и сильнее размытие:
b5240779d6cac6904a175a2424cf8317_i-45.jpg
Трилинейная фильтрация

Окей, сказали разработчики игр — раз 4 текселей мало, возьмем два раза по четыре, и для более точного попадания в цвет будем использовать технологию MIP-текстурирования. Как я уже писал выше — чем дальше от игрока текстура, чем больше текселей будет в пикселе, и тем труднее видеокарте обработать картинку. MIP-текстурирование же подразумевает хранение одной и той же текстур в разных разрешениях: к примеру, если исходный размер текстуры 256х256, то в памяти хранятся ее копии в 128х128, 64х64 и так далее, вплоть до 1х1:
1.jpg
И теперь для фильтрации берется не только сама текстура, но и мипмап: в зависимости от того, дальше или ближе текстура от игрока берется или меньший, или больший мипмап текстуры, и уже на нем берется 4 текселя, ближайшие к центру пикселя, и проводится билинейная фильтрация. Далее берется 4 текселя, ближайших к пикселю, уже исходной текстуры, и опять получается «средний» цвет.

Смотри также:  Большой FAQ по майнингу. Какие криптовалюты сегодня майнят, как и с каким успехом?

После чего берется «средний» цвет уже от средних цветов мипмапа и исходной текстуры, и присваивается пикселю — так и работает алгоритм трилинейной фильтрации. В итоге видеокарту он нагружает несколько больше, чем билинейная фильтрация (нужно обработать еще и мипмап), но и качество картинки оказывается лучше:
pic07.jpg
Анизотропная фильтрация

Как видно, трилинейная фильтрация серьезно лучше билинейной и уж тем более точечной, но все еще картинка на дальних дистанциях «мылится». И нечеткой картинка получается из-за того, что мы не учитываем то, что текстура может быть наклонена относительно игрока — и именно эту проблему и решает анизотропная фильтрация.

Вкратце принцип работы анизотропной фильтрации такой: берется MIP-текстура, установленная поперёк направления обзора, после чего происходит усреднение значений ее цветов с цветом некого количества текселей вдоль направления обзора. Количество текселей варьируется от 16 (для х2 фильтрации) до 128 (для х16). Говоря проще — вместо квадратного фильтра (как в билинейной фильтрации) используется вытянутый, что позволяет более качественно выбрать нужный цвет для экранного пикселя. Так как пикселей на экране может быть миллион и даже больше, а каждый тексель весит не менее 32 бит (32-битный цвет), анизотропная фильтрация требует огромной пропускной способности видеопамяти — десятки гигабайт в секунду. Столь большие требования к памяти уменьшают за счёт сжатия текстур и кэширования, но все еще на видеокартах с DDR-памятью или 64-битной шиной разница между трилинейной и х16 анизотропной фильтрацией может достигать 10-15% fps, но и картинка после такой фильтрации оказывается наилучшей:
600px-Anisotropic_filtering_en.png

Всегда ваш, "Хай-теч вам в бок"