Всем привет. За что мы любим 3д графику? За то, что она не дает заскучать, скорость появления новых технологий зашкаливает и нам нужно постоянно держаться на гребне волны, чтобы быть в теме. Мы можем просиживать за компьютером сутками ̶и̶ ̶г̶у̶с̶я̶м̶и̶ . Кто то любит ковыряться в машинах, а мы собираем своих франкенштейнов своими руками, чтобы увеличить скорость рендера на 5%, разгоняем процессоры, жжем материнки и видеокарты, ведь адреналин может выделяться не только в экстримальных местах, но и прямо за рабочим креслом 🙂 С выходом Vray 3.5 сильно захотелось попробовать ГПУ рендеринг, и это превратилось в этот пост. Под катом все подробности выбора железа, установки, настройки, все подводные камни и ощущения от нереальных скоростей 🙂
После просмотра демо ролика мне буквально не сиделось на месте и я начал собирать информацию о ГПУ рендере везде где только мог, выяснилось что Bulgarov уже давно переехал на ГПУ:
и собрал какого-то нереального монстра с водяным охлаждением, а так же небезызсвестный DabartiCGI тоже перешел на ГПУ и во всю пропагандирует вегетарианство и сыроедство его.
У него система уже попроще, но всё равно довольно дорогая. Основные тезицы которые я почерпнул исследовав интернет такие:
1. Видеокарты могут быть разными(но просчет только Nvidia)
2. Количество памяти может быть разным. Оно не суммируется и используется наименьший объем памяти из всех доступных у видеокарт
3. Можно сочетать Ati/AMD(для отображения изображения с мониторов) и Nvidia для рассчетов
4. Sli режим не нужен, достаточно просто выбрать нужное количество видеокарт для просчетов
5. Основная проблема это охлаждение и питание.
Немудурствуя лукаво я зашел на интернет магазин и купил 7 видеокарт Nvidia 1070GTX 8Gb(25-35 тыс руб штука) которые были в наличии разных производителей и цены, чтобы проверить все тезисы выше, а так же 2 БП 1200 и 1000Ватт(8-10тр штука) чтобы точно хватило(заявленное потребление у видеокарт 150 ватт штука).
Первым делом выяснилось, что просто так вставить 7 видеокарт в одну материнскую плату невозможно, даже если в ней есть 7 PCI-express-x16, они попросту туда не влезут, поэтому покупать специальную материнскую плату не надо. Достаточно любой "Gaming" с 4хPCIexpress-x16(это стандартные длинные пазы для видеокарт) и 3xPCIexpress-x1(урезанные, обведены красным)
К сожалению моя настольная материнка была с тремя большими ГПУ слотами и совсем не подходила даже для простой ГПУ станции, поэтому я пошел на балкон:
У нормальных людей на балконе можно найти много чего полезного, а у меня там — рендерферма 🙂 С открытым окном в минус 30 рендерится очень хорошо:) Оказалось что почти все материнки для Xeon "нормальные" и я выбрал Gigabyte x99 Gaming 5:
Она компануется 4мя длинными и 3мя короткими PCI через 1, что позволяет воткнуть 4 видеокарты в обычный корпус MidiTower за 1000 рублей. Вы спросите, а как же всё таки воткнуть все 7 видеокарт в одну материнскую оплату? Оказалось, что тут без рукожопства уже не обойтись и найти детали в обычном супермаркете электроники около дом нереально, потому что нужно расширить короткие PCIexpress слоты с помощью специальных расширителей — "Raiser" или "Extender PCI". Они есть разных видов, но мне посоветовали вот такие:
Попутно выяснилось что Fedex,DHL и все скоростные доставщики больше физлицам в РФ не отправляют ничего, продавец прискорбно сообщил об этом и добавил мне к заказу ещё 2 удлинителя(к 20 которым я купил) и отправил всё Почтой россии/EMS, я превратился в ждуна и собрал 4хГПУ систему:
До этого у меня была 980GTX 4 GB и я решил оставить её для тестов рендера с разной памятью. Zotac был самый дорогой, в металлическом корпусе, с диодной подсветкой и т п + ещё одна самая дешевая 1070gtx от нвидии из пластика и с всего 8 пинами питания вместо 16 как у остальных.
Проблемы при сборке:
1. Видеокарты очень длинные (возможно кому то придется вырезать мешающиеся запчасти)
3. Видеокарты лучше втыкать по одной, почему то на двух материнках изначально заработало только во втором слоте ГПУ с одной видеокартой(в биосе стоит по умолчанию первый PCIe)
4. Биос стартует гораздо дольше!
5. Windows может после старта висеть с черными экранами 2-5 минут каждый запуск(проверено на 7ке и 10ке). Просто ждите 🙂
Ну и вот так это всё примерно выглядит.
Я перешел на 4к рендеринг видео, поэтому мощностей всегда не хватает. Например этот 21 секундный ролик в Corona рендерился почти неделю, это конечно не приемлиемо:
Даже с использованием Vray один кадр с 4к честным дофом или моушен блюром рендерится около 2х часов на моем 44ядерном Xeon, что то типа такого:
GPU на 4х видеокартах рендерит подобные кадры за 25-30 минут. При этом стоимость видеокарт в сумме около 2000$ , а процессор 2500$ Конечно настраивать ГПУ сцены несколько сложнее, некоторые вещи ещё не поддерживаются, но доработка практически любой сцены не занимает много времени.
Первый тест ГПУ я провел на сцене изначально сделанной под ЦПУ :
Превью рендеринг анимации 480*320 с честным дофом занял 3 часа, пока я ездил в магазин за едой на одном компьютере! Это очень круто.(сетка немного глючит изза неверного подбора ФПС, именно за этим такие тесты и прогоняются 🙂
Остальные видеокарты ушли во второй рабочий комп моему напарнику, и в ожидании удлинителей пока всё останется так как есть, а потом будем добивать рабочий объем до 7 ГПУ 🙂 но это уже в следующем посте, а пока все — итак сильно затянул, не забывайте ставить оценки, если вам понравилось и репостить где надо и не надо.
GPU рендеринг в Octane, Redshift и других рендерерах, использующих ресурсы видеокарты, а не процессора, поначалу вызывает настоящий восторг. Время рендера по сравнению, например, с V-ray уменьшилось в разы, можно в реальном времени оценить результат изменений в сцене, можно быстро посмотреть как все будет выглядить на финальных рендерах и многое другое будет говорить, казалось бы, о несомненном доминировании рендера на видеокарте.
Однако не все так просто! Давайте оставим за рамками вопросы подходит ли GPU рендер под требования производства отдельных видов графики, отсутствие полноценного продакшен GPU рендера и все такое. Представим, что у вас небольшая банда из 3 визуализаторов, вы делаете преимущественно рекламные ролики и вот вы перешли на GPU рендеринг. Давайте посмотрим на 7 проблем, которые вас подстерегают:
- Высокая стоимость видеокарт, дорогостоящее скалирование мощностей
Большинство специализированных GPU решений предполагают, что добавление видеокарт дешевле покупки полного компьютера, но только при покупке специальных серверных шкафов и систем для работы большого количества видеокарт. Сами такие решения недешевы и требуют определенных навыков. Но представим, что мы пошли по пути покупки стандартных компьютеров и установки в них 2-3-4 видеокарт. Сравните стоимость в дальнейшем апгрейда процессора и апгрейда этих 2-3-4 GPU.
2. Маленькое влияние крутых видеокарт на всю систему
В отличие от апгрейда CPU, который окажет влияние на работу всех приложений, видеокарты окажут влияние только на сокращение времени рендера. Их присутствие никак не повлияет на работу ОС и любых 3d приложений для работы с графикой. За исключением, разве что, игр. Но вы же не играете на своем рабочем компьютере, правда? )
Проще говоря, когда вы тратите деньги на GPU в целях работы, это дает вам весьма узкие и специфичные преимущества.
3. Постоянный шум и тепловыделение
Охлаждение практически любой видеокарты гораздо шумнее работы охлаждения CPU. Еще важнее, что постоянная работа 2-3 видеокарт быстро создает в помещении невыносимую температуру.
4. Вопросы масштабирования
Если у вас несколько GPU машин, рано или поздно встает вопрос покупки дополнительных лицензий и возможны проблемы совместимости видеокарт различных производителей и разных моделей. По мере обновления парка столкновение поколений видеокарт неизбежно. А вы же помните что, если в одной системе стоит, например, видеокарта с 8гб памяти и 12гб, то память будет ограничена меньшим значением.
5. Капризы видеокарт и драйверов
Обычное обновление драйвера может обрушить все. Видеокарты в любой системе – основной источник зависаний и сбоев. Любая проблема с обновлением драйверов, их совместимостью, багами и прочими прелестями однозначно ведет к тому, что и в рендере будут проблемы! Нужно ли говорить, что при рендере на CPU этих проблем нет.
6. Ограниченная память
В настоящее время в GTX 1080Ti всего 12 Гб памяти, которые не увеличить вставив планку памяти как в обычных компьютерах. И она не суммируется при установке нескольких карт. Если, например, установить таких 3 карты, то под сцены будет доступно так же 12 Гб. При превышении доступного объема памяти на рендере, все просто крашится. Вариантов как на CPU с использованием файла подкачки, который хоть и замедляет рендер, но все же делает его возможным – нет.
7. Ограниченный круг ПО
Рендер на GPU поддерживает ограниченное количество графических приложений и рендеров, что накладывает свои ограничения.
В завершении, отмечу. что несмотря на недостатки GPU рендеринг имеет и безусловные достоинства, которые значительно перевешивают и существующие недостатки.
Содержание
Похожие статьи

Для многих фрилансеров и архитектурных визуализаторов появление GPU рендеров таких как Redshift, Octane Render, существенно…

Компания Maxon (флагманский продукт Cinema4D) купила разработчика GPU рендерера Redshift. Фанаты Redshift, которых немало, уже…

Компания из Новой Зеландии OTOY стала первопроходцем в технологии GPU рендер. Весной 2012 года началась…
CG Admin
2 комментария
Статья “7 проблем GPU рендеринга”. Цитата: ” настоящее время в GTX 1080Ti всего 12 Гб памяти, которые не увеличить вставив планку памяти как в обычных компьютерах. И она не суммируется при установке нескольких карт. Если, например, установить таких 3 карты, то под сцены будет доступно так же 12 Гб.”
Статья “GPU рендер фермы (Octane Render, Redshift)”. Цитата: “Давайте посмотрим, где можно быстро отрендерить на видеокартах и сколько это стоит. Для сравнения я взял производительность 5х1080Ti.”
Можно ли объединить мощности 2х 3х 1080Ti или нет?
Такие рендер движки как Redshift, Octane, VRay GPU (ранее Vray RT), использующие для обработки графики ресурсы видеокарты, за последние годы существенно выросли функционально и в качестве картинки, если сравнивать с традиционными рендерерами на CPU. Есть там и свои проблемы в GPU рендеринге, но плюсы перевешивают минусы, бесспорно.
В этой статье мы рассмотрим выбор лучшего компьютера для рендеринга на GPU: если вас интересует на что обратить внимание при покупке комплектующих для лучшего CPU рендеринга и 3d моделирования, то по ссылке вас ждет отдельная статья на эту тему. Оптимальный для GPU рендера компьютер имеет ряд особенностей и значительно отличается от решения для CPU рендера.
Выбираем компьютер для GPU рендера
Процессор
Поскольку GPU движки используют во время рендеринга ресурсы видеокарты, для нас не принципиально количество ядер при выборе процессора, гораздо большее значение имеет максимальная частота ядра и хорошим выбором будут процессоры Intel i9 9900K (3,6 GHz стандарт и до 5 GHz в турбо режиме) или i7 8700K (3,7 GHz стандартно и до 4,7 GHz в турбо).

Однако, более значимым фактором при выборе процессора будет количество PCIe линий, которое он поддерживает. Видеокарты обмениваются данными с CPU через PCIe линии на материнской плате. Разные CPU поддерживают разное количество таких линий, а топовые видеокарты для полной производительности требуют ресурсы 16х PCIe линий 3.0.
Например, i9 9900K и i7 8700K, которые мы привели выше поддерживают по 16 линий, то есть на максимуме будет работать только 1 видеокарта в связке с одним из таких процессоров.
Если вы планируете установить больше одной видеокарты для GPU рендера в компьютер и хотите выжать из них максимум, то нам понадобится процессор с большим количеством PCIe линий, например AMD Threadripper 2950X c 64 линиями или i9 7800X (28 линий) или процессоры серии i9 7900X (по 44 линии).

Однако, обратите внимание, что видеокарта может работать и в более медленных режимах, используя не 16х PCIe линий, а 8х или даже 4х. На практике между режимами х16 и х8 разница в GPU рендеринге составляет всего несколько процентов и гнаться за идеальным количеством линий на все видеокарты при установке по нескольку карт в компьютер не имеет экономического смысла. На х8 все отлично работает с хорошей производительностью, а вот х4 уже критично режет производительность, поэтому выбирайте процессор, чтобы обеспечить все видеокарты поддержкой х8 линий.

Посмотрите на разницу в производительности видеокарты Titan X в Octane Render в режиме х16 и х8. Эта маленькая разница в производительности не стоит гонки за PCIe линиями, если вы собираетесь ставить 2+ видеокарты в системный блок.
Когда идет активный рендер и вся сцена влезла в видеопамять (VRAM) видеокарты, скорость рендера будет в основном зависеть от производительности этой видеокарты, но есть ряд процессов, которые предшествуют или происходят во время рендера и серьезно нагружают CPU и жесткий диск.
Например, выгрузка и подготовка мешей для обработки на видеокарте, загрузка текстур с диска и подготовка данных сцены. В очень сложных сценах эти процессы могут занимать массу времени и являться причиной долгого рендера, если стоит медленный процессор, не производительный жесткий диск и мало оперативной памяти. Если сцена большая и объема видеопамяти не хватает, рендер будет задействовать обычную RAM и а если будет не хватать и ее, данные будут выгружаться в файл подкачки (swap file), что существенно замедлить рендер.
Лучшая оперативная память (RAM) для GPU рендеринга
Хотя выбор из разных типов RAM памяти не даст колоссального прироста в скорости рендеринга на GPU, важно чтобы количество оперативной памяти не стало узким местом и не задерживало весь процесс рендеринга.
Обратите внимание на несколько особенностей при выборе RAM для GPU рендеринга:
• Нам потребуется как минимум в два раза больше RAM, чем в системе будет видеопамяти (VRAM)
• Частота памяти важна, но не так критична. Современная память на высокой частоте работает быстрее, но переплата за топовую RAM будет внушительной и не всегда стоящей того
• В большинстве случаем многоканальная память лучше, но тоже стоит она существенно дороже и при ограниченном бюджете можно не переплачивать
• Обратите внимание на показатель латентности RAM: память с CL14 будет работать быстрее, чем СL16.
Лучшая видеокарта для GPU рендеринга
Для использования GPU рендера, например, Octane или Redshift нам нужны видеокарты Nvidia, так как только они поддерживают технологию CUDA. Radeon от AMD для рендеринга в Octane и Redshift не подходит. V-Ray GPU (ранее V-Ray RT) поддерживает технологию OpenCl и дружит с АМД видеокартами, но это скорее исключение, берите лучше Nvidia.
При выборе лучшей видеокарты для рендеринга нас интересует оптимальное соотношение производительности и цены, потому что и так понятно, что самые топовые карты по максимальной цене наверное самые производительные, но мы ищем лучший баланс в разных ценовых категориях.
После спада в сфере криптовалюты на рынке появилось большое количество разных видеокарт бывших в употреблении, однако возможность удачно купить какую-то конкретную GPU очень ситуативно, как и цены и мы будем опираться на цены в магазине на новое железо.
Из относительно дешевых видеокарт для рендеринга лучшую производительность в пересчете на вложенный рубль демонстрируют GTX 1070 и RTX 2070. Важно, что у них по 8 Gb VRAM, а вот у GTX 1060/RTX 2060 – только 6 Gb. Экономия может выйти боком, если взять одну из последних видекарт и вам будет не хватать видеопамяти.

Если бюджет позволяет, можно рассмотреть покупку RTX 2080 (8 Gb VRAM) или GTX 1080Ti (11Gb VRAM). На будущее серия RTX будет предпочтительнее из перспектив поддержки аппаратной трассировки лучей RT ядрами, но если рендерить надо сейчас и не ждать у моря погоды, GTX 1080Ti (именно Ti) по прежнему отличный выбор благодаря хорошей производительности и 11 Gb видеопамяти.
Из наиболее производительных видеокарт для GPU рендеринга обратите внимание на RTX 2080Ti и серию Titan: Titan V и Titan RTX. Последние дороговаты относительно прироста производительности, но имеют аж по 24Gb видеопамяти.
Видеокарты с 11 и более гигабайт видеопамяти способны обрабатывать высокополигональные сцены до 200 миллионов уникальных объектов, что, однако, нужно не всем и тут все довольно индивидуально.
Важное уточнение: если вы собираетесь устанавливать несколько видеокарт в одну систему для GPU рендеринга, берите карты одного класса или хотя бы с одним объемом видеопамяти. Дело в том, что видеопамять не суммируется и будет ограничена меньшим значением. Если, например, поставить GTX 1080Ti (11Gb) и GTX 1060 (6Gb) в одну систему, то при рендеринге максимальная доступная видеопамять будет ограничена 6Gb!
Охлаждение видеокарт
Видеокарты серий Founders Edition имеют турбинный тип охлаждения и выдувают горячий воздух с торца, что позволяет легче собрать блок с несколькими видеокартами и при этом они будут лучше охлаждаться, однако турбины более шумные, чем обычные системы охлаждения.

Видеокарты с обычным воздушным охлаждением более дешевы и менее шумные, но их сложнее скомпоновать по нескольку штук в одном системном блоке, чтобы они не грели друг друга.
Вариант водяного охлаждения позволяет добиться лучшей производительности с разгоном или без него, но это и самый дорогой вариант, требующий вдобавок место под резервуар для воды и радиаторы.
Блок питания
Большинство GPU потребляют 180-250W, поэтому для компьютера с одной видеокартой подойдет блок питания на 500W. Для каждой дополнительной видеокарты добавляйте 250W с запасом и берите блок питания соответствующей емкости.
Похожие статьи

GPU рендеринг в Octane, Redshift и других рендерерах, использующих ресурсы видеокарты, а не процессора, поначалу…

Компания Maxon (флагманский продукт Cinema4D) купила разработчика GPU рендерера Redshift. Фанаты Redshift, которых немало, уже…

Для многих фрилансеров и архитектурных визуализаторов появление GPU рендеров таких как Redshift, Octane Render, существенно…




