суббота, 9 апреля 2016 г.

идея ускорения tinyobjloader

искал в google tinyobjloader faster чтоб увидеть, что мой блог по этому запросу второй, а первым в списке стоит Mike Acton's Data-Oriented Design Workshop (2015). поискав по странице tinyobjloader и вчитавшись, понял, что 2 студента получили задание ускорить tinyobjloader. они засунули тестовую программу в профилировщик Very Sleepy и обнаружили, что тормозит зараза std::map. предложенное ими решение мне не очень подходит. я поискал упоминание std::map в файле и понимаю что могу заменить на более шустрый свой хэш. заменю и проверю, хорош ли прирост производительности. кода наверняка станет яснее и без std::map еще и, надеюсь, exe станет меньше

пятница, 18 марта 2016 г.

интересное расширение obj

в http://www.kixor.net/dev/objloader/ предложили расширение формата obj для raytracing
Sphere (non-standard):
Spheres are defined with a position vertex and two normals: one for the up normal and one for the equator normal. The length of either normal can be chosen for the sphere radius.
v 10 10 10
vn 1 0 0
vn 1 0 0
sp 1 1 2
Plane (non-standard):
Planes are defined with a position vertex and two normals: one for the rotation normal and one for the plane normal.
v 0 0 -10
vn 0 0 1
vn 1 0 0
pl 1 1 2
Light, point (non-standard):
A simple point light source. Use a material definition to set the output values.
v 10 50 0
lp 1
Light, quad (non-standard):
A 4 cornered area light.
v 0 50 0
v 10 50 0
v 10 50 10
v 0 50 10
lq 1 2 3 4
Light, disc (non-standard):
A disc-shaped arealight source. The normal specifies the direction and size of the disc.
v 0 50 0
vn 0 -1 0
ld 1 1
Camera (non-standard):
Used to define a simple camera. The 2 vertices define the camera position and the point the camera is focusing on. The normal defines the up vector.
v 0 0 -20
v 0 5 5
vn 0 1 0
c 1 2 1
принцип такой - описываются вершины, нормали, а потом выясняется что это описывали камеру и вершины изымаются из общего буфера вершин и нормалей и превращаются в описываемый обьект

также есть расширение mtl
r 0.5            # reflection amount (non-standard)
воплощу в своём рендере

я ускорил tinyobjloader!

до 25% ускорения в чтении/парсинге файлов obj и mtl, убрал медленный и устаревший код.

детально можно почитать на https://github.com/tigrazone/tinyobjloader/commit/9393eda99baae77cd6df471a41025467983a76c3
new tinyobjloader - faster

среда, 9 марта 2016 г.

как я провёл выходные

   закопался в исходник smallppm, затем попутно вспомнил реализацию bpt и 2 варианта pt на предмет, к какому из хороших реализаций-примеров добавить эксперименты с guidiing pt, с которыми не было времени разобраться и вникнуть.
   edubpt оказался на редкость интересной реализацией bpt и pt там неплохие. ускорил там всё по максимуму. еще  всмотрелся в gemspt - в нём хорошо реализован pt с реализацией материалов. возрадовался чудесам простых оптимизаций.
   пробовал запустить mmlt - гибрид keleman mlt и pssmlt с учетом importance. предрасчеты долгие вела программа, то, что посчитала, было шумное и я не понял, чем этот метод хорош. отложил пока подальше.
   читал akari2, oreoreon renderer и примерял реализации qbvh к своему vcm. понял, что основывать свой qbvh буду на akari2. внёс оптимизации в vcm. решил снова возиться с vcm как с основным.
   в oreoreon renderer qbvh строится без учета sah, он интересен тем, как реализовано пересечение и храниение треугольников и других примитивов.
   в vcm сделал заготовку для qbvh. выбросил неиспользуемый код. добавил реализацию sincos с sse из mitsuba. с удивлением обнаружил, что в vcm есть уже savePFM. не ожидал, что так популярен неизвестный мне раньше hdri-формат.

предстоит также реализовать:
  • image samplers - box, bspline, ...
  • hdri background light
  • tone mappers. раньше делал с помощью gamma и автоэкспозицией
  • по-прежнему актуально - чтение 3d-форматов. основных
  • текстуры
  • sse-ускоренные 1/, sincos
очень благотворно чтение исходников. появляется время подумать и сравнить, сделать по-другому, собрать крупицы в свой продукт. благодарю авторов embree, embree example renderer, oreoreon renderer, akari2, edubpt, gemspt

    понедельник, 7 марта 2016 г.

    из понравившегося и планы на 8 марта

    • On-line Learning of Parametric Mixture Models for Light Transport Simulation
      предлагается guided path tracing, который на уровне vcm, но без многих шаманств. посмотрел прилагающийся исходник и в очередной раз ужаснулся силе многих overqualified с++-программистов. пример использования техники там привязан к mitsuba, который сам по себе - класс на классе. чую я, что напишу на основе исходника из следующей ссылки simple_guided_pt.cpp
      guided pt состоит в том, что сначала трассируются фотоны и сохраняются в importance map. затем производится честный path tracing с минимальными добавками - перед path tracing дописать photon tracing проход и при умножении переменной, отвечающей за importance при path tracing коэффициент берётся из просчитанной importance photon map

    • smallpm: Global Illumination in 128 lines of C++
      Global illumination via Photon Mapping
      спасибо японскому товарищу за исходник ;-)
      с помощью него написать importance PHOTON MAP будет проще, чем по каракулям из исходника из предыдущей ссылки

    • kd-tree для photon mapping мне не нравится и потому буду использовать hash grid из smallppm.cpp
      к тому ж, smallppm значительно быстрее smallpm

    • у Toshiya Hachisuka нашел "Multiplexed Metropolis Light Transport"   [slides]   [code - mmlt]   [code - pssmlt]
      с исходным кодом!

    пятница, 4 марта 2016 г.

    сцена для проверки методов просчёта на каустику


    взята из проекта oreoren-rendering и назначено много стекла и треугольник с преломлением.
    просчитана с помощью photon mapping.
    считалось долго и на потолке освещение вышло отвратительного качества, да и по всей картинке - размытость и нечеткие детали, особенно в каустике.

    радует:
    • множество световых эфектов - каустики на полу, под водой, преломления через треугольник большой, сфера преломляющая, а за ней - отражающая 
    • необычная геометрия - примитивы Cuboid(цветные квадраты - один примитив) и NoiseSurface(водная поверхность - 1 примитив):
      [Cuboid]
      scale = 12 12 12
      rotate = 30 30 0
      position = 0 0 -100
      material = Black
      repeat = 7 7 7
      interval = 1
      margin = 0 0 0
      randColor = true
      [NoiseSurface]
      center = 0 -35 0
      scale = 150 3 150
      rotate = 0 0 0
      division = 2000 2000
      material = Water
      noisyHeight = true
      noisyColor = false

    материалы описаны так:
    [Material]
    name = Mirror
    color = .999 .999 .999
    refl = SPEC

    [Material]
    name = Glass
    color = 1 1 1
    refl = REFR
    refrIndex = 1.5

    [Material]
    name = Glass2
    color = 0.9 0.9 0.9
    refl = REFR
    refrIndex = 1.5

    [Material]
    name = Black
    color = 0.1 0.1 0.1
    refl = DIFF
    [Material]
    name = CornellRed
    color = .75 .25 .25
    refl = DIFF

    [Material]
    name = CornellBlue
    color = .25 .25 .75
    refl = DIFF

    [Material]
    name = CornellGray
    color = .75 .75 .75
    refl = DIFF

    [Material]
    name = Water
    refl = REFR
    color = 0.8 1.0 0.95
    refrIndex = 1.333
    8 миллионов поли
    LightSource - AREA, rectangle(4 вершины)
    примитивы - 4 Rectangle, 2 сферы, 1  Cuboid, 1   NoiseSurface, 2 модели из obj-файлов

    под катом - вариант сцены с водной гладью - наклон на пару градусов по всем осям и по y больше размер

    вторник, 23 февраля 2016 г.

    мелкие достижения

    • поправил рендеринг в файл - ppm, pfm, tga
    • поправил вывод дебаг-информации в консольном выводе
    • поменял Random-генератор на xorshift128
    • заметил необходимость переписать сохранение/загрузку файлов кэшированно
    • pfm, оказывается, hdri-формат и схож с hdr, но не настолько популярен
    • перепишу поиск пересечения луча с треугольником из недр Embree. позор! там Triangle Intersector тормозным методом Moeller Trumbore. добавлю предрасчеты динамические и будет шелестеть!

    воскресенье, 21 февраля 2016 г.

    ускорение metropolis light transport с помощью грамотного распределения нагрузки между потоками




    слева - 105 секунд, прошлый вариант
    справа - 85 секунд, новый вариант
    разница между версиями программы - почти 20 секунд!
    это составляет 105 / 85 = 124% ускорения

    скачать можно по адресу https://github.com/tigrazone/simple-mlt

    воскресенье, 7 февраля 2016 г.

    изменение курса и новый todo. обновляется

    Ввиду крутости реализации Embree, замораживаю работу по Delphi-версии рендера и концентрируюсь на рендере на основе Embree в связке c++, FLTK. Приятной особенностью есть готовность Embree к работе на Linux, Mac, Windows.
    Поддерживаются форматы файлов с изображениями ppm, pfm, exr, с подключением ImageMagik - tga, gif, jpg, png, bmp, tif
    Итак, новый список задач:
    • адаптировать к FLTK
    • быстрая загрузка obj, xml
      переписать, убрав зависимость от с++-потоков, хэширование, буферизация

      7.2.2016 поправил баг в чтении obj, в чтение mtl внёс специфичные для akari атрибуты - для тестирования сцены, которая шла в примере с akari2

      7.2.2016 добавил хэширование, буферизация не сработала. перепишу с fread

      9.2.2016 частично переписал долгие сравнения строк на хэширование. надо переписать по всему проекту


      оптимизировал и выложил на github свою версию tinyobjloader
      18.03.2016
    • metropolis light transport(Keleman style)
    • path tracing. быстрая перерисовка при перемещении камеры
      1/8 кадра, 1/4, 1/2 и полный кадр
      10.02.2016
    • russian roulette для path tracing
      20.02.2016
    • Vertex connection and merging
    • Manifoldis Next Event Estimate pdf, slides, avi. Реализовано в NANOGI
    • загрузка fbx, других форматов сцен
    • прицепить на кнопку сохранение сцены - текущее положение камеры и размеры окна
    • прицепить на кнопку сохранение отрендеренной сцены в файл
    • загрузка/сохранение файлов с изображениями
      добавить hdr
      - сохранение готово
      26.02.2016
      добавить exr(tinyexr)
      ppm, pfm, добавить tga без ImageMagik
      23.02.2106

    • добавить png, jpg, tif без ImageMagik

    hairball + hdri light in my render


    hairball.obj 230mb model - 2.88millions faces

    воскресенье, 24 января 2016 г.

    Embree крутейший!

    Наконец-то собрал и запустил у себя на компьютере Embree. Раньше он собирался, но при запуске вылетал с ошибкой. Оказалось, что мой amd не поддерживает sse4. Отключил использование sse4 и с инструкциями sse3 стал отлично работать рендер - демо-программа из пакета с Embree. На основе этой программы построю свой рендер с отличными от path tracing методами просчета и семплерами и тон-мапперами. Базис демо-рендера очень хорош и расширять его легко и можно повысить эффективность в разы.

    Скачать сборку для sse3 и sse4. Запускать crown.bat или cb1.bat и смотрите результат и скорость!

    Описание на сайте Embree http://embree.github.io/renderer.html


    Управление:
    • левая кнопка мыши - вращение(rotate)
    • средняя кнопка мыши - панорамировать(pan)
    • правая кнопка мыши - приближение/удаление камеры(dolly)
    • Ctrl+левая кнопка мыши - установить центр, относительно которого будет действовать приближение/удаление/вращение
    • Ctrl+Shift+левая кнопка мыши - изменение фокусного расстояния камеры(fov)
    • Alt+левая кнопка мыши - вращение камеры относительно поля видимости
    • L - уменьшить радиус линз на 1 единицу в пределах координат сцены
    • Shift+L - увеличить радиус линз на 1 единицу в пределах координат сцены

    воскресенье, 6 декабря 2015 г.

    любимые Инструменты

    программы-инструменты, которыми я пользуюсь большую часть дня:
    Notepad++
    Denwer
    Яндекс.браузер(из него и пишу)
    Delphi 2006 lite
    Visual C++ 2010
    Intel C++ compiler

    и реже, без сортировки по какому-то критерию:
    Open Server
    Firefox
    Chrome
    Opera 12.16
    Open Office
    Corel_DRAW_X4 + photoshop 7 (portable editions)
    PhotoshopPortable-cs6
    Adobe.Illustrator.Portable.CS6-PortableApps.com
    Fireworks MX
    Delphi 6
    Visual C++ 6(для компиляции старых, но неплохих исходников типа vaahtokarkit и WinOsi)
    Visual C++ 2013
    MinGW/Msys/gcc 4.8.1
    Keyshot 5
    Maxwell Renderer
    3ds max 2016 student
    cinema4d
    blender
    vray
    cycles
    corona

    среда, 25 ноября 2015 г.

    new todo

    1. lazarus opengl window
      • create
      • draw
      • frustrum culling
    2. lazarus mouse и клавиатура как в играх - управление сценой
    3. obj load
      • fast load
        24 nov 15
      • hashing добработать имеющуюся реализацию с adler32
      • parse
      • store in mem
      • mats
      оптимизировал и выложил на github свою версию tinyobjloader
      18.03.2016
    4. MNEE
    5. qbvh scene, tris
    6. hdr, ibl

    пятница, 30 октября 2015 г.

    поиск ника в соцсетях

    http://pepelac.xyz/psearch.php
    и обо мне http://pepelac.xyz/psearch.php?nick=tigrazone&pages=3&sleeptime=1&psycho=on&icq=on&email=on

    simple adaptive antialias pass

    1. просмотреть все соседние пикселы(если 0 по х, сравнить с пикселом сверху)
    2. сравнение пикселов
      • по каждой из x, y, z получить коэффициент отличия = min(x1,x2)/max(x1,x2)
      • если этот коэффициент > константы макс. отличия(0.3 например), то установить флаг необходимости антиалиазинга и прервать цикл по x, y, z
      • расчет точек углов, в которых затем усредняется делением на 4 получившиеся цвета в субпикселах, Java:
        float xScale = scene.viewWidth  / width;
        float yScale = scene.viewHeight / height;
        float left  = (x - 0.25f*(1.1f-rndrnd.getFloat()*0.3f)) * xScale; //(0.8 .. 1.1)/4 = 0.2 .. 0.275
        float right = (x + 0.25f*(1.1f-rndrnd.getFloat()*0.3f)) * xScale;
        float above = (y - 0.25f*(1.1f-rndrnd.getFloat()*0.3f)) * yScale;
        float below = (y + 0.25f*(1.1f-rndrnd.getFloat()*0.3f)) * yScale;

    среда, 28 октября 2015 г.

    bidirectional path tracing и ускорения

    на основе https://github.com/githole/edubpt можно потестировать некоторые ускорения для bidirectional path tracing:

    вдохновляют

    http://peterkutz.com
    http://blog.yiningkarlli.com/

    о distributed ray tracing и процедурных текстурах из старой книги




    в этой же книге - о сплайнах, текстурировании и
    процедурных текстурах!

    посмотреть pdf(5mb)

    что сделано на сейчас

    • взял чтение obj из akari2 и ускорил его в 2 раза. разбивка на фразы - strtok, затем токенизация в int с помощью adler32 и бинарный поиск. парсер obj легко расширяется новыми лексемами
    • vcm. нашел, как, регулируя количество ligthing paths, сделать рендер более bpt или sppm-based. эта настройка также делает рендеры более или менее быстрыми. меняется от этой настройки и количество шума. нужно еще поработать с нею, т.к. картинки получаются временами более тёмными. что-то не то с делением на количество реально обработанных ligthing paths
    • читаю исходники своего java renderer и беру оттуда работу с adaptive antialias
      1/4
      1/2
      с adaptive antialias

    to do

    говорят, списки очень мотивируют на более быстрое воплощение мечты.
    потому как получается визуально.
    буду зачеркивать готовые пункты и писать дату и коментарии.

    итак:
    • 1/4, 1/2 превью, simple adaptive antialias pass
    • obj чтение
      1. сделать фиксированный буфер (64kb)
      2. чтение формата сделать более полным
    • qbvh для всей сцены
    • чтение сцены
    • текстуры и материалы
      1. текстуры
      2. процедурные материалы
    • opengl работа с мышью
    • в simplemlt оптимизировать Color direct_radiance_sample() ибо очень ужасно выглядит
      моя версия simplemlt https://github.com/tigrazone/simple-mlt/blob/master/simplemlt.cpp

    четверг, 2 июля 2015 г.

    vcm. небольшое ускорение

    выдалась свободная минутка и я окинул взором свою версию реализации VCM.
    нашёл несколько мест, где можно упростить алгебраически формулы, запоминать часто встречающиеся расчеты.

    вышло 5% прироста, что я считаю неплохим результатом для быстрых и простых оптимизаций.

    старый вариант

    новый вариант
    вычислял ускорение исходя из количества просчитаных лучей за одинаковое время 186 секунд.
    в первом варианте 7,89+7,86=15,75
    во втором варианте 8,32+8,29=16,61

    15,75/16,61=0,9482239614689946. если эту цифру отнять от 1, то выйдет 0,05177, то есть чуть больше 5%.





    воскресенье, 19 апреля 2015 г.

    mt_rand vs xorshift









    слева - mt_rand, справа - xorshift

    mt_rand не такой быстрый, как xorshift - это 2 алгоритма для генерации псевдослучайных чисел.

    переписал на Pascal реализацию xorshift с http://stackoverflow.com/questions/13213395/adjusting-xorshift-generator-to-return-a-number-within-a-maximum/13533895

    понедельник, 30 марта 2015 г.

    как я пишу свой рендер

    Источниками воплощенных идей для меня были:
    • Dart Renderer от David Cline, создателя алгоритма ERPT(Energy redistribution path tracing). В исходниках этого рендера я нашёл воплощение Metropolis Light Transport и, экспериментируя со случайными последовательностями и находя в последовательностях закономерности, вывел возможность настраивать Metropolis Light Transport для скорости и точности. Написан на с++.
    • Progressive Path Tracer от Bacterius. Реализация алгоритма Progressive Path Tracer на Delphi. Исходный вариант программы я переделал, ускорив расчеты сфер, треугольников, плоскостей, изменил интерфейс, добавил тоновую коррекцию. Также добавил реализацию importance sampling. 
    • SmallVCM от Tomáš Davidovič. Реализация замечательного алгоритма Vertex connection and merging, который уже реализован в рендерах Corona и Vray. Я добавил вывод изображения в окне с помощью библиотеки fltk, оптимизировал алгоритмы пересечения луча и сфер, треугольников, сделал более частое обновление и более быстрое отображение изображения. Планирую ускорить с помощью реализации ускорителя пересечения луча с обьектами сцены Bounding interval hierarchy из следующего в списке рендера. Написан на с++.
    • SunFlow от Christopher Kulla. Хороший рендер с реализацией photon mapping, path tracing, множеством обьектов и материалов, ускорителями пересечения луча со сценой kd-tree и bounding interval hierarchy. Написан на java.
    • Реализация Stochastic progressive photon mapping для GPU с поддержкой glossy-материалов, спектральным рендерингом и Motion Blur. Написан на с++. http://www.bee-www.com/gpusppm2.zip
    • и остальные списком: Arauna, WinOsi, Pane, R.I.S.E., Mitsuba

    На скриншоте - результат моей реализации SmallVCM после 1 часа 55 минуты. На фоне открыто окно браузера с сайтом www.bee-www.com с результатом Stochastic progressive photon mapping для GPU

    Не сложно догадаться, что мой рендер будет включать в себя и GPU-версию и Vertex Connection and Merging с Metropolis Light Transport на этапе генерации лучей из источников света. И всё это с оптимизациями и удобствами!

    воскресенье, 9 ноября 2014 г.