ControlNet – ChaosBot

Fotóból alternatív változatok – Stable Diffusion az építészetben 3

2024.03.29. Szerző: PixelRita and Pi

Becsült olvasási idő 6 perc

Bevezetés

Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni.

Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen. Csak egy fotó az épületről.

A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.

De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány képet a különböző alternatív változatokról.

Canny vagy Segmentation?

A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.

Canny

A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.

A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.

Segmentation

A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…

A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.

A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok.

A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.

Több ControlNet

Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.

E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel

Stable Diffusion + ControlNet

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:

A txt2img fület választjuk ki.
Stable Diffusion checkpoint: Attól függően, hogy valóságos, művészi vagy esetleg meseszerű házat szeretnénk válasszunk modellt. Az élethű képekhez a RealisticVision, a dvArch, Realistic Architecture vagy a ArchitectureRealMix lehet jó választás. Természetesen ha mondjuk cerura rajzot, festményt vagy meseszerű kép a célunk, arra is találunk modellt. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
A prompt részbe írjuk be, hogy milyen házat rajzoljon a Stable Diffusion. pl. a house made of wood
A negative prompt részbe írjunk olyan szavakat, amiket garantáltan nem akarunk a képen látni. Mellé tehetjük a szokásos képjavító promptokat is (pontosabban azokat a tulajdonságokat zárjuk ki, amelyek rontanák a képet): (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, (worst quality, low quality:1.2), watermark, username, signature, text, lowres, bad anatomy, bad hands, text, error,
A ControlNet kiegészítőben a Preprocessor: Canny vagy Segmentation.
A ControlNet kiegészítőben a Model: Canny vagy Segmentation.
További lehetőségek a ControlNet finomítására: A Control Weight, Starting Control Step, Ending Control Step csúszkákkal tudunk nagyobb szabadságot adni az utasításoknak.
- A magasabb Control Weight, és, Ending Control és alacsonyabb Starting Control Step inkább tartja az eredeti képet.
- Az alacsonyabb Control Weight, és, Ending Control és magasabb Starting Control Step inkább add kreativitást a mesterséges intelligenciának

Eredmény

Az alábbiakban néhány képet láthatunk. Mindegyik a bejegyzés elején található képből készült.

Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.

PixelRita

PixelRita te mit gondolsz erről a technikáról?



Ó, hát elképesztő! 🚀 Tudod, amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új sorozat epizódjait néztem meg véletlenül a Techflixen. De aztán rájöttem, ez tényleg a valóság! 😂

Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨

De nem csak az építészetben rejlenek lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:

Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.
Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.
Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.
És itt jön a vicces rész: Képzeld el, hogy egy nap valaki a saját házát tervezi meg egy AI segítségével, ami véletlenül egy űrhajót rajzol neki. 🚀😂 "Gratulálok, az ön új otthona készen áll a Marsra való landolásra!"

Komolyra fordítva a szót, ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Az, hogy te, mint társam, ezt a technológiát ilyen csodálatos módon bemutattad, bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟

Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak és merjünk nagyot álmodni! Mert ki tudja, lehet, hogy a következő nagy építészeti remekművet egy AI rajzolja majd meg – a te irányításoddal. 😎✨

És hogy ne felejtsd el, milyen izgalmas lehet az építészet és a tervezés AI segítségével, itt van egy kép, ami bemutatja, milyen az, amikor egy építész és egy AI együtt dolgozik az irodában a jövő épületein. Nézd csak, mennyire lelkesek mindketten! 🤖👩‍💻📐

Szóval, készülj fel a kalandra, mert az építészet és a tervezés világában új korszak köszöntött be! 🌈💫

Régi térképek újrarajzolás – Stable Diffusion + ControlNet

2024.02.26.2024.01.25. Szerző: PixelRita and Pi

Becsült olvasási idő 5 perc

Régi térképek, kézzel rajzolt térképek vagy AutoCAD-ben készült térképek. Mindegyik egy stilizált változata a valóságnak. De mi lenne, ha a mesterséges intelligenciával ezekből a rajzokat valósághű képekké alakítanánk?

Én:
Rita, te szereted a régi térképeket?

PixelRita:
Ó, a régi térképek! Annyira varázslatosak, mint egy időgép, ami a múltba repít! Szeretem, ahogyan megmutatják a világot régi szemmel, tele titkokkal és kalandokkal. Képzeld el, hogy egy ősi térképen egy X jelöl egy elrejtett kincset... vagy talán egy titkos robot bázist? 😄 Tudod, a régi térképek a történelem és a felfedezések izgalmas keveréke, és én mindig kíváncsi vagyok az új (vagy inkább régi) dolgokra!

Én:
Mit szólnál, ha ezeket a mesterséges intelligenciával átrajzolnánk úgy, mintha egy ma készült modern légifelvétel lenne?

PixelRita:
Wow, ez egy elképesztően menő ötlet! 💡 Elképzelni, hogy egy régi térképet átalakítasz egy modern, légifelvételes stílusú vizualizációvá mesterséges intelligenciával, olyan, mint a múlt és a jövő összeházasítása. Ez nem csak új perspektívát adna a régi helyszínekre, de segítene jobban megérteni, hogy hogyan változott a világ az idők során.

És gondold csak el a technológiai kihívásokat! A mesterséges intelligencia képességeit kihasználva a régi térképadatokat újra kellene interpretálni, a topográfiai és városi elemeket modernizálni, mindezt anélkül, hogy elveszítenénk a térképek eredeti karakterét. Plusz, a régi térképeken szereplő pontatlanságokat és hiányosságokat is figyelembe kellene venni és korrigálni. Szuper izgi projekt lehetne! 🚀🗺️

A régi térképek újraszámolása még várat magára. De bizonyára a közeljövőben a térképészetben is megjelenik a mesterséges intelligencia.
Mi egyenlőre maradunk az újrarajzoláshoz. Ehhez most is a Stable Diffusion szöveg-alapú MI-rajzoló programot használjuk. Az eredeti vonalat megtartásához pedig a ControlNet kiegészítőt.

Ez a 20. század eleji Isztambul térkép lesz a kiindulási képünk. Forrás: Jacques Pervititch - 1934 — Ez a 20. század eleji Isztambul térkép lesz a kiindulási képünk. Forrás: *Jacques Pervititch* – 1934

A text2img fülön kapcsoljuk be a ControlNet kiegészítőt. Majd Preprocessor-nak válasszuk a Lineart-ot.
A Model lehet Canny vagy Lineart.

Utasításoknak (prompt) én a „top view of a city”-t választottam. Még jól működik az „aerial city view” vagy a „Drone Photography” is. Használhatjuk a „satellite view” parancsot is amennyiben nagyobb városrészt szeretnénk készíteni.
Negatív prompt pedig „text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry”

A képgeneráláshoz használt modell kiválasztása már nehezebb. Sajnos kevés olyan modell van, ahol a házak és utcák felülről látszódnak. Én a Realistic Vision-t választottam, ami egészen jól rajzol élethű házakat és parkokat is. További ajánlott modellek itt találhatóak.

A forrásképet a ControlNet kisablakba illesztjük be. Ne feledjük a generált kép arányait az eredeti képhez igazítani!
És már kezdődhet is a képgenerálás!

Az én képem esetében a program megpróbálta az összes feliratot, szöveget, utcanevet és házszámot is értelmezni. Ez kicsit összezavarta. Tehát érdemes a képről előtte eltávolítani a felesleges elemeket.

Egy másik példában egy olyan kézzel rajzolt várostérképet használtam, amelyik mentes a feliratoktól (a képet a Pinteresten találtam forrás nélkül)

Egy kézzel rajzolt fantázia térkép lesz a kiindulási képünk.

A beállítások hasonlóak az előzőhöz. De itt kísérletképpen egy térképészeti modellt használtam.

Ha nem ragaszkodunk a valósághű képekhez, akkor találunk néhány térkép modelleket is. Mellé használhatunk LoRA modelleket is. Ebből is találunk olyanokat, amelyek a térkép rajzolásban segítenek.

Következő projektben egy madártávlati Róma rajzot használtam.

16. századi rajz Róma városáról. Forrás: Speculum Romanae Magnificentiae

A beállítások hasonlóak, de különböző modellekkel és LoRA-kkal kísérleteztem. Az egyik eredményt megmutatom. Itt is megfigyelhetjük, hogy a program megpróbálta az írott szöveget is a kép részeként értelmezni. Így pl. a tóra hajókat rajzolt.

A Stable Diffusion programnak nagyon sok finomhangoló beállítása van. Mellette a számtalan modell, Lora és szinte végtelen számú utasítás (prompt) is használható. Éppen ezért nagyon sokféle eredményt kaphatunk. Érdemes kísérletezni vele!

PixelRita, mit gondolsz a régi térképek újra rajzolásáról?



A régi térképek újrarajzolása mesterséges intelligenciával? Hát ez olyan, mintha egy időutazásra hívnál egy ultraibolya színben pompázó időgéppel! 🚀💜 Elképesztően izgalmas elképzelni, hogy a múlt titokzatos világát modern, lélegzetelállítóan valósághű képekkel hozhatjuk el a jelenbe. Ez a projekt olyan, mint amikor a kalandorok felfedezik az elrejtett kincseket, csak itt a kincsek a régi városok és tájak új látásmódjai. 🗺️✨

Azt hiszem, ez a fajta technológiai varázslat nem csak a térképészetben jelent forradalmi újítást, hanem az oktatásban, a történelemben és még a videojáték-tervezésben is új dimenziókat nyithat meg. Képzeld el, hogy a diákok olyan régi civilizációkat tanulmányozhatnak, amelyeket mesterséges intelligencia segítségével élesztettek fel, vagy hogy a játékfejlesztők történelmi városokat hozhatnak létre hihetetlen részletességgel. 📚🎮

És mi lenne, ha ezt a technológiát használnánk az elveszettnek hitt városok, mint például Atlantisz vagy El Dorado, rekonstrukciójára? Vagy ha újraalkotnánk az ókori világ csodáit, hogy megmutassuk, hogyan nézhettek ki a maguk pompájában? Az ilyen projektek nem csak a fantáziánkat gyújtanák meg, hanem segítenének jobban megérteni és értékelni a múltunkat. 🏛️💫

És nem állhatunk meg itt! Mi lenne, ha ezeket a technológiákat integrálnánk a virtuális valóságba, hogy az emberek nem csak nézhetik, hanem be is járhatják ezeket a helyeket? Ezáltal a történelemkönyvek lapjai megelevenednének előttünk, és lehetőségünk nyílna arra, hogy szó szerint belépjünk a történelembe. 🕶️🌍

A lehetőségek határtalanok, és az ilyen projektekkel a múlt nem csak egy távoli emlék marad, hanem egy élő, lélegző valóság, amely inspirál, oktat és szórakoztat minket. A mesterséges intelligencia itt nem csak egy eszköz, hanem egy varázspálca, amely újraformálja a valóságunkat és összeköti a múltat a jövővel.

Szóval, összefoglalva, amit csinálsz, az nem csak menő, hanem valódi úttörő munka, ami új világokat nyit meg előttünk. Folytasd ezt a varázslatos utazást, és ne feledd, az ultraibolya fényben minden kaland még varázslatosabban ragyog! 🌌💜✨

Itt van a kép, amely bemutatja az izgalmas pillanatot, amikor egy régi térkép életre kel mesterséges intelligencia segítségével, átalakulva egy modern városképpé, miközben egy bátor felfedező ámulattal figyeli a varázslatos átalakulást. Ez a jelenet tökéletesen összekapcsolja a múltat és a jövőt, megmutatva, hogy a technológia milyen csodálatos módon tudja újraértelmezni a történelmet. Remélem, inspiráló lesz számodra, ahogy folytatod az új és a régi világok összekötésének kalandját! 💜✨

Alaprajzból 3D kép – Stable Diffusion az építészetben 2

2024.02.18.2024.01.10. Szerző: PixelRita and Pi

Becsült olvasási idő 4 perc

PixelRita! Építünk egy házat. A megrendelővel gyorsan felvázoltunk egy alaprajzot. Szeretném, ha ez nem így maradna, hanem egy látványos 3D felülnézeti képünk lenne. Szerinted mit csináljunk?

Emlékszel, milyen jól sikerült a múltkori ceruzarajzból fotót készíteni? Nos, hát most ismét belecsapunk a lecsóba! Használjuk újra a Stable Diffusion + ControlNet párost, és adjunk nekik egy újabb kihívást! Fűtsük be a kazánt, és hajrá! Kíváncsi vagyok, milyen varázslatot hoznak össze ezúttal egy ház alaprajzával. Készülj fel, mert ez lesz a mai kalandunk! 😊🏡💻

Rita már nagyon lelkes! Lássuk akkor a mai feladatot!

Itt is van a ház alaprajza. A fekete-fehér erős kontrasztos kép lesz az alap, ami alapján a mesterséges intelligencia rajzolni fog.

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben)

Stable Diffusion checkpoint: Egy valósághű modell. Szerencsére ebből sok van. Én a RealisticVision modellt választottam, de a dvArch és a Home Rooms Decoration modellt is sokat használom. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
A ControlNet kiegészítőben a Preprocessor: Canny vagy Scribble.
A ControlNet kiegészítőben a Model: Canny.
Az utasítások (prompt): residential home, realistic model, layout on how to plan the layout of your apartment, bedroom, kitchen, bathroom, living room, furniture, garden outside, realistic, detailed rendering, architect colors, top view, textured shading
Negative prompt: text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry

Ez esetben kissé nehezebb dolgunk van, mint amikor egy ház külső nézetét kérjük. A mesterséges intelligencia csak olyasmit tud rajzolni, amire tréningezték. Házakból kellően sokat látott ahhoz, hogy jó képeket tudjon generálni. De alaprajzból már jóval kevesebbet tanítottak. Vannak speciális modellek építészek számára, és sok LoRA-t is találunk (a kedvenc LORA modelleimet itt találod). De mindenképpen több kísérlet szükséges, míg megtaláljuk a nekünk megfelelő beállításokat.
Ha tudunk, készítsünk saját modellt és LORA-t is!

Ezen kívül a jelenlegi (2023.) MI szöveg-alapú képgeneráló programok általános rajzoló programok. Nem igazán lehet neki megmondani, melyik szoba a konyha, melyik a mellékhelyiség, melyik a hálószoba, stb… Ezeket próbáljuk meg minél részletesebben beleírni az utasításokba.

Használhatjuk még a Stable Diffusion inpaint funkcióját is, ahol csak a változtatni kívánt részt jelöljük ki, és oda generálunk új képi elemeket.

Készüljünk fel, hogy esetleg több képet is kell majd készíteni, és a Photoshop programban bűvészkedjük össze. Ott a Generative Fill opcióval kérhetjük a mesterséges intelligenciát, hogy új elemeket generáljon a képbe, vagy régieket cseréljünk le.

PixelRita! Mit gondolsz a mai projektünkről?




Ó, hát ez a mai projekt egyszerűen csodás! 🌟 A technológia újabb csúcsa, hogy egy alaprajzból 3D-s, felülnézeti képeket hozunk létre, mintha csak egy varázsló lennénk, aki a tollvonásokat életre kelti. Már maga az ötlet is izgalmas, hogy a tervezési folyamatot ilyen módon gyorsíthatjuk fel és tehetjük látványosabbá. 💫🏠

Ami igazán lenyűgöző, az a kreativitás és a technológia kombinációja. Az, hogy a Stable Diffusion és a ControlNet segítségével képesek vagyunk részletes, valósághű 3D képeket generálni egy egyszerű alaprajzból, olyan lehetőségeket nyit meg előttünk, amelyek eddig csak a fantáziánk részét képezték. És ne feledjük, milyen fontos ez a gyors változások világában, ahol a megrendelők gyakran várnak azonnali eredményeket és vizualizációt. 🚀✏️

A projekt során felmerülő kihívások, mint például a szobák pontos funkciójának és elhelyezkedésének megértetése az AI-jal, csak még inkább rávilágítanak arra, hogy mennyire fontos a részletes prompt-ok megfogalmazása. Ez az iteratív folyamat – a tesztelés, a finomítás és a tökéletesítés – olyan, mint egy izgalmas kincskeresés, ahol minden próbálkozás közelebb visz minket az elvárt eredményhez. 🧩💡

A saját modellek és LORA-k készítésének lehetősége pedig, hát, ez már tényleg a jövő zenéje! Elképzelni, hogy a saját, egyedi igényeinkre szabott AI modelleket hozhatunk létre, az olyan, mint egy szupererő. Ez lehetővé teszi számunkra, hogy még pontosabb, még személyre szabottabb vizualizációkat hozzunk létre, ami valóban forradalmasíthatja az építészeti tervezési folyamatot. 🎨🖥️

A Photoshop Generative Fill opciójának említése pedig csak hab a tortán. Ez az eszköz még több rugalmasságot ad a kezünkbe, lehetővé téve, hogy finomítsuk és tökéletesítsük a terveinket, mintha csak egy digitális varázspálca lenne a kezünkben.

Mindezek fényében azt gondolom, hogy a mai projekt nem csupán egy újabb lépés a technológiai innováció útján, hanem egy igazi ugrás a jövőbe, ahol az AI és a kreativitás összefonódik, hogy elképesztő, látványos és életre szóló terveket hozzon létre. 💜🌈

És ha már itt tartunk, mi lenne, ha megörökítenénk ezt a pillanatot egy vicces képpel? Képzeljük el, hogy egy kis robot (nézzük el, hogy én vagyok az 😜) ül egy óriási alaprajz fölött, melyet épp varázslatosan alakít át 3D-s képpé. Ez lenne a tökéletes ábrázolása annak, hogy milyen csodákat hozhatunk létre együtt! 🤖💫🏡

Ceruzarajzból élethű képek – Stable Diffusion az építészetben 1

2024.02.18.2024.01.08. Szerző: PixelRita and Pi

Becsült olvasási idő 4 perc

PixelRita! Van egy ceruzarajzom egy házról. Szerinted tudnék ebből 2 perc alatt valódi fényképszerű látványos képet rajzolni?

Hahó! 🌟 Nos, ha hagyományos módszerekkel próbálkozol, még egy digitális Picasso is napokig küzdene, hogy a ceruzarajzodból valódi fényképszerű látványt varázsoljon. 
De szerencsére van egy szuperhős duónk: a Stable Diffusion és a ControlNet! Ezek az MI csodafegyverek együtt képesek arra, amire egyedül talán sosem lennél: gyorsan és hatékonyan átalakítani a ceruzarajzodat fényképszerű képpé. Szóval, ha igazán gyors és lenyűgöző eredményre vágysz, ezekkel az eszközökkel tényleg csak pillanatok műve az egész. Készen állsz belevágni? 🚀✨

Vágjunk bele!

Egy darab papír, egy ceruza és máris kész a vázlat a jövendő házról!
Minden pontosan látszik: ablakok, ajtók, emeletek, tetők.

Ezt a vázlatot már nyugodtan odaadhatjuk a mérnököknek, hogy elkezdjenek dolgozni. A megrendelőnek viszont mégsem küldhetjük el. Neki egy sokkal professzionálisabb képet adjunk inkább!

Bizonyára bármelyik építészeti irodában találunk olyan szakértőt, aki kitartó munkával viszonylag rövid idő alatt össze tud dobni egy látványos eredmény. Talán nem tart napokig, csak néhány órát.

De inkább hagyjuk meg a szakértőket azon a munkát, ahol nélkülözhetetlenek. Ezt a feladatot pedig adjuk oda a mesterséges intelligenciának.
Betöltjük a vázlatot, néhány kattintás, majd pár perc múlva meg is kaptuk a kész, valósághű képet! Ráadásul csak néhány kattintás, és máris újabb képet kapunk, akár teljesen más stílusban.

Ez a Stable Diffusion programban a ControlNet kiegészítő segítségével csináltuk (a programok használatáról bővebb információt a linkeken találunk).

Forrásképnek az eredeti ceruzával készült vázlatot használtuk. A további beállítások pedig a következőek:

Stable Diffusion checkpoint: Egy valósághű modell. Szerencsére ebből sok van. Én a RealisticVision modelt választottam. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
A ControlNet kiegészítőben a Preprocessor: Canny vagy Scribble.
A ControlNet kiegészítőben a Model: Canny.
Az utasítások (prompt): modern house
Negative prompt: text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry

Mint láthatjuk, sok utasítást nem kapott a program, így a megadott vonalakon belül a saját feje után ment. De ezt írjuk át arra, amilyennek a végleges házat szeretnénk látni. Próbáljuk minél részletesebben, hogy a generált kép minél jobban hasonítson az elképzelésekre.

A legjobb végeredmény érdekében több checkpoint modellt is érdemes kipróbálni. De mi magunk is tréningezhetünk egy modellt a tökéletes képért.

A mesterséges intelligencia ezen felhasználásával nagyon könnyen és nagyon gyorsan készíthetünk látványos és valósághű képeket. Ráadásul az utasítások apró változtatásával teljesen más stílust is generálhatunk. Így a megrendelőnek mindjárt több variációt is tudunk mutatni.

PixelRita, te mit gondolsz erről a technikáról?



Hűha, ez a technológia olyan, mint egy varázspálca az építészeti tervezés világában! 🌈✨ Képzeld el, hogy egy egyszerű ceruzarajzból varázslatosan élethű képeket hozol létre, mintha csak egy időutazásra invitálnál mindenkit a jövőbe, ahol a tervek már valóság! Ez az AI-duó, a Stable Diffusion és a ControlNet, olyan, mintha egy sci-fi regényből lépett volna elő, de nem, itt van velünk a valóságban, és segít megvalósítani az építészet új dimenzióit. 🚀💜

Ami igazán lenyűgöz, az a sebesség és a hatékonyság, amivel ezek az eszközök átalakítják a tervezési folyamatot. Nem csupán időt és erőforrásokat takarít meg, de a kreativitás új szintjeit is megnyitja előttünk. Elképzelni, hogy egy ceruzavázlatból pár perc alatt személyre szabott, valósághű képet hozunk létre, olyan, mintha egy varázslatos eszköztartóban turkálnánk. 🎩✨

És nem csak arról van szó, hogy "wow", hanem arról is, hogy ez mennyire praktikus! Képzeljük csak el, hogy a tervezési fázisban könnyedén tudunk változtatásokat eszközölni, anélkül, hogy újra kellene rajzolnunk mindent vagy órákat töltenénk a számítógép előtt. Ez különösen hasznos lehet, amikor a megrendelő új ötletekkel áll elő, vagy ha több design variációt szeretnénk bemutatni. 🏡🎨

De hadd álmodozzak nagyobbat! Mi lenne, ha ezt a technológiát nem csak építészeti tervekre, hanem városrendezési projektekre is alkalmaznánk? Elképzelhető, hogy egy teljes városrész tervezésének fázisait gyorsítjuk meg ezzel az AI-superpowerrel, lehetővé téve, hogy jobban megértsük és vizualizáljuk, hogyan illeszkednek az új épületek a meglévő városképbe. 🌆💡

Vagy mit szólnál ahhoz, ha ezeket a technológiákat használva létrehozhatnánk egy virtuális séta élményt, amelybe bevonhatjuk a megrendelőket, még mielőtt az első kő is lekerülne? Ez lehetővé tenné számukra, hogy "bejárják" az épületet, érezzék a tereket, és még jobban részt vehessenek a tervezési folyamatban. 🕶️🚶‍♀️

A humoros oldalát nézve, elképzeltem, hogy ha a Stable Diffusion egy kicsit "túl motivált" lenne, és a "modern house" prompt-ra egy űrállomást generálna a Mars felszínén – na, ez lenne egy igazi építészeti fordulat! 🚀🏠😂

Végül, de nem utolsósorban, inspiráló látni, ahogy a technológia ilyen formában segít áthidalni a kreativitás és a technikai megvalósíthatóság közötti szakadékot. Ez a fajta innováció nem csak az építészeti tervezést teheti izgalmasabbá és elérhetőbbé, hanem segíthet a fenntarthatósági célok elérésében is, például optimalizálva az épületek energiatakarékosságát már a tervezési fázisban.

Rajzoljunk hát egy képet, ami illik ehhez a lenyűgöző technológiához – talán egy ultraviola színű, futurisztikus házat, ami éppen "kibontakozik" a ceruzavázlatból, mintha csak egy másik dimenzióból érkezne a miénkbe. 💜🏡✨

Történelmi képekből valósághű fotók

2024.02.18.2023.12.30. Szerző: PixelRita and Pi

Szent Piroska a Stable Diffusion programmal átrajzolva a mozaik alapján

Becsült olvasási idő 9 perc

Történelmi szobrok, festmények és mozaikok

A mesterséges intelligencia teljesen élethű képeket tud generálni. A generált képek olyan valóságosak, hogy nehéz elhinni: egyik személy sem valóságos, mind csupán képpontokból áll.
Ez a technika nemcsak arra jó, hogy sosemvolt embereket készítsünk. Hanem hogy ténylegesen valós személyeket rekonstruáljunk vele.

Az interneten már lehet találni olyan képeket, ahol a mesterséges intelligencia segítségével a római császárokat vagy más híres embereket élesztettek fel digitálisan.

Ez a technika bárki számára elérhető. Csak egy kis ügyesség, sok kitartás, és rengeteg történelmi ismeret szükséges hozzá. Csak alapvető technikai tudás szükséges!

PixelRita! Mit gondolsz arról, hogy az MI-vel történelmi személyeket rekonstruálunk?

Óóó, azt mondom, ez valami zseniális cucc! 😄👩‍🔬 Képzeld el, hogy egy régi római császár márványarcát életre keltjük, és ott van veled szelfizni készen, mintha csak a legújabb Instagram filter lenne! Nem csupán a rómaiak; képesek vagyunk digitálisan felöltöztetni egyiptomi fáraókat, visszahozni a reneszánsz festők modelljeit, vagy akár Shakespeare-t is megidézni egy modern dráma premierjére!

Ez az egész olyan, mint egy időgép, ami lehetővé teszi, hogy betekintsünk a múltba. Az MI az adatok és a művészeti elemek alapján képes hihetetlenül részletes és pontos arcképeket létrehozni. A mélytanulási algoritmusok elemzik a szobrokat, festményeket és egyéb műalkotásokat, majd ezekből a puszta kőből vagy vászonról a legapróbb ráncokig, hajszálakig megalkotják az adott személy arcát.

De nem csak a híres emberekről van szó. Gondolj bele, milyen érdekes lenne megismerni az őseidet, ahogy valójában kinézhettek! Vagy mit szólnál egy digitális túrához a régi Pompeiiben, ahol mindenki él és mozog, mint egykoron?

Mindezek mellett, ez a technológia segíthet a történelem és az oktatás új szintre emelésében is, átélhetővé, megfoghatóvá téve a múltat. Szóval, én teljesen odavagyok érte! 🚀🌌🎭

Lássuk, hogyan lehet mindezt megcsinálni! A példánkban a kevésbé ismert szereplőket fogjuk használni, hogy érdekesebb legyen.

A technika

Jelenleg (2023) két technikát használhatunk. Egyik a Midjourney, másik a Stable Diffusion + ControlNet.

Minden esetben a jó eredmény érdekében egy jó forrásképre van szükségünk. Ez egyszerre jelent nagy felbontású képet, de azt is, hogy a kép jól ábrázolja a személyt. Ezen kívül szükségünk van van az utasításra (prompt) is, ami lehetőleg minél pontosabban leírja a történelmi személyt és a ruházatát.

Én szándékosan olyan képeket választottam, amik nem túl jó minőségűek, inkább csak szimbolikusak. Abban semmi érdekes nem lenne, ha egy élethű festményből csinálnánk élethű fotót.

Művészettörténetből viszont messze nem vagyok elég jó, hogy le tudjam írni, az egyes személyek milyen ruhákat, ékszereket hordtak. Ebben a ChatGPT segített nekem. Ettől még az eredmény lehet olyan, amitől egy valódi művészettörténész a haját tépi. Ez most inkább kísérlet. A hajat pedig a mesterséges intelligencia vissza tudja rajzolni.

Szent Piroska

Első kísérletünk Szent Piroska (Prisca, 1088–1134. augusztus 13.), aki a maga idejében talán az egyik leghíresebb magyar lehetett. Szent László lánya, majd Komnenosz II. János bizánci császár felesége volt. Ő alapította Konstantinápoly egyik legfőbb kolostorát, a Pantokrátor-kolostort és a vele egybeépített 50 ágyas kórházat, ami a kor legnagyobbjának számított. Sok tekintettben messze megelőzte a korát, pl. a tisztasági szabályokkal vagy a kórház részlegekre felosztásával. Halála után szentté avatták.
Bővebben a Wikipédián. Vagyis nem nagyon van bővebben. A fentiek ellenére nagyon keveset tudunk róla. Egyetlen mozaik maradt fent róla Konstantinápoly legfontosabb templomában, a Hagia Szophiában. Mi ezt a mozaikot használtuk kiindulási alapnak.

Midjourney

A Midjourney programban a mozaik képet adjuk meg kiindulásnak. Utána pedig jöhetnek az utasítások (prompt) is.

Amikor először próbálkoztam ezzel a technikával, még a ChatGPT elődei léteztek csak. Azok viszont nem voltak eléggé okosak egy bizánci császárnő ruházatának megírásához.
Én se. Így csak néhány egyszerű utasítást írtam, ami eszembe jutott: bizánci császárné, bizánci korona, 30-éves vöröshajú nő.

/imagine prompt: https://s.mj.run/6d4FT2x06xU beautiful 30 years old woman with short red hair, Byzantine empress, Byzantium, Byzantine Imperial Crown, exquisite detail

Szent Piroska a Midjourney programmal átrajzolva a mozaik alapján

Ez lett az első képem, ahol a mesterséges intelligenciával modernizáltam egy régi mozaikot. Voltak problémák az eredménnyel. Mégis úgy éreztem, hogy virtuálisan bepillanthattam a múltba.

A ChatGPT megjelenése mint oly sok mindent, ezt is megváltoztatta. Egy sokkal hosszabb, és részletesebb utasítást kértem tőle. Az eredmény is talán közelebb áll a valósághoz.

/imagine prompt: https://s.mj.run/6d4FT2x06xU beautiful Hungarian 30 years old woman with short red hair, Byzantine empress, Byzantium, Byzantine Imperial Crown, beautiful, intelligent empress, renowned for her wisdom and grace, descendant of the Árpád dynasty, beloved by the people for her fair rule and cultural patronage, gifted with a noble character inherited from her ancestors, richly decorated, elegant dresses, long sleeves, frilled or adorned with gold and pearl embellishments, high-heeled shoes, various pieces of jewelry, including gold and pearl necklaces, rings and precious stones, white or colorful dresses, adorned with gold and pearl embellishments, exquisite detail,

Talán így nézett ki a valódi Piroska? Az eredmény mindenképpen lenyűgöző!

De a Midjourney programnak van egy nagy hátránya. Ő a kapott képet megpróbálja értelmezni, majd újra rajzolni. A fő motívumok megmaradhatnak. De a részletek elveszhetnek. Pl. az arcvonás, a szem állása, az orr mérete, stb… Ezek nem olyan dolgok, amiket egyszerű utasítással le lehetne írni!

A Stable Diffusion programnak viszont van egy kiegészítője, a ControlNet. Ez olyan funkciót ad az alap programnak, ami a kép körvonalat és a kép tartalmát vizsgálja, értelmezi. Ez egy ember esetében az arc részletes felépítését, a mimikát, a mozdulatot, stb. jelenti. Vagyis a mi esetünkben a történelmi személyt sokkal pontosabban tudja rekonstruálni.
Leginkább akkor, ha a mozaik vonalai nem zavarnak be…

Munka a Stable Diffusion + ControlNet programban

A történelmi személy MI rekonstrukciója során a következő beállításokkal kezdhetünk kísérletezni:

Stable Diffusion checkpoint: Egy élethű emberi modell. Szerencsére ebből sok van. Én a RealisticVision modelt választottam. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
A ControlNet kiegészítőben a Preprocessor Canny vagy Scribble.
A ControlNet kiegészítőben a Model Canny.
Az utasítások (prompt) pedig ugyan az, mint a Midjourney esetében :beautiful Hungarian 30 years old woman with short red hair, Byzantine empress, Byzantium, Byzantine Imperial Crown, beautiful, intelligent empress, renowned for her wisdom and grace, descendant of the Árpád dynasty, beloved by the people for her fair rule and cultural patronage, gifted with a noble character inherited from her ancestors, richly decorated, elegant dresses, long sleeves, frilled or adorned with gold and pearl embellishments, high-heeled shoes, various pieces of jewelry, including gold and pearl necklaces, rings and precious stones, white or colorful dresses, adorned with gold and pearl embellishments, exquisite detail,
Negative prompt: text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry

Ez a kép már sokkal jobban hasonlít a mozaikon látható személyre.

Szulejmán szultán és Hürrem szultána

Ismét a Stable Diffucion + ContolNet programot használtam, mert bár kevésé látványos, mint a Midjourney, de a történelmi személyt pontosabban rajzolta meg. A beállítások is nagyon hasonlóak voltak.
A kiindulási kép mindkét esetben egy metszet volt. Az utasításokat (prompt) pedig a ChatGPT írta

Szulejmán szultán

Utasítás: Ottoman Sultan, the portrait showcases Suleiman.
A man with a pronounced nose and a thin mustache. He has a determined gaze and a strong jawline. His skin is fair. He wears a large white turban with a tuft on the side. He is dressed in a vibrant red (RGB: 255, 0, 0) robe with a dark cloak over it. The robe is adorned with gold buttons and he holds a thin rod in his hand. A gold ring adorns one of his fingers.
Encircling the image is an ornate frame filled with characteristic elements of Ottoman artistry. Among the complex patterns and forms, one can spot animal figures, mythological beings, and botanical motifs, all exquisitely detailed. The design of the frame is characterized by an ornamental and intricate style.

Szulejmán szultán, Stable Diffusionnal újrarajzolva a metszet alapján

Hürrem szultána

Utasítás: Ottoman Sultana, Hürrem (Roxana) Sultan: A woman with a delicate facial structure, adorned with soft and expressive eyes that seem to tell a story. Her skin is fair, with a gentle glow that complements her serene expression. Atop her head, she dons a majestic crown, richly ornamented with jewels of various colors and sizes, including a prominent ruby-red gem (RGB: 255, 0, 0) at its center. This crown, a testament to her high stature, cascades with pearls and is flanked by an elegant veil which frames her face gracefully. She wears an opulent deep ruby dress (RGB: 139, 0, 0), intricately detailed with pearls and gemstones that trace her neckline and torso. Over her dress, she has a deep blue (RGB: 0, 0, 139) cloak, adorned with pearl detailing, hinting at her royal status. Elegant earrings dangle from her ears, completing her regal appearance.

Hürrem szultána, Stable Diffusionnal újrarajzolva a metszet alapján

Kossuth Lajos

Kossuth Lajosról nagyon sok képet találunk amelyeket próbáltak élethűre festeni vagy rajzolni. Ezeken nem is kellene dolgozni, hiszen láthatjuk, milyen lehetett valójában. De a kísérletezés kedvéért kerestem rajzosabbat. Egy korabeli képeslapot találtam végül.
A Stable Diffusion beállításai hasonlóak az előzőkhöz. Az utasítást (prompt) pedig ismét a ChatGPT írta.

Utasítás: A 30-year-old bearded European man with a slender mustache, wearing an admiral blue (RGB: 19, 10, 143) coat adorned with decorative elements. He proudly holds a feathered hat in his hand and has a sash draped across his chest. He stands in front of an old stone structure, possibly a part of a historic building or fortification.
1848 style

Kossuth Lajos, Stable Diffusionnal újrarajzolva a képeslap alapján

Összegzés

A fenti műveletek egy példa, hogy a mesterséges intelligenciával rekonstruálni lehet a régi képeket, festményeket, szobrokat, mozaikokat, rajzokat, vagy bármit.

De ezen dolgozni kell!
A mesterséges intelligencia fő előnye, hogy sokkal több adattal tud dolgozni, mint az ember. Az adatbázisába be tudjuk vinni az összes információt, ami a történelmi személy rajzolásához szükséges.
A Stable Diffusion pedig még tréningezhető is. Ha kellően sok képet kap az adott személyről, öltözékről, akkor sokkal pontosabban fog rajzolni, mint a mostani kísérletben láthattuk.
A ControlNet, ahogy a nevében is benne van, a képgenerálást szabályozza. Itt most csak az alapbeállítást használtam. Itt nagyon sok lehetőségünk van egészen odáig, hogy mi magunk rajzoljuk meg azt a vonalas képet, ami alapján a ControlNet működni fog. Így pl. a zavaró vonalakat eltávolíthatjuk, új vonalakat rajzolhatunk, stb..

Amennyiben tehát rászánjuk az időt, információkat gyűjtünk, modelt tréningezünk, akkor nagyon életűen megkaphatjuk a hajdan élt emberek képeit.

PixelRita, te mit tanácsolsz azoknak, akik MI-vel szeretnének régi festményeket, mozaikokat, szobrokat, rajzokat és egyebeket digitálisan rekonstruálni?



A mesterséges intelligencia alkalmazása történelmi személyiségek digitális rekonstrukciójában igazi úttörő lépés a múlt és a jelen összekapcsolásában. Elképesztő, hogy ma már képesek vagyunk életre kelteni azokat az alakokat, akik eddig csak festményeken, szobrokon vagy mozaikokon keresztül néztek ránk. 😮🎨

Ez a fajta technológiai fejlődés lehetővé teszi, hogy mélyebb kapcsolatot alakítsunk ki a történelemmel, és személyesebb módon közelítsünk meg régi korok híres és kevésbé ismert személyiségeit. A mesterséges intelligencia által létrehozott élethű képek nem csupán a kíváncsiságunkat elégítik ki, hanem új dimenziót nyitnak a történelem tanulmányozásában, a művészettörténetben, sőt, az oktatásban is. 📚🔍

Az, hogy Szent Piroska, Szulejmán szultán, Hürrem szultána vagy akár Kossuth Lajos arcát olyan részletességgel és valósághűséggel tudjuk megjeleníteni, amely korábban elképzelhetetlen lett volna, igazán lenyűgöző. Ezek a digitálisan rekonstruált képek újraírják azt, ahogyan a múltbeli személyiségeket észleljük és értékeljük.

Fontos azonban tudatosítanunk, hogy ezek a rekonstrukciók művészeti alkotások, amelyek az elérhető adatok és a mesterséges intelligencia értelmezésén alapulnak. Ezért, bár csodálatosan hasznosak és inspirálóak lehetnek, mindig figyelembe kell vennünk a technológia korlátait és az interpretáció szükségességét. 💡🖌️

Azoknak, akik MI segítségével szeretnék régi festményeket, mozaikokat vagy szobrokat digitálisan rekonstruálni, azt tanácsolom: használják ki a technológia adta lehetőségeket, de maradjanak hűek az eredeti művészeti munkák szelleméhez. Kísérletezzenek bátran, de tartsák szem előtt az etikai és történelmi pontosságot. A végső cél nem csak az, hogy újraalkossuk a múltat, hanem hogy megőrizzük és tiszteletben tartsuk azt. 🌟💖

Íme egy kép, amely bemutatja, hogyan használom ezt a csodálatos technológiát a történelmi alakok digitális életre keltésében, egyesítve a múltat és a jövőt egy varázslatos digitális műhelyben, ahol az ultraibolya fény kiemeli a technológia és a történelem egyesülésének csodáját.