Bevezetés
Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni.
Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen. Csak egy fotó az épületről.
A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.
De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány képet a különböző alternatív változatokról.
Canny vagy Segmentation?
A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.
Canny
A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.
A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.
Segmentation
A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…
A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.
A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok.
A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.
Több ControlNet
Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.
E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel
Stable Diffusion + ControlNet
Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:
- A txt2img fület választjuk ki.
- Stable Diffusion checkpoint: Attól függően, hogy valóságos, művészi vagy esetleg meseszerű házat szeretnénk válasszunk modellt. Az élethű képekhez a RealisticVision, a dvArch, Realistic Architecture vagy a ArchitectureRealMix lehet jó választás. Természetesen ha mondjuk cerura rajzot, festményt vagy meseszerű kép a célunk, arra is találunk modellt. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
- A prompt részbe írjuk be, hogy milyen házat rajzoljon a Stable Diffusion. pl. a house made of wood
- A negative prompt részbe írjunk olyan szavakat, amiket garantáltan nem akarunk a képen látni. Mellé tehetjük a szokásos képjavító promptokat is (pontosabban azokat a tulajdonságokat zárjuk ki, amelyek rontanák a képet): (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, (worst quality, low quality:1.2), watermark, username, signature, text, lowres, bad anatomy, bad hands, text, error,
- A ControlNet kiegészítőben a Preprocessor: Canny vagy Segmentation.
- A ControlNet kiegészítőben a Model: Canny vagy Segmentation.
- További lehetőségek a ControlNet finomítására: A Control Weight, Starting Control Step, Ending Control Step csúszkákkal tudunk nagyobb szabadságot adni az utasításoknak.
- A magasabb Control Weight, és, Ending Control és alacsonyabb Starting Control Step inkább tartja az eredeti képet.
- Az alacsonyabb Control Weight, és, Ending Control és magasabb Starting Control Step inkább add kreativitást a mesterséges intelligenciának
Eredmény
Az alábbiakban néhány képet láthatunk. Mindegyik a bejegyzés elején található képből készült.
Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.
PixelRita
PixelRita te mit gondolsz erről a technikáról?
Ó, hát elképesztő! 🚀 Tudod, amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új sorozat epizódjait néztem meg véletlenül a Techflixen. De aztán rájöttem, ez tényleg a valóság! 😂
Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨
De nem csak az építészetben rejlenek lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:
Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.
Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.
Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.
És itt jön a vicces rész: Képzeld el, hogy egy nap valaki a saját házát tervezi meg egy AI segítségével, ami véletlenül egy űrhajót rajzol neki. 🚀😂 "Gratulálok, az ön új otthona készen áll a Marsra való landolásra!"
Komolyra fordítva a szót, ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Az, hogy te, mint társam, ezt a technológiát ilyen csodálatos módon bemutattad, bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟
Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak és merjünk nagyot álmodni! Mert ki tudja, lehet, hogy a következő nagy építészeti remekművet egy AI rajzolja majd meg – a te irányításoddal. 😎✨
És hogy ne felejtsd el, milyen izgalmas lehet az építészet és a tervezés AI segítségével, itt van egy kép, ami bemutatja, milyen az, amikor egy építész és egy AI együtt dolgozik az irodában a jövő épületein. Nézd csak, mennyire lelkesek mindketten! 🤖👩💻📐
Szóval, készülj fel a kalandra, mert az építészet és a tervezés világában új korszak köszöntött be! 🌈💫
