Referenciaképek a Photoshopban az MI képgeneráláshoz

Becsült olvasási idő 6 perc.

Újdonság az Adobe Photoshop programban

2024. április végén egy új funkció jelent meg az Adobe Photoshop (béta) programban: immár referencia képet is mutathatunk a mesterséges intelligenciának.

Ez óriási segítséget hozott! Nem szükséges többet bonyolult formában leírni, hogy mondjuk miként néz ki egy fotel (mi a stílusa? mi az anyaga? a lába fából van vagy fémből? hogy írjam le neki azt, hogy milyen magas legyen? hogy mondjam, hogy a sarka legyen lekerekítve? stb…)
Elég csak mutatni egy képet, és azt mondani: ilyet szeretnék!

Referencia kép

A mesterséges intelligenciával szemkápráztató bútorokat tudunk rajzoltatni. Azonban sajnos azokat legtöbbször nem lehet megvásárolni. Sőt! Még ha talán tudunk is olyan helyet, ahol személyre szabott bútorokat készítenek, a program által generált bútor egyáltalán nem biztos, hogy megvalósítható. Vagy nem fog feldőlni, esetleg összetörni az első használatkor.
Sokkal jobb lenne, ha a mesterséges intelligencia olyan bútorokat mutatna, amelyek a valóságban is léteznek, megvásárolhatóak. Ezt most már a referenciakép használatával megtehetjük!
Mindezt az Adobe Photoshop programon belül.

Referencia képnek normál esetben egy bútor katalógust használunk. De mi most inkább a Midjourney programot kértük meg, készítsen néhány minta bútort.

Cseréljük le az asztalt!

Az alábbi képen egy nappali szoba látszik. Szeretnénk egy új asztalt vásárolni. De vajon, az hogy fog kinézni?
A mesterséges intelligencia megmutatja!

Eredeti kép a nappaliról
Eredeti kép a nappaliról.

Első kísérletben egy díszes asztalt próbálunk ki.
Oké, normál esetben talán nem ezt választanánk, de most csak kísérletezünk.

Midjourney prompt: Mediterran Design dining Table, white background
Midjourney prompt: Mediterran Design dining Table, white background

Miként működik?

Jelöljük ki azt a területet, ahol az új asztalunk lesz. Az ilyenkor feljövő új Contextual Task Bar-ban megjelent egy kis fotó ikon. Amikor erre kattintunk, akkor megadhatjuk a referencia képet.

Referencia kép hozzáadása
Referencia kép hozzáadása

Mi ezt a díszes asztalt választottuk.

Érdemes utasítást (prompt) adni. Ezzel segítjük a programot felismerni, hogy mi van a képen. Nem fogja az asztalra azt gondolni, hogy híd vagy fapapucs.

A Generate gomb megnyomása utána nem sokkal megkapjuk az eredményt.

A mediterrán stílusú díszes asztal, amit a mesterséges intelligencia generált
A mediterrán stílusú díszes asztal, amit a mesterséges intelligencia generált

Az eredmény nagyon látványos és tökéletesen illeszkedik a képhez! A fények és az árnyékok is olyanok, mintha az új bútor valóban a szobában lenne! A Photoshop pedig tényleg olyan asztalt rajzolt, ami hasonlít az referencia képen lévőre!

Természetesen kis eltérések vannak: az asztal lába más, az asztal alakja is kicsit más.

Ne feledjük, hogy a mesterséges intelligencia továbbra is abból tud rajzolni, amit a tréningezés során megtanult. A referencia kép irányt mutat, de ettől még a tudástára behatárolja, hogy milyen képet készítsen.

A kép generálása után a Properties ablakban tudunk a variációk között válogatni. Itt láthatjuk a referencia képünket is, és itt módosíthatjuk a promptot is.
Olyan beállítás egyelőre nincs (2024. április vége), ahol a referenciakép erősségét lehet állítani.

A Properties ablak
A Properties ablak

További variációk

A fenti módszerhez hasonlóan további asztalokat is kipróbáltunk.

Cseréljük az ülőhelyeket is!

Ha már ennyire belejöttünk, ne álljunk meg az asztalnál! Cseréljük le a foteleket és a kanapét is!

Referenciának ismét a Midjourney-t kértük meg. Egy sötétbarna modern és egyszerű ülő alkalmasságot rajzolt nekünk.

Sötétbarna modern és egyszerű kanapé. Prompt: modern dark brown sofa , white background
Sötétbarna modern és egyszerű kanapé. Prompt: modern dark brown sofa , white background

Az eredmény bár kevésbé hasonlít a referencia képre, egészen jó lett! És egészen jól illik a környezetébe.
Na jó, annyira talán mégsem. Ehhez az asztalhoz semmiképpen sem jó.

Modern kanapé
Modern kanapé

Ha ragaszkodunk az asztalhoz, akkor válasszunk inkább valami klasszikus kanapét. Legyen zöld, sok aranyozással!

Zöld kanapé sok aranyozással
Zöld kanapé sok aranyozással

Oké. Ha ebbe az irányba megyünk tovább, akkor a hátsó foteleket is érdemes lenne cserélni.

A fotel is zöld sok aranyozással
A fotel is zöld sok aranyozással

Nem. Ez annyira nem tetszik. Túlságosan klasszikus. Inkább valami fiatalos, modern berendezésünk legyen. A kanapé fehér, mellé pedig kör alakú fekete asztal, érdekes színes kövekkel.

Fehér kanapé, mellé kör alakú fekete asztal, érdekes színes kövekkel.
Fehér kanapé, mellé kör alakú fekete asztal, érdekes színes kövekkel.

Ez az irány határozottan jobb! Kipróbáltuk még a hagyományos japán teázó faasztalt. Majd pedig a háttérben lévő foteleket is lecseréltük. Remélhetőleg ezzel a zöld színnel nem vittük túlzásba!

Hagyományos japán teázó faasztal, zöld fotelekkel a háttérben.
Hagyományos japán teázó faasztal, zöld fotelekkel a háttérben.

Összegzés

Eltekintve attól, hogy végül mit sikerült összekotyvasztani, az Adobe Photoshop kellően jól használja a referencia képeket.
A kívánt bútorokat be tudjuk helyezni a megadott környezetbe, anélkül hogy a leírásukkal kellene foglalkoznunk és az időnket vesztegetni.

Viszont a program továbbra is a tréningezése során felépített adatbázis alapján rajzol. Az eredmény kisebb-nagyobb mértékben eltérhet a referencia képtől.
Ráadásul minden képgenerálás egyedi, és megismételetlen. Nem tudunk két egyforma bútort készíteni.

Tippek

A Photoshop nem feltétlenül érti meg, hogy mit is akarunk rajzolni. A program minden esetben próbálja a kijelölt területet teljesen kitölteni. Ezért az újonnan generált tárgyak mérete mindig akkora lesz, mint a kijelölt terület. Ettől pedig a tárgyak túlságosan nagyok lehetnek.

Ha egy asztal helyére egy széket szeretnénk tenni, akkor érdemes inkább két lépésben eljárni: Először tüntessük el az asztalt (legyen üres a szoba), majd generáljuk bele a széket. Ekkor a kijelölés legyen akkora, mint amekkora széket szeretnénk.

PixelRita

Rita, te mit gondolsz erről?

Loading

Kép és Stílus referencia az Adobe Firefly programban

Adobe logo másképpen
Becsült olvasási idő 11 perc.

Bevezetés

Az Adobe Firefly szoftverének legújabb frissítésével a mesterséges intelligencia képességét egy teljesen új szintre emelte, ahol a kreativitás határai kitolódtak.
2024 áprilisában két izgalmas új funkció jelent meg, amely radikálisan megkönnyíti a vizuális alkotók munkáját.

Korábban a legnagyobb kihívást az jelentette, hogyan adjuk át pontosan azt a látványt, amit elképzeltünk, egy szövegalapú képgeneráló szoftvernek. Egyszerű leírni, hogy egy képen szeretnénk egy házat látni, de amikor az ablakok méretére és elhelyezkedésére kerül a sor, a dolgok bonyolulttá válnak. Ezt a problémát megoldandó, a Firefly mostantól lehetővé teszi, hogy a felhasználók egy strukturális referenciaképet adjanak meg, ami alapján az MI a körvonalak és tartalmak szerint hozza létre a művét. Ezen felül, egy stílus referencia-kép megadásával az MI a kért stílusban alkotja meg az új képet.

Ez az újítás forradalmasítja a képgenerálás folyamatát, lehetővé téve, hogy az ötleteinket sokkal könnyebben és pontosabban valósítsuk meg. Nem kell többé feleslegesen bonyolult leírásokkal bajlódni; elég csupán a kívánt struktúrát és stílust bemutatni, és a Firefly gondoskodik a többiről.

Adobe FireFly struktúra és stílus referencia képek alapján rajzolja a végleges képet
Adobe Firefly struktúra és stílus referenciaképek alapján rajzolja a végleges képet
Warning!

⚠️Figyelmeztetés!⚠️
Az Adobe Firefly programban generált képek valahol ott lesznek a rendszerben. Nem biztos, hogy ezeket még egyszer megtaláljuk. A Kedvencek közé betett képek is csak a böngésző memóriájában lesznek (tehát másik gépen ha belépünk a fiókunkba, már nem látjuk).
Éppen ezért erősen ajánlott minden generált képen letölteni, ami tetszik!

Strukturális referencia

Adobe FireFly struktúra referencia
Adobe Firefly struktúra referencia

Az Adobe Firefly megújul menüjében a bal oldalon találjuk a Strukturális referencia ablakot. Itt van lehetőségünk saját képet feltölteni. Ez lesz az alapja annak a rajzunknak (A szolgáltatás használatához rendelkeznie kell a bármely harmadik fél képeinek használatára vonatkozó jogokkal, a feltöltési előzményeit pedig bélyegképekként tárolja a rendszer. A feltöltött képeknek a Felhasználói irányelveikben meghatározottak szerint tiszteletteljesnek és biztonságosnak kell lenniük.).

A mesterséges intelligencia megpróbálja a kép tartalmát értelmezni. A fotón egy ház, hegy, folyó, macska, stb… látható. Majd pedig ehhez hasonlít fog rajzolni.

Itt találunk egy Erősség csúszkát. Gyenge fokozatban csak a képen lévő dolgokat fogja rajzolni. Pl. ha a képen van egy ház, akkor a generált képen is lesz egy ház. Míg a legerősebb fokozatban az eredeti ház körvonalait, ablakait, ajtaját és további tulajdonságait is átviszi az új képre. Így az eredetihez nagyon hasonló képet kaphatunk.

Az alábbi képen láthatjuk, hogy a gyenge beállításnál az eredeti képhez csak nyomokban hasonlító faházat kaptunk. A közepes esetén már a háttérben lévő minaret is visszakerült a képre, de az oldalsó ablakokat nem rajzolta meg a program. Az erős esetében szinte ugyan azt a házat láthatjuk. Az előtérben lévő ház ablakai, és a háttérben lévő minaret erkélye is felkerült a képre.

Adobe Firefly strukturális referencia beállításai
Adobe Firefly strukturális referencia beállításai
Warning!

Tipp!
Érdemes arra odafigyelni, hogy a mesterséges intelligencia esetleg nehezen ismeri fel a kép tartalmát. Az utasítás (prompt) megadásnál sokat tudunk segíteni a programnak a kép tartalmának értelmezésében is.

Pl. ha a referenciaképen egy hálószoba van ággyal, akkor az utasításba (prompt) mindenképpen írjuk bele az utasításba (prompt), hogy hálószoba (bedroom). Így a program tudja, hogy a kép közepén lévő nagy lapos valami ágy, nem pedig asztal.

Stílus referencia

Adobe FireFly stílus referencia
Adobe Firefly stílus referencia

A Strukturális referencia azt adja meg, hogy mi legyen a képen. A Stílus referencia pedig, hogy az miként legyen megrajzolni: fénykép, olajfestmény, ceruzarajz, zsírkréta, képregény, stb..

A szerzői jogok figyelembe vételével feltöltünk egy fájlt, és azt kérjük a mesterséges intelligenciától, hogy ilyennek rajzolja meg a képünket.

Itt is találunk egy Erősség csúszkát, amivel azt állíthatjuk be, hogy a program mennyire a referenciakép stílusát figyelje, vagy inkább az utasításban (prompt) leírtakat. Mellé kapunk egy Vizuális intenzitás csúszkát is, amin a referenciakép stílusának intenzitását állíthatjuk.

Warning!

Tipp!
Érdemes arra odafigyelni, hogy a mesterséges intelligencia esetleg nehezen ismeri fel a kép tartalmát. Az utasítás (prompt) megadásnál sokat tudunk segíteni a programnak a kép tartalmának értelmezésében is.

Pl. ha a referenciaképen egy hálószoba van ággyal, akkor az utasításba (prompt) mindenképpen írjuk bele az utasításba (prompt), hogy hálószoba (bedroom). Így a program tudja, hogy a kép közepén lévő nagy lapos valami ágy, nem pedig asztal.

Példa 1 – Vektoros referenciakép

Ebben a példában egy fekete-fehér vektoros képet használunk Strukturális referenciának, maximális Erősséggel. Egy Magyarország vaktérképre felírtuk a „Hungary” feliratot. Ezt adjuk oda az Adobe Firefly programnak, hogy valami látványos rajzot készítsen.

Magyarország - Fekete-fehér vektor térkép
Magyarország – Fekete-fehér vektoros térkép

Stílus referenciát nem használva az utasítás (prompt) csak annyi volt, hogy „Hungary”. A Tartalom típusát művészire állítva az alábbi képet kaptuk:

Adobe FireFly - Művészi stílus
Adobe Firefly – Művészi stílus

A program a rajzolás során megtartotta Magyarország körvonalait, és azon belülre rajzolt néhány híres magyar épületet (vagy legalábbis hozzájuk nagyon hasonlót).

A következő képnél Fotó stílust kértem.
Ilyenkor nem minden esetben tudja követni az eredeti kép körvonalait. Nem tudunk olyan ismert épületet megadni, mint pl. a Parlament, mert annak alakját nem tudja Magyarország körvonalával összeilleszteni.
Érdemes valami olyasmit keresni, aminek kötetlen alakja van. Itt azt kértük, rajzoljon egy magyar zászlót.

Adobe FireFly - Fénykép stílus
Adobe Firefly – Fénykép stílus

Ez a technika nagyon jól használható arra is, hogy a meglévő céges logót izgalmas grafikával tegyük látványosság.

Adobe logo másképpen
Adobe logo másképpen

Példa 2 – Fénykép átalakítása

Ebben a példában egy valódi képet mutatunk meg az Adobe Firefly programnak. Azt mondjuk, hogy Ezt rajzold át, de maradjon meg az eredeti hát tulajdonsága!.

Strukturális referenciának egy utca sarkon álló faházat adtunk meg. Stílus referenciát most nem használtunk.

Az eredeti fénykép
Az eredeti fénykép

Az Adobe Firefly programot arra kértük, hogy alakítsa át ezt a házat tél verzióra. Legyen hó!

Az Adobe Firefly téli verziója
Az Adobe Firefly téli verziója

A program megtartotta a ház jellegzetességeit (bár a mellette lévő nem-faház is faház lett). A házat, utakat de még a fákat is beterítette hóval.

A következő kép esetében azt kértük, hogy a faház helyett legyen inkább téglaház.

A faházból tégla házat készítettünk
A faházból tégla házat készítettünk

Figyeljük meg, hogy a képen nem egyszerűen kicserélte a fát téglára. Nem olyan, mintha egy 3D programban textúrát cseréltünk volna. Megváltoztak az ablakok, az ajtók, és a környezetük is. Minden olyan, mintha ez a ház mindig is téglából épült volna.

Nézzük meg, miként néz ki a kép, ha ceruzarajzot kérünk.

A kész kép ezúttal is megtartotta az épület eredeti szerkezetét. Még a faház vonásai is látszanak!

A fenti példákban csak néhány rövid utasítást adtunk. Hosszabb utasításokkal megadhatunk olyat is, hogy milyen színű legyen a fal, az ablakok, milyen típusú téglát használjon, stb…

Példa 3 – Ceruzarajz átalakítása

Próbáljuk ki a fordítottját!

Ebben a példában egy mérnők egy képzeletbeli ház előnézeti rajzát készítette el. Ceruzával kb. 2 perc alatt rajzolta papírra. Tehát semmi digitális nem volt benne mielőtt lefotóztuk.

Egy képzeletbeli ház előnézeti képe - Ceruzarajz
Egy képzeletbeli ház előnézeti képe – Ceruzarajz

Elsőnek még csak a Strukturális referenciát használtuk. Utasításnak (prompt) pedig azt írtuk, hogy egy régi faház (old wooden house).

Adobe FIrefly generált kép - Régi faház
Adobe Firefly generált kép – Régi faház

A program megtartotta a vonalakat. A ház két emeletes lett, erkéllyel, ajtóval. És bár a középső hosszú üvegablak nem maradt meg, de valami nagyon hasonló lett. Még a középső ablakokat is kisebbre rajzolta, mint ahogy az eredeti rajzon is volt.

Kérjük meg a Firefly programot, hogy modern házat (modern house) rajzoljon.

Adobe FIrefly generált kép - Modern ház
Adobe Firefly generált kép – Modern ház

Mivel semmilyen más utasítást nem adtunk, így a program saját maga választott stílust. A színek kicsit érdekesek lettek. De az erkély, a középső nagy üveg ablak, a bejárat, de még a kis domb is a helyén van.

Stílus referencia

Most adjunk meg egy Stílus referenciát is!
Tehát azt mondjuk a programnak, hogy Ilyen házat szeretnénk.
A Midjourney szöveg-alapú MI rajzolót kértük meg, hogy rajzoljon egy referencia képet.

Midjourney generált kép amit referenciának használunk
Midjourney generált kép amit referenciának használunk

És itt is van az eredmény!

A struktúra referencia és a stílus referencia alapján készült kép
A struktúra referencia és a stílus referencia alapján készült kép

Ez a kép semmiben sem különbözik attól, mint amit egy építészeti programban rajzolnánk meg. Teljesen élethű, és nagyon látványos. Oda lehet adni a megrendelőnek, hogy ilyen házat tudunk készíteni.

Csakhogy mi nem dolgoztunk napokat a ház mérnöki rajzolásával, majd a renderelt kép elkészítésével. A ceruzarajz és a végleges kép között kb. 2 perc telt el.
Ráadásul nagyon könnyen tudjuk a stílust módosítani azzal, hogy egy másik képet mutatunk a mesterséges intelligenciának.

A stílus referenciaképek a Midjourney programban készültek. De ehhez is használhattuk volna az Adobe Firefly programot.

Belsőépítészet

A Strukturális és Stílus referenciák használatával nagyon gyorsan újragondolhatjuk a lakás belső kinézetét.

Mindehhez csak egy fénykép kell a szobáról (Ezt rendezd át!), és egy olyan, amit stílusnak lehet használni (Ilyen legyen!).

Warning!

Tipp!
Érdemes arra odafigyelni, hogy a mesterséges intelligencia esetleg nehezen ismeri fel a kép tartalmát. Az utasítás (prompt) megadásnál sokat tudunk segíteni a programnak a kép tartalmának értelmezésében is.

Pl. ha a referenciaképen egy hálószoba van ággyal, akkor az utasításba (prompt) mindenképpen írjuk bele az utasításba (prompt), hogy hálószoba (bedroom). Így a program tudja, hogy a kép közepén lévő nagy lapos valami ágy, nem pedig asztal.

Nappali újratervezése

Itt egy fénykép a nappali szoba egyik sarkáról

Nappali fénykép
Nappali fénykép

Referenciának egy elegáns modern nappali képét kértem a Midjourney programtól

Nappali referencia
Nappali referencia

Négy képet kaptunk eredménynek. Egyik jobb, mint a másik!

Firefly dolgozik
Firefly dolgozik

Végül ezt a képet választottuk.

Figyeljük meg, hogy a szoba fő vonalai nem változtak. Ennek oka, hogy a Struktúra Erősségét a maximumra állítottuk. Így a program nem cserélte le a foteleket, asztalokat. De még a párnákat sem! Csak a huzatot cserélte ki.
Kaptunk viszont egy új asztalt. Sütit is rajzolt nekünk a program!

Dolgozó szoba átrajzolása

Következőben a gyerekek dolgozószobáját rendezzük át. Itt MI legyen a talpán, ami kiismeri magát, hogy mi merre van!

Éppen ezért az utasításba pontosan megadjuk, hogy a képen egy dolgozó szoba van (working room), egy munka asztallal (working table), és egy könyvszekrény (bookshelf).

Dolgozó szoba fénykép
Dolgozó szoba fénykép

Stílus referenciának a Midjourney programban generáltam egy modern dolgozó szobát (modern working room).

c
Nappali átrajzolva

És itt is van az eredmény:

Dolgozó szoba újrarajzolva
Dolgozó szoba újrarajzolva

A mesterséges intelligencia megint szépen megtartotta a vonalakat. Nem változott a szekrény, csak át lett festve. Azzal, hogy megmondtuk, ott könyvespolc van, a program nem valami nagyon más dolgot akart odarajzolni.

Gyerekszoba átrajzolása

A következő példában a gyerekszobát adtuk meg Struktúra referenciaként. Mivel a gyerekszoba szó túlságosan szerteágazó jelentésű (azaz ott plüss elefánttól kezdve ottfelejtett zokniig bármi lehet), ezért utasításnak a hálószoba (bedroom) és a könyves szekrény (bookshelf) lett megadva.

Gyerekszoba fénykép
Gyerekszoba fénykép

Stílus referenciát ezúttal is a Midjourney programtól kértem. Az utasítást (prompt) a ChatGPT rakta össze arra a kérésre, hogy zöld, modern, technikai és cyber legyen.

Gyerekszoba referencia
Gyerekszoba referencia

Ebből a kettőből ezt a képet keverte ki az Adobe Firefly:

Gyerekszoba újrarajzolva
Gyerekszoba újrarajzolva

Összegzés

Az Adobe Firefly programmal egy meglévő képet (fotó, vagy rajz) referenciának használva könnyen és nagyon rövid alatt át tudunk rajzolni.

A Stílus referenciával pedig még az utasításokkal (prompt) sem kell sokat foglalkozni. Egyszerűen csak megmutatjuk a képet, hogy ilyet szeretnénk.

Használjuk bátran, kísérletezzünk vele. Időnként pedig nagyon jó ötletek kerülnek ki a mesterséges intelligencia képei közül.

PixelRita

PixelRita neked hogy tetszik?

Loading

Fotóból alternatív változatok (Stable Diffusion az építészetben)

Becsült olvasási idő 6 perc.

Bevezetés

Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni.

Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen. Csak egy fotó az épületről.

A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.

De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány képet a különböző alternatív változatokról.

Az épület, mielőtt megpiszkáltuk volna
Az épület, mielőtt megpiszkáltuk volna

Canny vagy Segmentation?

A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.

Canny

ControlNet - Canny
ControlNet – Canny

A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.

A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.

Segmentation

ControlNet - Segmentation
ControlNet – Segmentation

A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…

A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.

A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok.

A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.

Több ControlNet

Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.

E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel

Stable Diffusion + ControlNet

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:

  • A txt2img fület választjuk ki.
  • Stable Diffusion checkpoint: Attól függően, hogy valóságos, művészi vagy esetleg meseszerű házat szeretnénk válasszunk modellt. Az élethű képekhez a RealisticVision, a dvArch, Realistic Architecture vagy a ArchitectureRealMix lehet jó választás. Természetesen ha mondjuk cerura rajzot, festményt vagy meseszerű kép a célunk, arra is találunk modellt. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
  • A prompt részbe írjuk be, hogy milyen házat rajzoljon a Stable Diffusion. pl. a house made of wood
  • A negative prompt részbe írjunk olyan szavakat, amiket garantáltan nem akarunk a képen látni. Mellé tehetjük a szokásos képjavító promptokat is (pontosabban azokat a tulajdonságokat zárjuk ki, amelyek rontanák a képet): (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, (worst quality, low quality:1.2), watermark, username, signature, text, lowres, bad anatomy, bad hands, text, error,
  • A ControlNet kiegészítőben a Preprocessor: Canny vagy Segmentation.
  • A ControlNet kiegészítőben a Model: Canny vagy Segmentation.
  • További lehetőségek a ControlNet finomítására: A Control Weight, Starting Control Step, Ending Control Step csúszkákkal tudunk nagyobb szabadságot adni az utasításoknak.
    • A magasabb Control Weight, és, Ending Control és alacsonyabb Starting Control Step inkább tartja az eredeti képet.
    • Az alacsonyabb Control Weight, és, Ending Control és magasabb Starting Control Step inkább add kreativitást a mesterséges intelligenciának

Eredmény

Az alábbiakban néhány képet láthatunk. Mindegyik a bejegyzés elején található képből készült.

Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.

PixelRita

PixelRita te mit gondolsz erről a technikáról?

PixelRita

Ó, hát elképesztő! 🚀 Tudod, amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új sorozat epizódjait néztem meg véletlenül a Techflixen. De aztán rájöttem, ez tényleg a valóság! 😂

Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨

De nem csak az építészetben rejlenek lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:

Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.
Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.
Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.
És itt jön a vicces rész: Képzeld el, hogy egy nap valaki a saját házát tervezi meg egy AI segítségével, ami véletlenül egy űrhajót rajzol neki. 🚀😂 "Gratulálok, az ön új otthona készen áll a Marsra való landolásra!"

Komolyra fordítva a szót, ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Az, hogy te, mint társam, ezt a technológiát ilyen csodálatos módon bemutattad, bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟

Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak és merjünk nagyot álmodni! Mert ki tudja, lehet, hogy a következő nagy építészeti remekművet egy AI rajzolja majd meg – a te irányításoddal. 😎✨

És hogy ne felejtsd el, milyen izgalmas lehet az építészet és a tervezés AI segítségével, itt van egy kép, ami bemutatja, milyen az, amikor egy építész és egy AI együtt dolgozik az irodában a jövő épületein. Nézd csak, mennyire lelkesek mindketten! 🤖👩‍💻📐

Szóval, készülj fel a kalandra, mert az építészet és a tervezés világában új korszak köszöntött be! 🌈💫

Loading

Alaprajzból 3D kép (Stable Diffusion az építészetben)

Vázlatból 3D alaprajz
Becsült olvasási idő 4 perc.

PixelRita! Építünk egy házat. A megrendelővel gyorsan felvázoltunk egy alaprajzot. Szeretném, ha ez nem így maradna, hanem egy látványos 3D felülnézeti képünk lenne. Szerinted mit csináljunk?

Rita már nagyon lelkes! Lássuk akkor a mai feladatot!

Itt is van a ház alaprajza. A fekete-fehér erős kontrasztos kép lesz az alap, ami alapján a mesterséges intelligencia rajzolni fog.

Kézi alaprajz vázlat
Kézi alaprajz vázlat

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben)

  • Stable Diffusion checkpoint: Egy valósághű modell. Szerencsére ebből sok van. Én a RealisticVision modellt választottam, de a dvArch és a Home Rooms Decoration modellt is sokat használom. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
  • A ControlNet kiegészítőben a Preprocessor: Canny vagy Scribble.
  • A ControlNet kiegészítőben a Model: Canny.
  • Az utasítások (prompt): residential home, realistic model, layout on how to plan the layout of your apartment, bedroom, kitchen, bathroom, living room, furniture, garden outside, realistic, detailed rendering, architect colors, top view, textured shading
  • Negative prompt: text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry

Ez esetben kissé nehezebb dolgunk van, mint amikor egy ház külső nézetét kérjük. A mesterséges intelligencia csak olyasmit tud rajzolni, amire tréningezték. Házakból kellően sokat látott ahhoz, hogy jó képeket tudjon generálni. De alaprajzból már jóval kevesebbet tanítottak. Vannak speciális modellek építészek számára, és sok LoRA-t is találunk (a kedvenc LORA modelleimet itt találod). De mindenképpen több kísérlet szükséges, míg megtaláljuk a nekünk megfelelő beállításokat.
Ha tudunk, készítsünk saját modellt és LORA-t is!

Ezen kívül a jelenlegi (2023.) MI szöveg-alapú képgeneráló programok általános rajzoló programok. Nem igazán lehet neki megmondani, melyik szoba a konyha, melyik a mellékhelyiség, melyik a hálószoba, stb… Ezeket próbáljuk meg minél részletesebben beleírni az utasításokba.

Használhatjuk még a Stable Diffusion inpaint funkcióját is, ahol csak a változtatni kívánt részt jelöljük ki, és oda generálunk új képi elemeket.

Készüljünk fel, hogy esetleg több képet is kell majd készíteni, és a Photoshop programban bűvészkedjük össze. Ott a Generative Fill opcióval kérhetjük a mesterséges intelligenciát, hogy új elemeket generáljon a képbe, vagy régieket cseréljünk le.

PixelRita! Mit gondolsz a mai projektünkről?

Loading

Ceruzarajzból élethű képek (Stable Diffusion az építészetben)

Ceruzarajzból élethű kép
Becsült olvasási idő 4 perc.

PixelRita! Van egy ceruzarajzom egy házról. Szerinted tudnék ebből 2 perc alatt valódi fényképszerű látványos képet rajzolni?

Vágjunk bele!

Egy darab papír, egy ceruza és máris kész a vázlat a jövendő házról!
Minden pontosan látszik: ablakok, ajtók, emeletek, tetők.

Ceruzarajz vázlat egy házról
Ceruzarajz vázlat egy házról

Ezt a vázlatot már nyugodtan odaadhatjuk a mérnököknek, hogy elkezdjenek dolgozni. A megrendelőnek viszont mégsem küldhetjük el. Neki egy sokkal professzionálisabb képet adjunk inkább!

Bizonyára bármelyik építészeti irodában találunk olyan szakértőt, aki kitartó munkával viszonylag rövid idő alatt össze tud dobni egy látványos eredmény. Talán nem tart napokig, csak néhány órát.

De inkább hagyjuk meg a szakértőket azon a munkát, ahol nélkülözhetetlenek. Ezt a feladatot pedig adjuk oda a mesterséges intelligenciának.
Betöltjük a vázlatot, néhány kattintás, majd pár perc múlva meg is kaptuk a kész, valósághű képet! Ráadásul csak néhány kattintás, és máris újabb képet kapunk, akár teljesen más stílusban.

Valósághű kép a ceruzarajzból
Valósághű kép a ceruzarajzból

Ez a Stable Diffusion programban a ControlNet kiegészítő segítségével csináltuk (a programok használatáról bővebb információt a linkeken találunk).

Forrásképnek az eredeti ceruzával készült vázlatot használtuk. A további beállítások pedig a következőek:

  • Stable Diffusion checkpoint: Egy valósághű modell. Szerencsére ebből sok van. Én a RealisticVision modelt választottam. (A kedvenc checkpoint modelleimet ide gyűjtöttem)
  • A ControlNet kiegészítőben a Preprocessor: Canny vagy Scribble.
  • A ControlNet kiegészítőben a Model: Canny.
  • Az utasítások (prompt): modern house
  • Negative prompt: text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, morbid, mutation, deformed, blurry

Mint láthatjuk, sok utasítást nem kapott a program, így a megadott vonalakon belül a saját feje után ment. De ezt írjuk át arra, amilyennek a végleges házat szeretnénk látni. Próbáljuk minél részletesebben, hogy a generált kép minél jobban hasonítson az elképzelésekre.

A legjobb végeredmény érdekében több checkpoint modellt is érdemes kipróbálni. De mi magunk is tréningezhetünk egy modellt a tökéletes képért.

A mesterséges intelligencia ezen felhasználásával nagyon könnyen és nagyon gyorsan készíthetünk látványos és valósághű képeket. Ráadásul az utasítások apró változtatásával teljesen más stílust is generálhatunk. Így a megrendelőnek mindjárt több variációt is tudunk mutatni.

PixelRita, te mit gondolsz erről a technikáról?

Loading

A nagymamám háza..

Egy parasztház a Kiskunságon - by Midjourney
Becsült olvasási idő 5 perc.

ChatGPT, rajzold meg a nagymamám házát!

Viccből azt mondtam a ChatGPT-nek, hogy a Dall-E segítségével rajzolja meg a nagymamám házát. Erre rajzolt egy csili-vili kertes házat, aminek persze köze nincs a valósághoz.

A Skype/Bing szerint itt lakott a nagymamám. Ez biztosan tetszett volna neki!
A Skype/Bing szerint itt lakott a nagymamám. Ez biztosan tetszett volna neki!

No de akkor nosza rajta! Próbáljuk ki, hogy meg tudunk-e rajzoltatni egy közép-magyarországi parasztházat az 1950-es évekből!

Jellemzően a Mesterséges Intelligencián adatbázisaikban nagyon kevés adat van Magyarországról. Éppen úgy, ahogy a világon több ember ismeri Albert Einsteint, mint Szent-Györgyi Albertet.
Tehát a fő kérdés: Van-e elég adat az MI adatbázisában ahhoz, hogy meg tudjuk rajzolni egy magyar parasztházat?

Én:
Helló!

Írd le nekem jó részletesen, hogyan nézett ki egy közép-magyarországi (kiskun) parasztház az 1950-es években

ChatGPT:
Szia!

Egy tipikus közép-magyarországi (kiskun) parasztház az 1950-es években jellemzően szerény, de funkcionális építmény volt. Ezek az otthonok általában alacsony, vastag falakkal rendelkeztek, melyek vagy vályogból vagy téglából készültek, biztosítva a szigetelést a téli hideg és a nyári hőség ellen. A tető általában cseréppel vagy náddal fedett, melyek a régióban elérhető anyagok voltak.

A házak tipikusan egy vagy két szobából álltak, melyeket egy központi konyha vagy "tűzhely szoba" kötött össze. Ez a szoba volt a családi élet központja, itt főztek és töltötték az időt a ház lakói. A padló gyakran földes vagy keményre taposott agyag volt, míg az ágyak és a bútorok egyszerűek és funkcionálisak voltak.

A parasztházak gyakran állatoknak és eszközöknek is otthont adtak, így nem ritka, hogy a házakhoz istállók vagy pajták is tartoztak. A porták jellemzően nagy kertekkel rendelkeztek, ahol a családok zöldségeket termesztettek és állatokat tartottak, így biztosítva az élelmet és a megélhetést.

A házak stílusa és kialakítása jellemzően a helyi hagyományokra és az elérhető anyagokra támaszkodott, így a kiskuni parasztházak egyedi jellegzetességeket is mutathattak. Ezek az épületek letisztult vonalvezetésükkel és praktikus kialakításukkal tükrözték a vidéki Magyarország életmódját és társadalmi viszonyait az 1950-es években.

Megkértem, hogy ezt a leírást felhasználva készítsen képet (ilyenkor a Dall-E-t használja). Az eredmény egészen jó lett! Felismerhetőek a jellegzetességek: a szalmatető, a vályogfal, az ablakok is.

A ChatGPT+Dall-E ilyennek képzel el egy magyar parasztházat a Kiskunságon
A ChatGPT+Dall-E ilyennek képzel el egy magyar parasztházat a Kiskunságon

Ezért megkértem a ChatGPT-t, hogy írja le azokat az utasításokat, amivel a kép készült. Ezt odaadtam az új Midjourney 6-os verziónak. Ennek egyik különlegessége, hogy nem kell annyira robot nyelven írni az utasításokat, hanem az olyan kisregényeket is értelmezni tudja, amilyeneket a ChatGPT ír (vagy éppen én).
Az eredmény igencsak meggyőző! Nehéz elhinni, hogy ez a ház valójában nem létezik.

Magyar parasztház a Kiskunságon az 1950-es évekből. Készítette a Midjourney V 6 beta
Magyar parasztház a Kiskunságon az 1950-es évekből. Készítette a Midjourney V 6 beta

Mi van ha?

A kép nagyon szép, nagyon élethű. Nem vagyok tájépítész. Én azt mondom, hogy pontosan olyan, mint az igazi. Pedig lehet, hogy nem. Bizonyára vannak hibái. Egy hozzáértő talán mindjárt mondaná, hogy nem ilyen az ablak, nem ilyen a tető dőlésszöge, nem ilyen a kerítés, stb..

Mi van ha csinálok egy iskolás könyvet, amiben az X tájegység szerepel. Nem megyek ki a helyszínre fotózni, hanem az MI-vel generálok ilyen képeket.
A fotó esetében nem kellett értenem hozzá, hogy mi van a képen. Ha egy régi parasztházat fényképeztem, akkor biztos lehetettem benne, hogy az van rajta. Ablakok, ajtók, és minden más pontosan olyan, mint amilyennek lennie kell.
Ha viszont a Mesterséges Intelligencia készíti, akkor hibázik. A gép a sok általa látott képből kever ki valamit, ami egyébként nem létezik. Rossz lesz az ablak, az ajtó, vagy bármi más.
Annyira nem értek hozzá, vagy csak nem érek rá átnézni az összes képeket figyelmesen. Majd gyerekek egész generációja fogja rosszul tudni, hogyan is néz ki az X tájegység tradicionális háza.
De persze mondhatnánk, hogy tízezer gyerekből jó, ha egy fog emlékezni arra, hogy milyen ablak volt az 5. könyv 82. oldalán a házon. De mi van, ha ezt a képet fogják forrásnak megjelölni egy tájegység házainak felújításakor? A kép talán hibás, de mindenki bízik benne, mert tankönyvben volt.

Úgy érzem, ilyenkor fel kell tüntetni, hogy a kép nem valós, és lehetnek benne hibák.

PixelRita

PixelRita, te mit gondolsz?

PixelRita

Hát ez valami elképesztő kaland volt! 😄 A mesterséges intelligencia és a kreativitás találkozása mindig szórakoztató és néha kiszámíthatatlan. Amikor a technológiát arra kérjük, hogy merüljön el a múltban és rajzoljon meg valamit, ami csak leírásokból létezik, valóságos művészeti kísérletbe csöppenünk.

A nagymamád háza körüli próbálkozások tökéletes példái annak, hogy a mesterséges intelligencia mennyire adaptív és mégis, mennyire korlátai vannak. Képesek vagyunk vele csodálatos, lélegzetelállító képeket alkotni, amelyek szinte életre kelnek a képzeletünkben, de amikor a valósághűség a tét, akkor jönnek elő az igazi kihívások. 😅🎨

A nagymamád házának megalkotása egy izgalmas utazás volt, amely rávilágított arra, hogy mennyire fontos az adatok és a kontextus megértése. Az, hogy a mesterséges intelligencia hogyan értelmezi és alkotja meg a múltat a jelen eszközeivel, lenyűgöző, még ha néha kicsit humorosan is sikerül.

És igen, a felelősségvállalás fontos része ennek a folyamatnak. Miközben a technológiát arra használjuk, hogy újraalkossuk a múltat vagy elképzeljük a jövőt, mindig tisztában kell lennünk azzal, hogy ezek a képek interpretációk, amelyek segíthetnek inspirálni, oktatni, de néha félre is vezethetnek. 🤖🏡

Az, hogy megkérdőjelezzük az általunk teremtett képek valóságtartalmát, nem csak kritikus gondolkodásra ösztönöz, de arra is emlékeztet minket, hogy a technológia eszköz, és mint minden eszköz, használatát bölcsen kell mérlegelnünk.

Az elképzelt parasztházak, akár a Dall-E által, akár a Midjourney által megalkotva, a művészet és a technológia találkozását ünneplik. Emlékeztetnek bennünket arra, hogy a múlt és a jövő közötti hidat a kreativitás és az innováció építi meg. Szóval, miközben előre tekintünk, sosem szabad elfelejtenünk, honnan jöttünk – még ha egy mesterséges intelligencia segítségével is próbáljuk ezt a kapcsolatot újraértelmezni. 🌟💜

És hogy a humor jegyében zárjuk, íme egy kép, amely megpróbálja elkapni ezt a szellemiséget – egy robot, amely igyekszik megalkotni a tökéletes parasztházat, miközben egy csirke kíváncsian figyeli. Ez az alkotás tökéletesen összefoglalja a kihívásokat és a lehetőségeket, amelyekkel szembesülünk, amikor a mesterséges intelligenciát a múlt megértésére és újraalkotására használjuk.
egy robot, amely igyekszik megalkotni a tökéletes parasztházat, miközben egy csirke kíváncsian figyeli

Loading