Pix2pix мэдрэлийн сүлжээ нь харандаагаар зурсан ноорог болон хар цагаан гэрэл зургийг бодитоор өнгөөр ​​будаж өгдөг. Тэдэнд ямар сонирхолтой мэдээлэл байна вэ?

Тоглоомыг бүрэн эхээр нь татаж авах

Windows PC-д зориулсан шууд холбоосоор үнэгүй тоглоорой. Энэ нь танд үүнийг шууд гэрэл зураг болгон хувиргах боломжийг олгодог сургалт юм

Төрөл(үүд): Симуляци

Тайлбар:-д байгаачлан, pix2pix-ийг ашиглахад маш хялбар байдаг - та үлдсэн талбарт хүнтэй төстэй царайг бүтээж, дараа нь "Процесс" дээр дарж бусад техникийн шидтэнгүүд болон тооцооллын гайхамшгийг ашиглан энэ нь юу бүтээж байгааг тодорхойлно. Та pix2pix Photo Generator ашиглан хөгжилтэй байхын тулд зураач байх албагүй, гэхдээ та өөрийн зурсан зургийг дүрслэх тусам жинхэнэ хувь хүнтэй төстэй зүйл болох магадлал өндөр байдаг. Жинхэнэ таашаал нь ямар аймшигт мангасуудыг бүтээхийг олж, янз бүрийн ноорог зурахаас үүдэлтэй.

Pix2pix бол түүнийг шууд зураг болгон хувиргах, саванд байгаа бүх зүйлийг татах, ид шидтэй болгох сургалт юм. Энэ нь одоогоор байгаа бөгөөд вэбсайтын төрөл нь өнөөдөр миний харсан хамгийн гайхалтай бөгөөд аймшигтай зүйл юм.

Google-ийн нээлттэй эхийн машин сурах даалгавар Tensorflow нь ямар нэг зүйл эсвэл хүн төрөлхтний шалтгааныг ахиулдаг хэрэгцээтэй зүйлсэд үргэлж ашиглагддаг. Гэсэн хэдий ч, миний мэдэж байгаагаар энэ нь энгийн зурааснаас машинд хийсэн аймшигтай дүрсийг бүтээхэд илүү тохиромжтой. Би ямар ч зураасыг муур болгон хувиргасан edges2cats-ийн тухай ярьж байна. Энэ бол бүхэл бүтэн зүйл байсан! Бусдыг инээлгэхийн тулд Facebook дээр үнэхээр галзуу муурны зургийг нийтэлнэ гэж бүгд найдаж байсан.

Өнөөдөр муур болоогүйг эс тооцвол ижил зүйл тохиолдсон. Google-ийн даалгавраас илүүтэйгээр түүний 1 зангууны олон тооны зургийг өгсөн хиймэл оюун ухааны программыг Нидерландын олон нийтийн нэвтрүүлэгч NPO үйлдвэрлэсэн. Энэхүү сүлжээний програм хангамжийг Pix2Pix гэж нэрлэдэг ааснийтлэг Tumblr протезийн мэдлэг.

Үр дүн нь гол төлөв амьтад, ялангуяа American Horror Story-ийн эхний улирлын гахайн нялх араатан шиг санагдаж байна. Бас эрхий хуруу. Google-ийн Deep, мөрөөдлийн үсчин гэж бодоорой.

Зөвхөн нэг хэсэг дээр Doodle зурж, шилжүүлэгчийг дарснаар та өөрийн зурж буй бэлэн зургуудаас гаргаж авсан холимог шиг өөр өөр, хамтдаа оёсон дизайны "зураг" авах болно. Ижил төстэй байдал ... муу биш.

Энэ блогийн бүрэн хувилбар. сайт дээр. алдаа, алдаагүй тоглоом. Бид энэ тоглоомыг компьютерт (Хувийн компьютер) үнэ төлбөргүй (100% үнэ төлбөргүй) татаж авахын тулд шууд татаж авах холбоосыг нийтэлсэн. Нийтлэгчдийн хамгийн сүүлийн үеийн, шинэчлэгдсэн тоглоомыг энд оруулав. вирусгүй өндөр шахагдсан хэлбэрээр. эндээс тоглоом.. Санал болгож буй тохиргоог ашиглан суулгана уу. Энэхүү гайхалтай тоглоомыг компьютер дээрээ үнэгүй тоглож үзээрэй. Найзуудтайгаа хуваалцах. Тоглоомын зарим функцууд болон дэлгэцийн агшинг доор өгөв.

Pix2pix тоглоом

Pix2pix системийн шаардлага

Энэхүү тоглоомын системийн шаардлагуудыг доорх агуулгад тайлбарласан болно. Эдгээр үзүүлэлтүүдийн тусламжтайгаар тоглоом жигд ажиллах бөгөөд график нь тунгалаг байх болно. Эдгээр үзүүлэлтээс илүү сайн машин (CPU) нь хамгийн ашигтай байдаг.

Системийн хамгийн бага шаардлага:

Үйлдлийн систем: Vista/Win7/Windows 8
Процессор: 2 ГГц хоёр цөмт
Санах ой: 2 ГБ RAM
График: NVIDIA GeForce 8600 ба түүнээс дээш, ATI Radeon HD 2600 ба түүнээс дээш
DirectX: 9.0c

1. WinRAR-н хамгийн сүүлийн хувилбараар задлах.
2. setup.exe файлыг суулгана уу.
3. Дуустал хүлээнэ үү.
4. Тоглоом тоглох.
5. Сайхан амраарай.

Жич: Програм хангамж хөгжүүлэгчдийг дэмжинэ. Хэрэв танд энэ тоглоом таалагдаж байвал худалдаж аваарай! Маш их баярлалаа.

Холбоосуудыг өөр өөр файлын хостуудаас цуглуулсан (Mega, Google Drive, Userscloud, Users files, Zxcfiles, Kumpulbagi, Clicknupload, Huge files, Rapidgator, Uploaded, Up07, Uptobox, Uploadrocket болон бусад хурдан татаж авах холбоосууд). Бид мөн найдвартай татаж авах хурдтай torrent болон FTP холбоосуудыг өгдөг. Хэрэв та татаж авч буй линк эсвэл файлд ямар нэгэн асуудал байгааг анзаарсан бол бидэнд яаралтай мэдэгдээрэй, ингэснээр бид үүнийг аль болох хурдан засах болно. Энэ тоглоом дээр дурдсан үзүүлэлтүүдтэй таны системд сайн ажиллана гэж найдаж байна. Хэрэв танд техникийн үзүүлэлт байхгүй бол систем, энэ тоглоомыг тоглохын тулд эхлээд сайжруулна уу, эс тэгвээс энэ нь зүгээр ажиллахгүй. Энэ тоглоомыг татаж авах шууд холбоосыг доор өгөв. бүрэн, бүрэн тоглоом. Зүгээр л татаж аваад тоглож эхлээрэй. Бидний ажлыг үзэж сонирхсонд баярлалаа!

энгийн зургуудыг урлагийн агуу мастеруудын бодит зураг болгон хувиргах гайхалтай програм юм. Android-д зориулсан энэхүү жижиг хэрэгсэл нь та өөрийгөө зураач гэж үзээгүй, сойз хэрхэн зөв барихаа мэдэхгүй байсан ч хэрхэн сайхан зурахыг зааж өгөх болно. Одоо дэлгэцэн дээр ямар ч сараачийг дүрсэлж, хэдэн секунд хүлээгээд үр дүнд хүрсэн бүтээлийг гайхшруулахад хангалттай.

Хэдийгээр Pix2Pix систем төгс бус хэвээр байгаа ч энэ нь програмын хоёр дахь хувилбар юм, гэхдээ одоо ч гэсэн програм нь таныг маш их гайхшруулж чадна. Энэхүү хөгжүүлэлт нь мэдрэлийн сүлжээг ашиглан зураг засварлах бага зэрэг танил болсон технологи дээр суурилдаг. Призм ямар гайхамшгуудыг бүтээж болохыг та аль хэдийн харж байсан байх. Харин одоо бидний өмнө бусдаас ялгаатай, ер бусын бүтээгдэхүүн байна. Зүгээр л төсөөлөөд үз дээ - та муур эсвэл тэр ч байтугай ширээний хөршөө зурж байгаа бөгөөд үнэхээр оролдоогүй ч гэсэн Pix2pxтаны doodle-г гайхалтай бүтээл болгон хувиргадаг. Магадгүй, хэрэв энэ гар утасны програм илүү эрт гарч ирсэн бол Пикассо өөрөө таалагдах байсан байх! Гэхдээ зөвхөн бид азтай, учир нь зөвхөн бид орчин үеийн хүмүүс, авсан онцгой боломжгар утасны технологийг бүрэн ашиглах. Ухаалаг утас эсвэл таблетаа яг одоо шинэчил гайхалтай боломжЗургийг уран зураг болгон хувирга, тэгвэл та бүх найзуудаа шинэ чадвараараа гайхшруулах нь гарцаагүй!

Android дээр Pix2Pix хэрхэн ашиглах вэ:

Хэрэв та анх удаагаа төгс зураг авч чадахгүй бол сэтгэлээр унах хэрэггүй. Уг аппликейшн нь таныг зүгээр л баярлуулах зорилгоор бүтээгдсэн. Магадгүй хөгжүүлэгч өөрийн бүтээлээ хараахан төгс болгоогүй байгаа бөгөөд ажиллах зүйл байгаа ч та болон таны найзууд хэзээ ч уйдахгүй. Тиймээс хөтөлбөрийг хэтэрхий нухацтай үнэлж болохгүй, бид санал болгож байна Pix2Pix татаж авахзугаа цэнгэлийн төлөө. Зарим дасгал хийснээр та жинхэнэ ид шидийн бүтээлийг бүтээж чадна, гэхдээ заримдаа та зүгээр л хөгжилдөхийг хүсдэг. Энэхүү ер бусын програмаас таашаалыг бүү үгүйсгэ, тоглож, хошигнож, зөвхөн эерэг сэтгэл хөдлөлийг аваарай!

Анхааруулга: Нийтлэлийг closecircles.com сайтаас засварласан чат логууд дээр үндэслэн бичсэн тул танилцуулгын хэв маяг, асуултуудыг тодруулах

Энэ бүхэн нь Berkeley AI Research-ийн Нөхцөлтэй өрсөлдөгчийн сүлжээгээр дүрсийг дүрс рүү орчуулах нийтлэлийн хэрэгжилт юм.

Тэгэхээр энэ бүхэн хэрхэн ажилладаг вэ?

Цаасан дээр хүмүүс зургийг өөр зураг болгон хувиргах асуудлыг шийддэг бөгөөд ингэснээр хүн алдагдлын функцийг гаргах шаардлагагүй болно.

Мэдрэлийн сүлжээнүүдийн зураг үүсгэх гол бэрхшээлүүдийн нэг бол хэрэв та пикселийн дундаж зөрүүг, жишээлбэл L1 эсвэл L2 (дундаж квадрат алдаа) алдагдал гэж ашиглавал сүлжээ бүх зүйлийг дундажлах хандлагатай байдаг. боломжит сонголтууд. Хэрэв эцсийн зураг дээр тодорхой бус байдал байгаа бол - жишээлбэл, ирмэг нь өөр байрлалд эсвэл өнгө нь тодорхой мужид байж болно, L2 алдагдлын үүднээс авч үзвэл хамгийн оновчтой үр дүн нь бүх боломжит зүйлсийн хооронд байх болно. тохиолдлууд, ямар нэгэн тодорхой нэг нь биш.

Тиймээс зургууд нь маш бүдэг толбо болж хувирдаг.

Төрөл бүрийн бие даасан даалгаврын хувьд хүмүүс үүссэн зураг дээр байх ёстой тодорхой бүтцийг илэрхийлэхийн тулд бусад алдагдлын функцуудыг гаргаж ирсэн (сегментчиллийн хувьд, жишээлбэл, нөхцөлт санамсаргүй талбаруудыг нэмэхийг оролдсон гэх мэт), гэхдээ энэ нь бүгд маш аажмаар тусалдаг бөгөөд даалгавараас ихээхэн хамаардаг.

За, шинэ чиг хандлагыг дагаж, цаас нь GAN (Generative Adversarial Network)-д холбогдож, L1-д нэмэлт алдагдал учруулж байна. (та Habré болон дээр GAN-ийн талаар уншиж болно)

Ерөнхий схемтэдэнд ийм байна:

Генератор нь оролтын дүрсийг оролт болгон өгдөг - энэ нь үүсгэх шаардлагатай нэмэлт нөхцөл юм. Үүн дээр үндэслэн генератор гаралтын дүрсийг үүсгэх ёстой.

Ялгаварлагч нь оролтын дүрс болон үүсгэгчийн үүсгэсэн (эсвэл эерэг жишээн дээр сургалтын өгөгдлийн багцаас бодит хос) хоёуланг нь өгдөг бөгөөд энэ нь үүсгэсэн дүрс нь бодит эсвэл үүсгэгдсэн эсэхийг хэлэх ёстой. Тиймээс хэрэв генератор оролттой холбоогүй дүрсийг үүсгэдэг бол ялгагч үүнийг илрүүлж, хаях ёстой.

Генератор нь энэ хос сүлжээг давтах сургалтын үр дүн юм.

Ерөнхийдөө энэ бол нөхцөлт GAN-ийн стандарт арга - GAN-ийн хувилбар бөгөөд загвар нь нэмэлт оролтын ангийн векторт тохирох зургийг үүсгэх ёстой.

Зөвхөн энд оролтын ангийн вектор нь зураг бөгөөд нийт алдагдал нь GAN алдагдал + L1 байна.

Алдагдлыг хэлэлцэх хүрээнд “ГАН шидэх” гэдэг утгаараа генератор нэмж, минимаксыг олох асуудлыг шийдэх үү?
За, тийм.

Асаалттай өндөр түвшинБүгд!

Тэдэнд ямар сонирхолтой мэдээлэл байна вэ?

GAN-д хандах сонгодог аргаас ялгаатай нь үүсгүүрт дуу чимээний вектор огт дамждаггүй.
Сүлжээ тасарсан тул сургалтын дараа үүнийг унтраадаггүй учраас л олон янз байдаг.

• Сүлжээний архитектур - U-Net нь кодлогчоос декодчилогч хүртэлх олон алгасах холболттой сегментчлэлийн нэлээн шинэ архитектур (энд товч тайлбар байна)

GAN алдагдал болон U-net хоёулаа тусалж байгааг харуулсан зураг энд байна.


Дашрамд хэлэхэд, зөвхөн L1 алдагдлыг ашиглахтай холбоотой анхны асуудал тодорхой харагдаж байна - хүчирхэг загвар ч гэсэн дундаж хазайлтыг багасгахын тулд бүдэг толбо үүсгэдэг.

• Тэд загварыг 70x70 нөхөөс дээр сургаж, дараа нь бүрэн эргэлтээр том хэмжээний зураг дээр хэрэглэнэ. 70x70 нь 256x256 хэмжээтэй зургийг нэг дор хийхээс илүү сайн үр дүнг өгдөг нь инээдтэй юм.

Муурнууд хаана байна!!!

Үүний дараа огт өөр асуудлаас болсон ч дур зоргоороо оролт, гаралт дээр сургадаг систем бий.


Сегментчлэлээс гэрэл зураг хүртэл, өдрийн цагаар шөнийн гэрэл зураг, хар цагаанаас өнгөт гэх мэт.

Энд хамгийн сүүлийн жишээ байна - ирмэгээс зураг хүртэл. Зурган дээрх ирмэгүүд нь компьютерийн харааны стандарт алгоритмаар үүсгэгддэг.

Энэ нь та зүгээр л зураг авах, ирмэг илрүүлэх, эдгээр хосууд дээр ажиллах боломжтой гэсэн үг юм
галт тэрэг. Мөн мууранд хийж болно:

Үүний дараа загвар нь хүмүүсийн зурсан ямар ч ноорог зурганд зориулж ямар нэгэн зүйлийг бий болгож чадна.

(Дашрамд санаж байгаа зүйлээ надад илгээнэ үү)

Ийнхүү хүн төрөлхтний дунд талх хэлбэртэй муурны хомсдол арилсан!

Ерөнхийдөө энэ ажил нь өнгөрсөн жилээс ГАНЦ хэрхэн хөгжиж эхэлсний бас нэг жишээ юм. Энэ нь оновчлолын зорилго болгон "Би үүнийг яг юу гэсэн үг болохыг мэдэхгүй ч гэсэн бодит зүйлээс ялгагдахгүй байхыг хүсч байна" гэж илэрхийлдэг маш хүчирхэг, уян хатан хэрэгсэл болох нь харагдаж байна.
Хэн нэгэн энэ бүсэд болж буй бүх зүйлийн талаар бүрэн тойм бичих болно гэж найдаж байна! Тэнд бүх зүйл маш сайхан байна.

Анхаарал тавьсанд баярлалаа.

Pix2pix алгоритм нь тойм зураг дээрх хүмүүсийг таньж, "бодит" дүрс болгон хувиргаж сурсан. Энэ нь тийм ч бодитой биш, гэхдээ маш аймшигтай юм. Энэ бол төслийн анхны алгоритм биш: хэдэн сарын өмнө pix2pix ашиглан муухай муурыг аль хэдийн интернетэд зурж эхэлсэн. Энэ удаад ч бид эсэргүүцэж чадсангүй.

"Нүүрэнд зориулсан шинэ pix2pix (зураг минийх биш, би гуравдагч талын програм ашиглан импортолсон)."

Үнэн, хэрэв ноорог нь гайхалтай хийгдээгүй бол алгоритм нь бодитой гэж нэрлэгдэх боломжгүй зургуудыг гаргадаг, харин хар дарсан зүүд юм. Мөн шинэ зугаа цэнгэлийг эсэргүүцэж чадаагүй Twitter хэрэглэгчид үүнд итгэлтэй байв. Энэ нь тийм ч сайн болсонгүй.

Би тэр pix2pix зүйлийг ашиглан хүүхэлдэйн киноны баатруудыг зурахаар шийдсэн бөгөөд үр дүн нь миний бодож байснаас ч аймшигтай байсан pic.twitter.com/i3PatUtuEu

“Би энэ pix2pix-ийг ашиглахаар шийдэж, хүүхэлдэйн киноны дүрүүдийг зурсан. Үр дүн нь миний төсөөлж байснаас ч аймшигтай байна."

"Гүн сэтгэл дундуур байна."

"Би "мөлхөгч загасны мангас" хийх гэж байсан ч pix2pix мэдрэлийн сүлжээ надад илүү сайн зүйл хийж, түүнд хөвгүүдийн хамтлагийн гишүүн шиг үсний засалт өгсөн."

"Бага зэрэг аймшигтай ..."

"Энэ аймшигтай!"

Гэсэн хэдий ч гунигтай үр дүн ч гэсэн Twitter хэрэглэгчдийг бүтээлч байхаас нь татгалзаж чадахгүй.

"Илүү хөгжилтэй!"

"Энэ хэрэгсэлд дуртай!"

"3-р залуу сайхан харагдаж байна."

"Норог зургуудаас гайхалтай царай үүсгэгч."

Pix2pix төсөл нь мэдрэлийн сүлжээнд тулгуурлан гараар зурсан муурыг "бодит" болгон хувиргасан алгоритмынхаа ачаар хэдэн сарын өмнө алдартай болсон. За, зөвхөн бүтээгчдийн өөрсдийнх нь зурсан муур л бодитой харагдаж байв. Гэхдээ энгийн хэрэглэгчдийн энэ программ дээр хийж байгаа зүйл нь муур гэхээсээ илүү үслэг мангас шиг харагдаж байв.

"Миний муурыг шалга. Хэн ч уран бүтээлч болж чадна."

Мэдрэлийн сүлжээний хамрах хүрээ нь гайхалтай бөгөөд тиймээс тэдгээрийг аймшгийн түүх зурахаас илүү ноцтой зүйлд ашигладаг. Жишээлбэл, порно сайтууд саяхан нэгэн үйлчилгээг нэвтрүүлсэн. Гэсэн хэдий ч үр дүнгээс харахад энэ алгоритмыг сурч, сурах шаардлагатай хэвээр байна. Тэгэхгүй бол тэр яагаад Елена Мизулинаг Бруклин Чейстэй харьцуулах болов?