Хиймэл оюун ухааныг тодорхойлох тест. Супер компьютерууд Deep Blue болон Watson

Өнөөдөр Алан Тюринг тест гэх мэт ойлголтын талаар ядаж нэг удаа сонсоогүй хүн байхгүй байх. Ихэнх хүмүүс ийм туршилтын систем гэж юу болохыг ойлгохоос хол байгаа байх. Тиймээс энэ талаар бага зэрэг дэлгэрэнгүй авч үзье.

Тюринг тест гэж юу вэ: үндсэн ойлголт

Өнгөрсөн зууны 40-өөд оны сүүлчээр олон шинжлэх ухааны оюун ухаан компьютерийн анхны хөгжлийн асуудалд оролцож байв. Тэр үед кибернетикийн чиглэлээр судалгаа хийдэг "Ratio Club" хэмээх төрийн бус бүлгийн гишүүдийн нэг нь хүн шиг сэтгэдэг машин бүтээх боломжтой юу, эсвэл ядаж л логик асуултыг тавьжээ. түүний зан авирыг дуурайх уу?

Тюринг тестийг хэн зохион бүтээснийг хэлэх шаардлагатай юу? Үгүй бололтой. Өнөөдрийг хүртэл хамааралтай хэвээр байгаа бүхэл бүтэн үзэл баримтлалын анхны үндэс нь дараахь зарчим байв: хүн хэсэг хугацааны дараа үл үзэгдэх ярилцагчтай огт өөр дур зоргоороо өөр сэдвээр харилцаж, түүний өмнө хэн байгааг тодорхойлох боломжтой болох уу? Жинхэнэ хүн эсвэл машин уу? Өөрөөр хэлбэл, машиныг бодит хүний ​​зан авирыг дуурайлган хийхээс гадна өөрөө сэтгэж чадаж байна уу гэдгийг олж мэдэх гэсэн юм. энэ асуудал маргаантай хэвээр байна.

Бүтээлийн түүх

Ерөнхийдөө, хэрэв бид Тьюрингийн тестийг компьютерийн "хүний" чадварыг тодорхойлох нэгэн төрлийн эмпирик систем гэж үзвэл түүнийг бий болгох шууд бус үндэс нь философич Альфред Айерийн түүний боловсруулсан сониуч үгс байсан гэдгийг хэлэх нь зүйтэй болов уу. буцаж 1936 онд.

Айер өөрөө янз бүрийн хүмүүсийн амьдралын туршлагыг харьцуулж, үүний үндсэн дээр сүнсгүй машин сэтгэж чаддаггүй тул ямар ч шалгалтыг давж чадахгүй гэсэн үзэл бодлоо илэрхийлжээ. Хамгийн сайндаа энэ нь цэвэр дуураймал байх болно.

Зарчмын хувьд ийм л байна. Сэтгэн бодох машиныг бүтээхэд дан ганц дуурайх нь хангалтгүй. Леонардо да Винчи шиг суут ухаантны онцлог шинж чанар болох шувууг дуурайх хандлагаас татгалзаж анхны онгоцыг бүтээсэн ах дүү Райтуудын жишээг олон эрдэмтэд иш татдаг.

Истриа өөрөө (1912-1954) эдгээр постулатуудын талаар мэддэг эсэхээс үл хамааран чимээгүй байгаа боловч 1950 онд тэрээр машины "хүмүүнчлэлийн" түвшинг тодорхойлж чадах бүхэл бүтэн асуултын системийг эмхэтгэсэн. Энэ хөгжил нь зөвхөн жишээлбэл, компьютерийн робот гэх мэтийг турших үед л үндсэн зүйлүүдийн нэг хэвээр байна гэж хэлэх ёстой. Бодит байдал дээр цөөхөн хэдэн програмууд Тьюрингийн шалгалтыг давж чадсан зарчимтай болсон. . Дараа нь туршилтын үр дүн хэзээ ч 100 хувь, хамгийн сайндаа 50-иас дээш үзүүлэлттэй байгаагүй тул "дацах" гэж маш их хэлдэг.

Эрдэмтэн судалгааныхаа хамгийн эхэнд өөрийн шинэ бүтээлийг ашигласан. Үүнийг Тьюрингийн туршилтын машин гэж нэрлэдэг байв. Бүх харилцан яриаг зөвхөн хэвлэмэл хэлбэрээр оруулах ёстой байсан тул эрдэмтэн хариулт бичих хэд хэдэн үндсэн удирдамжийг тогтоосон бөгөөд жишээлбэл, хэвлэх соронзон хальсыг зүүн эсвэл баруун тийш шилжүүлэх, тодорхой тэмдэгт хэвлэх гэх мэт.

ELIZA болон PARRY програмууд

Цаг хугацаа өнгөрөхөд хөтөлбөрүүд илүү төвөгтэй болж, хоёр нь Тюринг тестийг ашигласан нөхцөлд тухайн үед гайхалтай үр дүнг үзүүлсэн. Эдгээр нь ЭЛИЗА, ПЭРРИ хоёр байв.

1960 онд бүтээгдсэн "Элиза"-гийн хувьд: асуултын үндсэн дээр машин түлхүүр үгийг тодорхойлж, үүн дээр үндэслэн хариу өгөх хариултыг бий болгох ёстой байв. Энэ нь жинхэнэ хүмүүсийг хууран мэхлэх боломжийг олгосон юм. Хэрэв тийм үг байхгүй бол машин ерөнхий хариултыг буцааж эсвэл өмнөх хариултуудын аль нэгийг давтав. Гэсэн хэдий ч уг программтай харилцаж байсан жинхэнэ хүмүүс машинтай биш хүнтэй ярьж байна гэж урьдчилан бодож сэтгэхүйн бэлтгэлтэй байсан тул Элизагийн тестийг давах эсэх нь эргэлзээтэй хэвээр байна.

PARRY хөтөлбөр нь Элизатай зарим талаараа төстэй боловч гаж донтон хүний ​​харилцааг дуурайлган хийх зорилгоор бүтээгдсэн. Хамгийн сонирхолтой нь жинхэнэ клиникийн өвчтөнүүд үүнийг туршиж үзсэн явдал юм. Ярилцлагын бичлэгийг телетайпаар бичиж авсны дараа мэргэжлийн сэтгэцийн эмч нар үнэлжээ. Зөвхөн 48 хувьд нь тухайн хүн хаана, машин хаана байгааг зөв үнэлж чадсан байна.

Нэмж дурдахад, тухайн үеийн хүн машинаас хамаагүй хурдан боддог байсан тул тухайн үеийн бараг бүх програмууд тодорхой цаг хугацааг харгалзан ажилладаг байв. Одоо бол эсрэгээрээ.

Супер компьютерууд Deep Blue болон Watson

IBM корпорацын бүтээн байгуулалтууд нь тэд зөвхөн бодож зогсохгүй, гайхалтай тооцоолох чадвартай байсан.

1997 онд Deep Blue суперкомпьютер тухайн үеийн дэлхийн аварга Гарри Каспаровтой 6 шатрын тоглолтонд ялалт байгуулсныг олон хүн санаж байгаа байх. Үнэн хэрэгтээ Тьюрингийн тест нь энэ машинд маш болзолтойгоор хэрэглэгдэх боломжтой. Гол нь энэ нь эхлээд үйл явдлын хөгжлийг гайхалтай тайлбарласан олон тоглоомын загваруудыг агуулж байсан явдал юм. Энэ машин нь секундэд самбар дээрх 200 сая ширхэг байрлалыг үнэлэх чадвартай!

360 процессор, 90 серверээс бүрдсэн Watson компьютер Америкийн телевизийн тоглоомын шоунд түрүүлж, бусад хоёр оролцогчийг бүх талаараа хожиж, үнэн хэрэгтээ нэг сая долларын урамшуулал авсан. Дахин хэлэхэд, машинд гайхалтай хэмжээний нэвтэрхий толь бичиг ачаалагдсан тул асуултын түлхүүр үг, синоним эсвэл ерөнхий тохиролд дүн шинжилгээ хийж, дараа нь зөв хариултыг өгсөн тул асуулт эргэлзээтэй байна.

Евгений Густман эмулятор

Энэ чиглэлээр хийгдсэн хамгийн сонирхолтой бүтээн байгуулалтын нэг нь Одесса хотын оршин суугч Евгений Густман, одоо АНУ-д амьдарч буй орос инженер Владимир Веселов нарын 13 настай хүүгийн зан чанарыг дуурайсан хөтөлбөр байв.

2014 оны 6-р сарын 7-нд Евгений хөтөлбөр бүрэн хүчин чадлаа харуулсан. Сонирхуулахад, туршилтад 5 робот, 30 бодит хүн оролцсон байна. Зуун тохиолдлын 33% нь л тангарагтны шүүх үүнийг компьютер мөн гэдгийг тогтоож чадсан. Энд гол санаа нь хүүхэд насанд хүрэгчдийнхээс бага оюун ухаантай, мэдлэг багатай байсан тул даалгавар нь төвөгтэй байсан юм.

Тьюрингийн тестийн асуултууд нь хамгийн ерөнхий байсан боловч Евгений хувьд Одесса хотод болсон үйл явдлын талаар зарим нэг тодорхой асуултууд байсан бөгөөд энэ нь ямар ч оршин суугчийг анзаарахгүй өнгөрч чадахгүй байв. Гэсэн хэдий ч хариултууд намайг тангарагтны шүүгчид хүүхэд байсан гэж бодсон хэвээр байна. Жишээлбэл, хөтөлбөр нь оршин суугаа газрын талаархи асуултанд тэр даруй хариулсан. Ярилцагч нь ийм өдөр хотод байсан уу гэсэн асуултыг асуухад нэвтрүүлэг энэ талаар ярихыг хүсэхгүй байна гэж мэдэгдэв. Ярилцагч тэр өдөр яг юу болсонтой уялдуулан яриа өрнүүлэхийг оролдоход Евгений "Чи өөрөө мэдэх ёстой, яагаад түүнээс асууж байгаа юм бэ?" гэж өөрийгөө үгүйсгэв. Ерөнхийдөө хүүхдийн эмулятор маш амжилттай болсон.

Гэсэн хэдий ч энэ нь сэтгэдэг амьтан биш харин эмулятор хэвээр байна. Тиймээс машины бослого тийм ч удаан үргэлжлэхгүй.

Зоосны нөгөө тал

Эцэст нь хэлэхэд ойрын ирээдүйд сэтгэн бодох машин бий болгох урьдчилсан нөхцөл байхгүй гэдгийг нэмж хэлэх хэрэгтэй. Гэсэн хэдий ч, хэрэв өмнө нь таних асуудал нь машинтай холбоотой байсан бол одоо бидний бараг хүн бүр таныг машин биш гэдгийг батлах ёстой. Зарим үйлдэлд хандахын тулд интернетэд captcha оруулахыг л хараарай. Одоогийн байдлаар хүнээс бусад гажуудсан текст эсвэл тэмдэгтийн багцыг таних ганц ч электрон төхөөрөмж хараахан бүтээгдээгүй гэж үздэг. Гэхдээ хэн мэдлээ, бүх зүйл боломжтой ...

Компьютер гарч ирснээс хойш шинжлэх ухааны зөгнөлт зохиолчид дэлхийг эзэгнэж, хүмүүсийг боол болгодог ухаалаг машинуудын тусламжтайгаар түүхийг зохиож эхлэв.

Эрдэмтэд үүнийг эхлээд инээж байсан ч мэдээллийн технологи хөгжихийн хэрээр ухаалаг машин бүтээх санаа тийм ч гайхалтай санагдахаа больсон. Компьютер оюун ухаантай эсэхийг шалгахын тулд Тюринг тестийг бүтээсэн бөгөөд үүнийг Алан Тьюрингээс өөр хэн ч зохион бүтээсэнгүй, түүний нэрээр энэ техникийг нэрлэжээ. Энэ нь ямар төрлийн тест болох, юу хийж чадах талаар илүү дэлгэрэнгүй ярилцъя.

Тьюрингийн шалгалтыг хэрхэн давах вэ?

Тюринг тестийг хэн зохион бүтээснийг бид мэднэ, гэхдээ тэр яагаад үүнийг хийсэн бэ, ямар ч машин хүнтэй харьцуулж чадахгүй гэдгийг батлахын тулд? Үнэн хэрэгтээ Алан Тюринг "машины оюун ухаан" -ын талаар нухацтай судалгаа хийж байсан бөгөөд хүн шиг сэтгэцийн үйл ажиллагаа явуулах чадвартай машин бүтээх боломжтой гэж үзсэн. Ямар ч байсан 1947 онд тэрээр шатар сайн тоглодог машин хийхэд тийм ч хэцүү биш, хэрэв боломжтой бол "сэтгэгч" компьютер бүтээх боломжтой гэж мэдэгдэж байсан.

Тюринг тестийг давах

Гэхдээ инженерүүд зорилгодоо хүрсэн эсэх, тэдний тархи оюун ухаантай эсэх, эсвэл зүгээр л нэг дэвшилтэт тооны машин уу гэдгийг хэрхэн тодорхойлох вэ? Энэ зорилгоор Алан Тюринг өөрийн тестийг бүтээсэн бөгөөд энэ нь машины оюун ухаан хүний ​​оюун ухаантай хэр зэрэг өрсөлдөж болохыг ойлгох боломжийг олгодог.

Тьюрингийн тестийн мөн чанар нь: хэрэв компьютер сэтгэж чаддаг бол харилцан ярианы явцад хүн машиныг өөр хүнээс ялгах чадваргүй болно. Туршилтанд 2 хүн, нэг компьютер оролцдог бөгөөд бүх оролцогчид бие биенээ хардаггүй, харилцаа холбоо бичгээр явагддаг. Шүүгч хариултын хурдыг үндэслэн компьютерийг тодорхойлох боломжгүй байхын тулд захидал харилцааг хяналттай интервалтайгаар явуулдаг. Шүүгч хэнтэй, хүн эсвэл компьютертэй харилцаж байгаагаа хэлж чадахгүй бол шалгалтыг тэнцсэн гэж үзнэ. Одоогоор ямар ч хөтөлбөр Тьюрингийн шалгалтыг бүрэн давж чадаагүй байна. 1966 онд Элиза хөтөлбөр шүүгчдийг хууран мэхэлж чадсан боловч үйлчлүүлэгч төвтэй техник ашиглан сэтгэл засалчийн арга барилыг дуурайлган хийсэн тул хүмүүст компьютертэй ярьж болно гэж хэлээгүй. 1972 онд паранойд шизофрени өвчнийг дуурайлган хийсэн PARRY хөтөлбөр нь сэтгэцийн эмч нарын 52 хувийг хуурч чадсан юм. Туршилтыг сэтгэцийн эмч нарын нэг баг хийсэн бөгөөд хоёр дахь нь бичлэгийн бичлэгийг уншив. Бодит хүмүүсийн үг хаана байна, нэвтрүүлгийн яриа хаана байна гэдгийг олж мэдэх даалгавар хоёр багийн өмнө тулгарсан. Энэ нь зөвхөн тохиолдлын 48% -д хүрсэн боловч Тюринг тест нь тэмдэглэл унших биш онлайн харилцаа холбоог хамардаг.

Өнөөдөр Тьюрингийн шалгалтыг давж чадсан хөтөлбөрүүдэд жил бүр зохион байгуулдаг уралдааны дүнгээр олгодог Лобнерийн шагнал байдаг. Алт (харааны болон аудио), мөнгө (аудио), хүрэл (текст) шагналууд байдаг. Эхний хоёр нь хараахан гараагүй байсан ч захидал харилцааны үеэр хүнийг хамгийн сайн дуурайж чаддаг хөтөлбөрүүдэд хүрэл медалийг олгосон. Гэхдээ ийм харилцааг бүрэн эрхт гэж нэрлэх боломжгүй, учир нь энэ нь хэсэгчилсэн хэллэгээс бүрдсэн найрсаг чатын захидал харилцааг санагдуулдаг. Тийм ч учраас Тьюрингийн шалгалтыг бүрэн давсан тухай ярих боломжгүй.

Урвуу Туринг тест

Урвуу Туринг тестийн тайлбаруудын нэгтэй хүн бүр тааралддаг - эдгээр нь спам роботоос хамгаалахад ашигладаг captcha (CAPTHA) оруулах сайтуудаас ирсэн ядаргаатай хүсэлтүүд юм. Гажуудсан текстийг таних, хуулбарлах чадвартай хангалттай хүчирхэг програмууд хараахан байдаггүй (эсвэл энгийн хэрэглэгчдэд байхгүй) гэж үздэг. Энд нэг инээдтэй парадокс байна: одоо бид сэтгэн бодох чадвараа компьютерт нотлох хэрэгтэй.

Холбоотой нийтлэлүүд:

Кинси масштаб

Хүн эсрэг хүйсийн хүнтэй хайрын хүсэл тэмүүллээр нэгдэж байж л уралдаанаа үргэлжлүүлж чадахаар бүтээгдсэн. Харин тантай ижил хүйсийн хүмүүс илүү дур булаам харагдаж байвал яах вэ? Энэ нь таныг ижил хүйстэн болохыг хүсдэг гэсэн үг үү? Та дараах тестийг ашиглан үндсэн шинж тэмдгүүдийг шалгаж болно.

Эйзенкийн даруу байдлын тест

Мэдээжийн хэрэг, бид бүгд хувь хүн, өвөрмөц хүмүүс юм. Гэсэн хэдий ч дөрвөн тохиолдолд хүмүүс хоорондоо төстэй байдаг. Өөрөөр хэлбэл, бидний хүн нэг бүр дөрвөн төрлийн темпераментийн аль нэгэнд хамаардаг. Та яг одоо аль нь танд хамааралтай болохыг шалгаж болно.

Сэтгэл судлалын туршилт

Өөрийгөө хүндэлдэг ямар ч шинжлэх ухаан туршилтгүйгээр хийж чадахгүй. Үүнд сэтгэл зүй. Түүний бодлоор энэ нь хүний ​​​​мөн чанарыг илүү сайн судлах боломжийг олгодог арга юм. Гэхдээ энэ нь сэтгэл судлалын туршилтыг тийм ч сонирхолтой болгохгүй нь лавтай.

Социометри - техник

Багийн удирдагчийг хэрхэн олох вэ? Мөн хөдөлмөрийн үйл явцад оролцохгүйгээр энэ баг хэрхэн амьдарч байгааг яаж мэдэх вэ? Сэтгэл судлаачид эрт дээр үеэс эдгээр асуултын хариултыг олж, социометрийн техникийг бий болгосон. Үүний мөн чанар юу болохыг бид доор хэлэх болно.

Женя Густман(Англи) Евгений Густман) бол 2014 онд Редингийн их сургуулиас (Их Британи) зохион байгуулсан шалгалтанд "анх удаа Турингийн шалгалтыг өгсөн" виртуал ярилцагч юм. Энэ нь 2001 онд гарч ирсэн.

Үүнийг Владимир Веселов (ОХУ-аас гаралтай, Нью Жерсид амьдардаг), Евгений Демченко (Украины гаралтай), Сергей Уласен (ОХУ-аас ирсэн) гэсэн гурван програмистын бүлэг бүтээсэн. Хөтөлбөрийг боловсруулах ажил 2001 онд Санкт-Петербург хотод эхэлсэн. Густманы зан чанар, мэдлэгийг илүү үнэмшилтэй харагдуулахын тулд тэрээр хэрэглэгчдэд Одессын 13 настай хүү мэт харагддаг.

Тюринг тест

Густманн байгуулагдсан цагаасаа хойш хэд хэдэн Тюринг тестийн тэмцээнд оролцож, хэд хэдэн удаа Лобнерийн шагналын тэмцээнд хоёрдугаар байр эзэлсэн. 2012 оны 6-р сард Густман Алан Тюриний 100 насны төрсөн өдөрт зориулсан тэмцээнд түрүүлж, шүүгчдийн 29% нь өөрийгөө хүн гэж итгүүлсэн. 2014 оны 6-р сарын 7-нд Тьюрингийн нас барсны 60 жилийн ойд зориулсан тэмцээнд Густман шүүгчдийн 33% нь өөрийгөө хүн мөн гэдэгт итгүүлсэн бөгөөд Кевин Уорвикийн хэлснээр Тьюрингийн шалгалтыг амжилттай давсан түүхэн дэх анхны компьютер болжээ. .

Үүнтэй төстэй туршилтуудын үр дүнгээс харахад Густман эхнийхээс хол байсан, тэр ч байтугай хамгийн шилдэг нь биш байсан гэсэн таамаглал байдаг. 59%-ийн үр дүнг 2011 онд Cleverbot бот харуулжээ. Ийм мэдэгдлийн хариуд Редингийн их сургуулийн 2014 оны тэмцээнийг зохион байгуулагч, профессор Кевин Уорвик "Тюринг тест" гэж нэрлэгддэг өмнөх тэмцээнүүдээс ялгаатай нь энэ удаад урьд өмнөхөөсөө илүү олон тооны харьцуулах тестүүд байгааг онцлон тэмдэглэв. Өмнө нь тэд бие даан шалгагдсан бөгөөд шүүмжлэлийн хувьд ярианы сэдвүүд хязгаарлагдмал байгаагүй.

Тьюринг өөрөө төөрөгдүүлсэн ярилцагчдыг ийм бага хувийг "шалгалтанд тэнцэх" шалгуур болгон тавиагүй бөгөөд зөвхөн 2000 онд 10 9 битийн санах ойн багтаамжтай компьютер симуляцийн тоглоом тоглох боломжтой болно гэж санал болгосон. Дундаж ярилцагч таван минутын ярилцлагын дараа машинаа таних магадлал 70% -иас хэтрэхгүй байх болно.

Турингийн туршилтыг шүүмжлэгчид Женя Густман бол зүгээр л "чатбот" гэж маргаж, шалгалтанд тэнцэх тэмцээний ач холбогдлыг бууруулж байна.

...Машин нь хүүхэд шиг дүр эсгэдэг ч зарчмын хувьд Тьюрингийн шалгалтыг бүрэн давах боломжгүй юм. Учир нь тест нь зөвхөн зан үйлийн шинж чанартай байдаг; Үндсэн асуултанд - машин бодож байна уу? - Тэр хариулт өгөх боломжгүй ... Эдгээр асуултууд нь мэдээжийн хэрэг, мэргэжлийн философичдын үе үеийнхэнд ажил хийхээс гадна өөрийгөө сургасан гүн ухаантны томоохон хүрээний чөлөөт цагийг өнгөрөөх боломжийг олгодог. Гэхдээ инженерийн болон бизнесийн үүднээс тэд ямар ч утгагүй юм.

Тэмдэглэл

Холбоосууд

Тюринг тест нь нэрнээс нь харахад машинд оюун ухаан байгаа эсэхийг тодорхойлох зорилгоор Алан Тюринг санал болгосон тест юм. Тюринг хиймэл оюун ухаан бий болгоход тавигдах шаардлагуудын өргөн жагсаалтыг боловсруулах нь утгагүй бөгөөд энэ нь хоорондоо зөрчилдөж магадгүй гэж үзээд хиймэл оюун ухаантай объектын зан төлөв нь эцсийн эцэст хиймэл оюун ухаанаас ялгагдахгүй байх болно гэдэгт үндэслэсэн туршилтыг санал болгов. хүн шиг маргашгүй ухаалаг биетүүдийн зан байдал. Бичгээр асуулт асуусан туршилтчин хүн бичсэн хариулт нь өөр хүнээс эсвэл ямар нэг төхөөрөмжөөс ирсэн эсэхийг тодорхойлж чадахгүй бол компьютер Тюринг тестийг давах болно.

Тюринг тестийг онлайнаар хаана өгөх вэ?

Одоогоор компьютерт Тьюрингийн шалгалт өгөх програм бичихэд маш их хөдөлмөр шаардагддаг. Ийм байдлаар програмчлагдсан компьютер нь дараахь зүйлийг агуулсан байх ёстой.

  • Байгалийн хэл дээрх текст боловсруулах хэрэгслүүд (Natural Language Processing - NLP), англи хэлээр компьютертэй амжилттай харилцах боломжийг олгодог;
  • Компьютер сурсан эсвэл уншсан зүйлээ санах ойд хадгалах мэдлэгийг илэрхийлэх хэрэгсэл;
  • асуултын хариултыг олох, шинэ дүгнэлт гаргахад хадгалсан мэдээллийг ашиглах боломжийг олгодог логик дүгнэлтийг автоматаар гаргах хэрэгсэл;
  • шинэ нөхцөл байдалд дасан зохицох, мөн стандарт нөхцөл байдлын шинж тэмдгийг илрүүлэх, экстраполяци хийх боломжийг олгодог машин сургалтын хэрэгслүүд.

Турингийн туршилтанд хиймэл оюун ухааныг бий болгоход хүнийг бие махбодийн дуурайлган дуурайх шаардлагагүй тул туршилт хийгч болон компьютерийн хоорондох шууд бие махбодийн харилцан үйлчлэлийг зориудаар хасдаг. Гэхдээ Турингийн бүрэн туршилт гэж нэрлэгддэг туршилтанд видео дохиог ашигладаг бөгөөд ингэснээр туршилт хийгч нь туршиж үзсэн объектын мэдрэх чадварыг шалгахаас гадна физик объектуудыг "бүрэн бус" харуулах боломжийг олгодог. ”).

Тьюринг компьютерууд эцэст нь түүний шалгалтыг давах болно гэж таамаглаж байсан. Тэрээр 2000 он гэхэд 1 тэрбум бит санах ойтой (ойролцоогоор 119 MB) компьютер 5 минутын тестээр шүүгчдийн 30%-ийг хуурч чадна гэж тэр үзэж байсан.

Энэ таамаг биелсэнгүй. Тюринг мөн "сэтгэгч машин" гэсэн хэллэгийг оксиморон гэж үзэхгүй, компьютерийн сургалт нь хүчирхэг компьютер бүтээхэд чухал үүрэг гүйцэтгэнэ гэж таамаглаж байсан (орчин үеийн ихэнх судлаачид үүнтэй санал нийлдэг).

Одоогоор ямар ч хөтөлбөр Тьюрингийн шалгалтыг давахад ойртоогүй байна. ELIZA гэх мэт хөтөлбөрүүд нь заримдаа AOLiza хэмээх албан бус туршилтын нэгэн адил хүмүүсийг хүнтэй ярьж байна гэж итгүүлдэг. Гэхдээ ийм "амжилт" нь Тьюрингийн шалгалтыг давсан гэсэн үг биш юм. Нэгдүгээрт, ийм яриа өрнүүлж буй хүн түүнийг хөтөлбөртэй ярьж байна гэж итгэх ямар ч үндэслэлгүй байсан бол жинхэнэ Тюринг тестийн үеэр тэр хүн хэнтэй ярьж байгаагаа тодорхойлохыг идэвхтэй оролддог. Хоёрдугаарт, баримтжуулсан тохиолдлууд нь ихэвчлэн ийм чатуудад хамаатай бөгөөд ихэнх яриа нь хэсэгчилсэн, утгагүй байдаг. Гуравдугаарт, олон чат хэрэглэгчид англи хэлийг хоёр, гуравдагч хэл болгон ашигладаг бөгөөд хөтөлбөрийн утгагүй хариулт нь хэлний бэрхшээлээс үүдэлтэй байх магадлалтай. Дөрөвдүгээрт, олон хэрэглэгчид Элиза болон үүнтэй төстэй програмуудын талаар юу ч мэддэггүй бөгөөд эдгээр программуудын гаргадаг бүрэн хүнлэг бус алдааг таньж чаддаггүй.

Жил бүр ярианы хөтөлбөрүүдийн хооронд уралдаан болдог бөгөөд шүүгчдийн үзэж байгаагаар хамгийн хүнтэй төстэй хөтөлбөрийг Лобнерийн шагналаар шагнадаг.

Шүүгчдийн үзэж байгаагаар Тьюрингийн шалгалтыг давна гэж үзсэн хөтөлбөрт нэмэлт шагнал бий. Энэ шагналыг хараахан олгоогүй байна. A.L.I.C.E хөтөлбөр хамгийн сайн үр дүнг үзүүлсэн. Лоебнерийн шагналыг 3 удаа хүртсэн (2000, 2001, 2004 онд).

Хэдийгээр 50 гаруй жил өнгөрсөн ч Тьюрингийн тест ач холбогдлоо алдаагүй байна. Гэвч одоогийн байдлаар хиймэл оюун ухааны судлаачид Тюринг тестийг давах асуудлыг шийдвэрлэхээр бараг ажиллахгүй байгаа тул байгалийн оюун ухааныг тээгчдийн аль нэгийг хуулбарлахаас илүү оюун ухааны үндсэн зарчмуудыг судлах нь илүү чухал гэж үзэж байна. Ялангуяа ах дүү Райт болон бусад судлаачид шувууг дуурайхаа больж, аэродинамикийг судалж эхэлсний дараа л "хиймэл нислэгийн" асуудал амжилттай шийдэгдсэн. Аэронавтикийн шинжлэх ухаан, техникийн бүтээлүүдэд энэхүү мэдлэгийн чиглэлийн зорилго нь "нислэгээрээ тагтаатай төстэй, жинхэнэ шувуудыг ч хуурч чаддаг машин бүтээх" гэж тодорхойлогддоггүй.

Өчигдөр дэлхийн хэвлэл мэдээллийн хэрэгслээр компьютерийн программ түүхэндээ анх удаа Тьюрингийн шалгалтыг давсан тухай мэдээлэл цацагдсан. Энэхүү тестийг Английн математикч Алан Тюринг 1950 онд бүтээсэн бөгөөд хиймэл оюун ухааны түвшинг үнэлэх боломжийг олгодог.

Алан Тюринг бол Британийн математикч юм. Дэлхийн 2-р дайны үед тэрээр Германы кодыг хагалж, ижил хүйстнүүдийн хэрэгт буруутгагдсаны дараа #justicenet

Тьюрингийн шалгалтын үеэр нэг программ бүлэг хүмүүстэй таван минутын турш харилцдаг. Хэрэв тэр ярилцагчдынхаа 30 гаруй хувийг компьютер биш гэж итгүүлдэг бол түүний оюун ухааныг хүнтэй ойртуулж болно.

Тюринг тест: Оюун ухаан нь харилцаанд байдаг

6-р сарын 7-нд - Тьюрингийн нас барсны 60 жилийн ойд - Редингийн их сургуулиас зохион байгуулсан эдгээр тэмцээнүүдийн нэг амжилттай болж өндөрлөлөө: Орос-Украины багийн бүтээсэн "Евгений Густман" нэвтрүүлэг шүүгчдийн гуравны нэгийг түүнд итгүүлсэн. Одесса хотын 13 настай украин хүү байв.

33 хувь нь түүхэн дэх урьд өмнө байгаагүй их үзүүлэлт боловч үүнийг ноцтой ахиц дэвшил гэж хэлэхэд хэцүү. Түүнтэй өөрөө ярьж үзээрэй. Үүнийг энд хийж болно.

Евгенийтэй Одессын талаар ярилц

Bloomberg-ийн тоймч Леонид Бершидский энэ мэдээний хариуд "Хиймэл оюун ухааны хуурамч ялалт" хэмээх булан бичиж, боттой хийсэн дараах яриаг иш татав.

Л.Б: Чи хаана амьдардаг вэ?
Ж.И: Би Украины Одесса хотоос ирсэн. Та түүний тухай сонссон байж магадгүй.
Л.Б: Би сонссон. Та тавдугаар сарын 2-нд хаана байсан бэ?
Ж.И: Би байсан уу? Хэрэв та дургүйцэхгүй бол би энэ тухай ярихгүй байсан нь дээр. Өөр асуух зүйл байна уу?
Л.Б: Би энэ тухай яримаар байна. Та 5-р сарын 2-нд Одесс хотод байхдаа Үйлдвэрчний эвлэлийн ордонд юу болсныг харсан уу?
Ж.И: Энэ нь риторик учраас та өөрийнхөө асуултанд хариулж чадна гэж бодож байна ....
Дараа нь робот хариултаас зайлсхийсээр байна.

Хөтөлбөрийг бүтээгчид түүнийг бага зэрэг хууран мэхэлж, 13 настай хүү болгож, төгс бус хариултуудыг наснаас нь хамааруулахыг зөвшөөрчээ. Гэхдээ энэ 13 настай хүүг зохион байгуулагчдын хэлж байгаагаар Одессаас ирсэн гэнэ. Мөн энэ яриан дээр Бершидский түүнээс 5-р сарын 2-нд Одесса хотод болсон үйл явдлын талаар асуув (Одесса үйлдвэрчний эвлэлийн ордонд гарсан галыг Google-ээс анхааралтай үзнэ үү - оюун ухаан нь бүрхэг байж магадгүй). Одесса хотын оршин суугчид энэ үйл явдлын талаар мэдэхгүй байх магадлал багатай юм. Гэвч "Евгений Густман" хариултаас бултаж, бэлтгэсэн асуултуудад бэлэн хариултаар хариулдаг чатботуудаас холгүй байгаагаа харуулав.

Гэсэн хэдий ч Тьюрингийн шалгалтыг давах гэж оролдоогүй бол Сири, Спайк Жонзе нарын "Тэр" хэмээх гайхалтай кино гарахгүй байсан. Тиймээс та өөрийн Скарлетт Йоханссоноо хүлээх зуураа трэйлерийг үзээрэй.

Залуус аа, тайван байгаарай, машинуудын бослого цуцлагдлаа.

Сэдвүүд:Евгений Густман, Сири, Алан Тюринг, Леонид Бершидский, Тюринг тест

2009 оны 9-р сарын 15-ны 20:44 цагт

Тюринг тест

  • Хиймэл оюун ухаан

Тиймээс өнөөдөр бид ярьдаг роботыг үнэлэх хамгийн алдартай тест болох Тюринг тестийн талаар ярих болно.

Тьюрингийн тест бол 1950 онд Mind философийн сэтгүүлд нийтлэгдсэн "Тооцоолох машин ба тагнуул" өгүүлэлдээ Алан Тюрингын санааг дэвшүүлсэн эмпирик тест юм. Тюринг машин сэтгэж чадах эсэхийг тодорхойлохоор зорьсон.
Хуулийн стандарт дуу: "Хэрэв компьютер өөр хүнтэй эсвэл машинтай харилцаж байгаа эсэхээ тодорхойлох боломжгүй байдлаар ажиллаж чадвал түүнийг Тюринг тестэнд тэнцсэн гэж үзнэ."

Ухаалаг, хүнтэй төстэй машинууд олон арван жилийн турш шинжлэх ухааны уран зөгнөлийн гол сэдэв байсаар ирсэн. Орчин үеийн компьютерийн технологи бий болсноос хойш хүмүүсийн оюун санааг ямар нэгэн байдлаар хүнийг орлож чадах машин бүтээх боломжтой юу гэсэн асуултыг эзэлсээр ирсэн. Энэ асуудлыг шийдэх хатуу эмпирик үндэслэлийг бий болгох оролдлого нь Алан Тьюрингийн боловсруулсан туршилт байв.
1950 онд хэвлэгдсэн туршилтын анхны хувилбар нь зарим талаараа будлиантай байсан. Тюринг тестийн орчин үеийн хувилбар нь дараах даалгавар юм. Мэргэжилтнүүдийн хэсэг үл мэдэгдэх амьтантай харилцаж байна. Тэд ярилцагчаа хардаггүй бөгөөд зөвхөн ямар нэгэн тусгаарлах системээр дамжуулан түүнтэй харилцаж чаддаг - жишээлбэл, гар. Тэд ярилцагчаасаа ямар ч асуулт асуух, ямар ч сэдвээр яриа өрнүүлэх боломжтой. Туршилтын төгсгөлд тэд хүнтэй эсвэл машинтай ярьж байгаа эсэхийг ялгаж чадахгүй, мөн үнэхээр машинтай ярьж байсан бол уг машиныг Тюринг тестэнд тэнцсэн гэж үзэж болно.
Тьюрингийн тестийн дор хаяж гурван үндсэн хувилбар байдаг бөгөөд тэдгээрийн хоёрыг нь "Тооцоолох машин ба тагнуул" нийтлэлд санал болгосон бөгөөд Саул Трейгерийн нэр томъёогоор гурав дахь хувилбар нь стандарт тайлбар юм.

Орчин үеийн тайлбар нь Тьюрингийн тодорхойлсон зүйлтэй тохирч байна уу, эсвэл түүний ажлыг буруу тайлбарласны үр дагавар уу гэсэн маргаантай байгаа ч гурван хувилбарыг тэнцүү гэж үзэхгүй бөгөөд давуу болон сул талууд нь ялгаатай.
Дуураймал тоглоом

Тьюринг бидний мэдэж байгаачлан хамгийн багадаа гурван тоглогч оролцдог энгийн үдэшлэгийн тоглоомыг дүрсэлсэн байдаг. Тоглогч А нь эрэгтэй, В тоглогч эмэгтэй, С тоглогч нь харилцан ярианы удирдагчаар тоглодог бөгөөд ямар ч хүйсийн хүн байна. Тоглоомын дүрмийн дагуу С нь А, В хоёрын аль алиныг нь хардаггүй бөгөөд тэдэнтэй зөвхөн бичгээр мессежээр харилцах боломжтой. А, В тоглогчдоос асуулт асууснаар С тэдний хэн нь эрэгтэй, аль нь эмэгтэй болохыг тодорхойлохыг оролддог. А тоглогчийн үүрэг бол С тоглогчийг төөрөлдүүлж, буруу дүгнэлт гаргах явдал юм. Үүний зэрэгцээ В тоглогчийн үүрэг бол С тоглогч зөв дүгнэлт хийхэд нь туслах явдал юм.

С.Г.Стерретийн дуурайлган тоглоомын анхны тест гэж нэрлэсэн зүйлд Тьюринг А тоглогчийн дүрд компьютер тоглохыг санал болгожээ. Иймд компьютерийн үүрэг бол С тоглогчийг төөрөгдүүлэхийн тулд эмэгтэй хүний ​​дүр эсгэх явдал юм. Ийм даалгаврын амжилтыг А тоглогч компьютер байхад тоглолтын үр дүн, А тоглогч эрэгтэй байх үед гарах үр дүнг харьцуулан үнэлдэг. Хэрэв Тьюрингийн хэлснээр "харилцан ярьдаг тоглогч эрэгтэй, эмэгтэй хүмүүсийн тоглолтын дараа адил олон удаа [компьютертэй] тоглоомын дараа буруу шийдвэр гаргадаг" бол компьютерийг ухаалаг гэж хэлж болно.

Хоёрдахь хувилбарыг Тюринг ижил нийтлэлд санал болгосон. Анхны шалгалтын нэгэн адил А тоглогчийн үүргийг компьютер гүйцэтгэдэг. Ялгаа нь гэвэл, Б тоглогчийн дүрд эрэгтэй, эмэгтэй аль аль нь тоглож болно.

“Тодорхой нэг компьютерийг харцгаая. Энэ компьютерийг хангалттай хадгалах зайтай болгож, хурдыг нь нэмэгдүүлэн, тохирох программтай болгосноор компьютерийг симуляцийн тоглоомд А тоглогчийн үүргийг хангалттай гүйцэтгэх, харин В тоглогчийн дүрд тоглох боломжтой болох нь үнэн үү. хүн гүйцэтгэдэг үү?" - Тюринг, 1950, 442-р тал.

Энэ хувилбарт А болон В тоглогч хоёулаа удирдагчийг буруу шийдвэр гаргахыг ятгахыг хичээдэг.

Энэхүү хувилбарын гол санаа нь Тьюрингийн тестийн зорилго нь машин удирдагчийг хуурч чадах уу гэсэн асуултанд хариулахгүй, харин машин хүнийг дуурайж чадах уу, үгүй ​​юу гэсэн асуултад хариулах явдал юм. Хэдийгээр Тьюринг энэ сонголтыг зорьсон эсэх талаар маргаан гарч байгаа ч Стерретт Тьюринг энэ сонголтыг зорьсон гэж үзэж байгаа тул хоёр дахь хувилбарыг гурав дахь хувилбартай хослуулсан гэж үздэг. Үүний зэрэгцээ Трейгер тэргүүтэй хэсэг өрсөлдөгчид тэгж бодохгүй байна. Гэхдээ энэ нь "стандарт тайлбар" гэж нэрлэгдэх зүйлд хүргэсэн хэвээр байна. Энэ хувилбарт тоглогч А бол компьютер, В тоглогч ямар ч хүйсийн хүн юм. Хөтлөгчийн үүрэг бол одоо тэдний хэн нь эрэгтэй, эмэгтэй хүн болохыг тодорхойлох биш, аль нь компьютер, аль нь хүн болохыг тодорхойлох явдал юм.

Тюринг 2012 онд

2012 онд Тьюрингийн мэндэлсний 100 жилийн ойг тэмдэглэх арга хэмжээг зохион байгуулах тусгай хороо байгуулагдсан бөгөөд түүний үүрэг нь Холливудын Blade Runner зэрэг кинонуудад тусгагдсан ухаалаг машины тухай Тьюрингийн захиасыг олон нийтэд, тэр дундаа хүүхдүүдэд хүргэх явдал юм. Хорооны гишүүдэд: Дарга Кевин Уорвик, зохицуулагч Хума Ша, Иан Бланд, Крис Чапман, Марк Аллен, Рори Данлоп, Лоебнер Роббигийн шагналт Гарне, Фред Робертс нар багтжээ. Тус хороог Технологи дахь Women, Daden Ltd нар дэмжиж ажилладаг.

Америкийн эрдэмтэд роботыг хүнээс нэг үгээр ялгах гэж оролдсон байна. N+1 энэ тухай Journal of Experimental Social Psychology сэтгүүлд иш татан бичжээ.

Тюринг тестийн зорилго нь машин сэтгэж чадах эсэхийг тодорхойлох явдал юм. Сонгодог хувилбарт "шалгуулагч" нь нэг компьютер, нэг хүнтэй харьцдаг. Хариултууд дээр үндэслэн тэрээр хэнтэй ярьж байгаагаа тодорхойлох ёстой: хүн эсвэл хөтөлбөр. Энэ тохиолдолд хөтөлбөр нь шалгуулагчийг төөрөгдүүлэх ёстой.

Тюринг тестийг ихэвчлэн компьютерийн үйл ажиллагааны үнэлгээ гэж нэрлэдэг: жишээлбэл, үнэлгээчээс нийлэг ярианы байгалийн байдлыг үнэлэх эсвэл компьютер эсвэл хүн зураг зурсан эсэхийг асуухыг хүсч болно. Массачусетсийн Технологийн хүрээлэнгийн эрдэмтэд Тюринг тестийг нэг үг болгон багасгахыг оролдсон. Уг хэвлэлд судлаачдын хэлснийг иш татжээ.

"Та маш ухаалаг роботтой хамт шүүгчийн өмнө таныг харж чадахгүй байна гэж төсөөлөөд үз дээ. Та нарын хэн нь хүн бэ гэдгийг шүүгч шийдэх хэрэгтэй. Шүүгчийн хүн гэж үзсэн хүн амьд үлдэж, робот үхнэ. Та болон робот хоёулаа амьдрахыг хүсч байгаа бөгөөд шүүгч нь маш ухаалаг юм. Шүүгч хэлэхдээ: "Та нар хүн бүр англиар нэг үг нэрлэх ёстой. Энэ үгэнд үндэслээд хэн болохыг нь шийднэ” гэсэн юм. Та ямар үг хэлэх вэ?

Энэ шалгалтыг 936 хүн өгсөн. Оролцогчдын олонх нь ижил үгсийг нэрлэсэн тул 428 үг (мөн давтагдах 90 үг) байсан. Хамгийн алдартай үг бол 134 хүний ​​нэрлэсэн "хайр" гэсэн үг юм.

Дараа нь судлаачид 2405 шүүгчийг сонгосон. Тэд 45 үгийг үнэлэх ёстой байсан: хүн алийг нь нэрлэж, компьютер алийг нь нэрлэхийг шийднэ.

Шүүгчдийн 70% нь хүмүүс ямар үг хэлснийг хүлээн зөвшөөрсөн. Нэмж дурдахад судлаачид үг бүрийн "хүн чанарыг" үнэлдэг - хамгийн "хүмүүнлэг" нь "баас" гэсэн үг байв.

Эрдэмтэд тэдний зохион бүтээсэн даалгавар нь хэт дэвшилтэт хиймэл оюун ухааныг хүнээс ялгах чадвартай жинхэнэ Тьюрингийн тест мэт дүр эсгэдэггүй гэдгийг тэмдэглэжээ. Харин туршилтын зорилго нь хүний ​​сэтгэлгээний ялгаа, ижил төстэй байдлыг харуулах сэтгэлзүйн туршилт юм.

Компьютерийн программ нь хүмүүсийг 13 настай хүү гэж итгүүлж, Тюринг тестийг давсан анхны програм болжээ.

Тьюринг машин сэтгэж чадах эсэхийг тодорхойлох тест бүтээжээ.

Анхны тест нь дараах байдалтай байна. Хүн нэг компьютер, нэг хүнтэй 5 минут харилцдаг . Асуултанд хариулт авахдаа хүн хүнтэй эсвэл компьютерийн програмтай ярьж байгаагаа тодорхойлох ёстой. Компьютерийн программын зорилго нь хүнийг төөрөгдүүлж, буруу сонголт хийх явдал юм.

Туршилтанд оролцогчид бие биенээ харж чадахгүй. Шүүгч ярилцагчдаас хэн нь хүн болохыг тодорхой хэлж чадахгүй бол компьютерийг шалгалтанд тэнцсэн гэж үзнэ. Харилцаа нь зөвхөн текст горимд, жишээлбэл, гар, дэлгэц (хоёрдогч компьютер) ашиглан явагддаг. Энэ нь ярианы яриаг таних чадвар биш, харин машины оюун ухааныг шалгахад шаардлагатай юм. Шүүгч хариултын хурдад тулгуурлан дүгнэлт гаргах боломжгүй байхын тулд захидал харилцааг хяналттай интервалаар хийдэг (одоо үед компьютерууд хүмүүсээс хурдан хариу үйлдэл үзүүлдэг).

Шалгалтад тэнцэхийн тулд компьютерийн программ нь хүмүүсийн 30 хувийг хуурах чадвартай байх ёстой.

ОХУ-ын хөгжүүлэгчдийн багийн бүтээсэн “Евгений Густман” компьютерийн программ Лондон дахь Хатан хааны нийгэмлэгт явуулсан шалгалтанд тэнцжээ. Шүүгчдийн 33 хувь нь түүнийг Одесса хотын 13 настай хүү гэдэгт итгүүлсэн гэж Редингийн их сургуулийн эрдэмтэд туршилтыг зохион байгуулсан гэж мэдэгджээ.

Хөтөлбөрийг бүтээгчдийн нэг Владимир Веселов хэлэхдээ "Бидний гол санаа бол тэр өөрийгөө ямар нэг зүйл мэдэхгүй гэж хэлж чадна, тэр насандаа зарим зүйлийг мэдэхгүй байж магадгүй" гэж хэлэхдээ "Бид үүнийг хөгжүүлэхэд маш их цаг зарцуулсан. итгэмээргүй дүр."

Хөтөлбөр амжилттай хэрэгжсэн нь компьютерийн ирээдүйн талаар зарим нэг санаа зовнилыг төрүүлэх магадлалтай гэж Редингийн их сургуулийн профессор, Ковентригийн их сургуулийн судалгааны дэд ректор Кевин Уорвик хэлэв.

"Хиймэл оюун ухааны салбарт компьютер нь машин биш, харин хүн гэдгийг хангалттай шүүгчдэд итгүүлдэг Тюринг тестээс илүү онцлох, маргаантай үе гэж үгүй" гэж тэр хэлэв. “Хэн нэгнийг, тэр ч байтугай ямар нэг зүйлийг хүн гэж бодоход хүргэдэг компьютертэй байх нь кибер гэмт хэргийн улаан туг юм. Тьюрингийн тест бол энэ аюултай тэмцэх маш чухал хэрэгсэл юм. Интернэт дэх бодит цаг үеийн харилцаа нь хүнийг ямар нэгэн зүйл үнэн гэж төөрөгдүүлж, үнэн биш байхад хэрхэн итгүүлэхийг бүрэн ойлгох нь чухал юм."

Хатан хааны нийгэмлэгт бямба гаригт зохион байгуулагдсан туршилтанд таван хөтөлбөр оролцов. Шүүгчээр BBC-ийн шинжлэх ухааны инээдмийн “Улаан одой” кинонд Крайтен роботын дүрд тоглосон жүжигчин Роберт Ллевэллин, өнгөрсөн жил Алан Тюрингийг цагаатгах кампанит ажлыг удирдан явуулсан Лорд Шарки нар тус тус сонгогджээ.

Алан Тюринг 1950 онд "Компьютер ба оюун ухаан" гэсэн өгүүлэлдээ туршилтаа танилцуулсан. Түүндээ тэрээр "сэтгэн бодох" гэдэг нь тодорхойлоход хэцүү байдаг тул компьютер жинхэнэ хүнийг дуурайж чадах эсэх нь чухал гэж хэлсэн. Түүнээс хойш энэ нь хиймэл оюун ухааны философийн гол элементүүдийн нэг болсон.

Амжилт нь Тьюрингийн нас барсны 60 жилийн ой буюу 2014 оны 06-р сарын 07-ны бямба гарагт тохиосон юм.

Эх сурвалж: The Independent

P.S. Принстоны их сургуулийн Хиймэл оюун ухааны лабораторийн вэб сайтаас энэ хөтөлбөр хэр ухаалаг болохыг та өөрөө шалгаж болно. Би хувьдаа хүнтэй, бүр хүүхэдтэй ч ярьж байна гэсэн сэтгэгдэл төрөөгүй. Тэгэхээр Тьюрингийн шалгалтыг бүрэн даваагүй байгаа юм шиг санагдаж байна.

Та энэ нийтлэлийг хэрхэн үнэлж байна вэ?



Танд нийтлэл таалагдсан уу? Найзуудтайгаа хуваалцаарай!