Yovvoyi tabiatda yurishni aniqlash uchun o'z-o'zini boshqaradigan ko'rish transformatorlarini o'rganish 1-qism

Annotatsiya:

Yurish usuli (yurish) kuchli biometrik bo'lib, barmoq izlarini olishning noyob usuli sifatida qo'llaniladi, bu esa hamkorliksiz masofadan turib xulq-atvor tahlilini o'tkazishga imkon beradi.

Har birimiz bilamizki, jismoniy mashqlar salomatlikka yordam beradi. Bundan tashqari, jismoniy mashqlar xotirani yaxshilashga yordam beradi. Yurish - mashq qilishning eng oddiy va eng oson shakli bo'lib, ko'p odamlar yurish yoki yugurish paytida dam olishni yaxshi ko'radilar. Endi ko'proq tadqiqotlar shuni ko'rsatadiki, yurish miya uchun kuchli narsalarni qiladi.

Birinchidan, yurish miyaning asab tizimini rag'batlantiradi, bu miya faoliyatini kuchaytirishga yordam beradi. Tana harakat qilganda, yurak urish tezligi va qon oqimi oshadi, bu esa miyani ko'proq neyronlar va sinapslarni ishlab chiqarishni rag'batlantiradi. Ushbu neyronlar va sinapslar o'rtasidagi aloqalar yangi neyron tarmoqlarni va tezroq fikrlash jarayonlarini yaratishi mumkin.

Ikkinchidan, yurish xotirani yaxshilash uchun juda muhim bo'lgan stress va tashvishlardan xalos bo'lishi mumkin. Ong va tana zo'riqish, tushkunlik yoki tashvish holatida bo'lsa, miya kortizol deb ataladigan gormonni chiqaradi. Kortizol miyadagi neyronlar va sinapslarga zarar etkazadi, bu esa xotirani yo'qotishiga olib kelishi mumkin. Yurish stress va xavotirni engillashtiradi, tanadagi kortizol ishlab chiqarishni kamaytiradi va sog'lom neyronlar va sinapslarni saqlashga yordam beradi.

Nihoyat, yurish miyaga qon aylanishini oshiradi. Ba'zi tadqiqotlar shuni ko'rsatadiki, yaxshi qon aylanishi xotirani yaxshilashga yordam beradi. Yoshimiz o'tgan sari miyadagi qon tomirlari asta-sekin tiqilib qoladi, natijada miya kislorod bilan ta'minlanmaydi. Yurish yurakning sog'lig'ini yaxshilaydi, yurakka kislorod va ozuqa moddalarini miyaga yanada samarali etkazib berishga imkon beradi, shu bilan xotira va miya faoliyatini rag'batlantiradi.

Shuning uchun, yurish yosh va qari uchun ajoyib mashqdir. Jismoniy salomatlikni yaxshilashdan tashqari, yurish ham xotirani yaxshilashga yordam beradi. O'zimizni sog'lom va yaxshiroq qilish uchun har kuni masofani bosib o'taylik! Ko'rinib turibdiki, biz xotirani yaxshilashimiz kerak va Cistanche deserticola xotirani sezilarli darajada yaxshilashi mumkin, chunki Cistanche deserticola an'anaviy xitoylik dorivor material bo'lib, u juda ko'p noyob ta'sirga ega, ulardan biri xotirani yaxshilashdir. Qiymaning samaradorligi uning tarkibidagi turli faol moddalar, jumladan kislota, polisakkaridlar, flavonoidlar va boshqalardan kelib chiqadi. Bu ingredientlar turli yo'llar bilan miya salomatligini mustahkamlashi mumkin.

Xotirani yaxshilashning 10 ta usulini bilish tugmasini bosing

An'anaviy biometrik autentifikatsiya usullaridan farqli o'laroq, yurish tahlili sub'ektning aniq hamkorligini talab qilmaydi va sub'ektning yuzi to'siqsiz/ko'rinadigan bo'lishini talab qilmasdan, past aniqlikdagi sozlamalarda amalga oshirilishi mumkin. Ko'pgina zamonaviy yondashuvlar tanib olish va tasniflash uchun neyron arxitekturasini ishlab chiqishga yordam beradigan toza, oltin standart izohli ma'lumotlar bilan boshqariladigan muhitda ishlab chiqilgan.

Yaqinda yurish tahlili o'z-o'zini nazorat qilish tartibida oldindan o'qitilgan tarmoqlar uchun yanada xilma-xil, keng ko'lamli va real ma'lumotlar to'plamidan foydalanishga kirishdi. O'z-o'zini nazorat qiladigan mashg'ulot rejimi odamning qo'lda qimmatli izohlarisiz turli xil va mustahkam yurish tasvirlarini o'rganish imkonini beradi. Transformator modelidan chuqur o'rganishning barcha sohalarida, shu jumladan kompyuterda ko'rishda keng qo'llanilishi tufayli, biz ushbu ishda o'z-o'zini nazorat qilishda yurishni aniqlash uchun bevosita qo'llaniladigan turli xil ko'rish transformator arxitekturalaridan foydalanishni o'rganamiz.

Biz oddiy ViT, CaiT, CrossFormer, Token2Token va TwinsSVT-ni ikki xil keng ko'lamli yurish ma'lumotlar to'plamiga moslashtiramiz va qayta o'qitamiz: GREW va DenseGait. Biz yurishni aniqlashning ikkita standart ma'lumotlar to'plamida, CASIA-B va FVGda nol tortishish va nozik sozlash uchun keng natijalarni taqdim etamiz va vizual transformator tomonidan ishlatiladigan fazoviy va vaqtinchalik yurish ma'lumotlari miqdori o'rtasidagi munosabatni o'rganamiz.

Natijalarimiz shuni ko'rsatadiki, harakatni qayta ishlash uchun transformator modellarini loyihalashda ierarxik yondashuv (ya'ni, CrossFormer modellari) oldingi butun skelet yondashuvlariga qaraganda ancha yaxshi nozikroq harakat yarmarkalarida qo'llaniladi.

Kalit so‘zlar:

yurishni aniqlash; biometrik autentifikatsiya; ko'rish transformatori; pozani baholash; o'z-o'zini nazorat qilish; kontrastli o'rganish.

1.Kirish

Qanday harakat qilishimiz o'zimiz haqida muhim maslahatlarni o'z ichiga oladi. Xususan, bizning yurishimiz (yurish tarzimiz) tibbiyot [1], psixologiya [2] va sport fanlarida [3] yaqindan o'rganilgan. So'nggi paytlarda yurish tahliliga kompyuter fanlari hamjamiyatining e'tibori ortdi [4,5] chuqur o'rganishning eksponentsial rivojlanishi va hisoblash texnikasining keng tarqalishi bilan bir vaqtda.

Sun'iy intellektga asoslangan yurishni tahlil qilish tizimlari tashqi ko'rinish belgilaridan foydalanmasdan sub'ektlarni muvaffaqiyatli taniy oldi [6-10], jinsi va yoshi [11] kabi demografik ko'rsatkichlarni va kiyim kabi tashqi atributlarni [12] baholashga muvaffaq bo'ldi. Tayanch-harakat tuzilishi, genetik va atrof-muhit omillari, shuningdek, yuruvchining hissiy holati va shaxsiyati bilan bog'liq bo'lgan yurishdagi katta miqdordagi individual farqlarni hisobga olsak, bu natijalar ajablanarli emas [13].

Mavjud tizimlar faqat boshqariladigan yopiq muhitda o'qitiladi va sinovdan o'tkaziladi. Ko'pgina usullar yurishni aniqlash modellari uchun standart mezon sifatida CASIA-B ma'lumotlar to'plamidan [6] foydalanadi, unda 124 ta ob'ektni bir nechta kameralar yordamida qattiq boshqariladigan tarzda bino ichida yurgan. Haqiqiy dunyodagi murakkablikni bunday cheklangan stsenariylar bilan to'liq modellash mumkin emas. Yaqinda asosiy e'tibor DenseGait [12], GREW [7] va Gait3D [14] kabi ma'lumotlar to'plamlari bilan "yovvoyi tabiatda" yurishni modellashtirishga qaratildi.

Toza va to'liq izohlangan keng ko'lamli ma'lumotlar to'plamini to'plash moliyaviy resurslar va ajratilgan vaqt nuqtai nazaridan juda katta harakatni anglatadi. GREW maʼlumotlar toʻplamini [7] toʻplash va izohlash uchun 3 oylik uzluksiz ish olib borilgani xabar qilingan. Bunday yondashuvlar yurishni qayta ishlash uchun neyron arxitekturasini ishlab chiqishda foydali bo'lgan bo'lsa-da [8,9], ular yanada qulayroq, haqiqiy dunyo muhitida to'g'ri foydalanish uchun etarlicha xilma-xil emas.

AI hamjamiyati asta-sekin boshqa sohalarda bu yondashuvdan uzoqlashmoqda, ko'rish [15] va til [16] uchun o'z-o'zini nazorat qilish usullarini sezilarli darajada jalb qilmoqda va ko'pincha an'anaviy nazorat qilinadigan usullardan oshib bormoqda. O'z-o'zini nazorat qilish bo'yicha so'nggi yutuqlar shuni ko'rsatdiki, o'z-o'zini boshqaradigan modellar yanada mustahkamroq va mashg'ulotlar davomida aniq belgilanmagan xatti-harakatlarni namoyon qiladi.

Masalan, DINO [17], o'z-o'zini boshqaradigan rejimda o'qitilgan ko'rish transformatori, mashg'ulot paytida bunday teglardan foydalanmasdan nazoratsiz ob'ektni segmentatsiyalash imkonini beradigan sinfga xos xususiyatlarni o'rgandi. Cosmaand Radoi [10] DenseGait [12] ning kichikroq versiyasida ST-GCN [18] ni o'rgatish orqali gaitanaliz uchun o'z-o'zini nazorat qilish uchun birinchi kontrastli usulni taklif qildi. Ularning usuli quyi oqimdagi yurishni aniqlash vazifalari bo'yicha oqilona natijalarga erishdi va oldindan o'rgatilgan ma'lumotlar to'plamining o'lchami va nol zarba uzatish samaradorligi o'rtasida kuchli bog'liqlik borligini ko'rsatdi.

Yurishni tahlil qilishning ko'plab yondashuvlari fonni olib tashlashdan olingan siluetlardan foydalangan bo'lsa-da [6,8,9], haqiqiy kuzatuv stsenariylarida siluetlarni olish yuqori hisoblash xarajatlarini talab qiladigan misollarni segmentatsiyalash [19] kabi ilg'or usullardan foydalanishni nazarda tutadi. Siluetlar ketma-ketligi katta hajmli saqlash joyini egallaydi va boshqa qo'shni vazifalarda, masalan, faoliyatni aniqlashda foydalanish uchun etarlicha moslashuvchan emas. Bundan tashqari, siluetlar tashqi ko'rinishning nozik belgilarini kodlaydi, bu esa identifikatsiyalashda harakat qanchalik darajada qo'llanilishini tushunarsiz qiladi [20].

Boshqa tomondan, 2D pozalarni baholash modellari borgan sari aniqroq va hisoblash jihatidan samarali boʻlib bormoqda [21,22]. Skeletlarni ajratib olish arzon va hozirda 3D toʻr va 3D pozalarga qaraganda, ayniqsa, masofada ishonchliroq. Bundan tashqari, 2D skeletlari uzoq muddatli saqlash nuqtai nazaridan siluetlarga qaraganda ancha engilroq.

Skeletlarning ketma-ketligini qayta ishlashning hozirgi arxitekturalari model dizaynida induktiv moyillikni kiritib, inson skeletida mavjud bo'lgan tabiiy fazoviy grafik tuzilmasidan foydalanadi. Mashhur ST-GCN [18] va MS-G3D [23] kabi modellar skeletga asoslangan harakatni aniqlashda ajoyib natijalarga erishdi.

Shu bilan birga, transformator modellarini tabiiy tilni qayta ishlash uchun dastlabki qo'llanilishidan boshlab chuqur o'rganishning deyarli barcha sohalarida foydalanishda portlash sodir bo'ldi.

Transformatorlar umumiyroq arxitektura hisoblanadi, ular kam induktiv moyilliklarga ega. Dastlab, transformatorlar tasvir tasnifi uchun CNN modellariga mos kelish uchun kurashdilar [24], lekin hozirda boshqa modellardan ustundir va o'z-o'zini nazorat qiladigan stsenariylarda istiqbolli natijalarni ko'rsatmoqda, boshqa turdagi arxitekturalarga qaraganda, transformatorlar ta'sirchan o'rganish qobiliyatini va o'z-o'zidan paydo bo'ladigan xatti-harakatlarni ko'rsatdi. -nazorat [17].

Cosma va Radoi [12] birinchi bo'lib GaitFormerni taklif qilishdi, bu ko'rish transformatori kodlovchi modelini yurishni aniqlash uchun to'g'ridan-to'g'ri moslashtirish, "yamoqlar" sifatida individual skeletlardan foydalanadi, asosan faqat vaqtinchalik diqqatni bajaradi, fazoviy diqqat munosabatlarini e'tiborsiz qoldirdi.

GaitFormer o'z-o'zini nazorat qilish uslubida o'qitilgan va hech qanday nozik sozlashsiz ham boshqa yurish usullaridan ustun keldi. Bunday oldingi ishlar rag'batlantiradi va yurish tahlili uchun transformator arxitekturasining potentsial qo'llanilishini chuqurroq o'rganishga yo'l ochadi. Ko'rish transformatori modellarini skeletning yurish tasvirlarini o'z-o'zini nazorat qilish uchun moslashtirish mumkinmi?

Ko'rish transformatorlarining asosiy me'moriy muammosi mahalliy va global ma'lumotlarni aniqlaydigan tasvir yamoqlari o'rtasidagi to'g'ri munosabatlarni aniqlashdir. Yurish uchun qo'llanilganda, yamoq o'lchamlarini tanlash skelet ketma-ketligining kodlangan vaqtinchalik va fazoviy ma'lumotlari miqdoriga mos keladi.

Ushbu ishda biz yurishni aniqlash uchun moslashtirilgan besh xil ko'rish transformatorlarining keng qamrovli tadqiqotini taqdim etamiz. Biz klassik ViT modelini [24], CaiT [25], CrossFormer [26], TwinsSVT [27] va token-token ViT [28] ni oʻrganamiz.

Har bir arxitektura 2D yurish skeletlari ketma-ketligining ikkita keng miqyosli "yovvoyida" ma'lumotlar to'plamida qarama-qarshi o'zini o'zi boshqaradigan tarzda alohida o'qitiladi: DenseGait - xom kuzatuv oqimlaridan avtomatik ravishda yig'ilgan ma'lumotlar to'plami va GREW, toza inson izohlarini o'z ichiga olgan kichikroq ma'lumotlar to'plami.

Biz yurishni aniqlash uchun ikkita boshqariladigan ma'lumotlar to'plami, CASIA [6] va FVG [29] bo'ylab uzatish imkoniyatlarini o'rganamiz. Har bir maʼlumotlar toʻplami uchun biz maʼlumotlar toʻplamining tobora kattaroq kichik toʻplamlari bilan mashq qilish orqali aniq sozlash vaqtida toʻgʻridan-toʻgʻri (nol-shot) uzatish va maʼlumotlar samaradorligini tahlil qilamiz. Bundan tashqari, SimpleViT va CaiT uchun yamoq oʻlchamlari uchun fazoviy va vaqtinchalik oʻlchovlar oʻrtasidagi bogʻliqlik boʻyicha ablasyon tadqiqotini oʻtkazamiz. , hozirgi kunga qadar ko'pgina ko'rish transformatorlari uchun standart magistrallar.

Qog'ozning qolgan qismi quyidagicha tashkil etilgan. Biz yurishni aniqlash modellari va ko'rish transformatorlari bo'yicha tegishli ishlarni yuqori darajada ko'rib chiqamiz. Biz yurishni tasvirlash modellari o'z-o'zidan boshqariladigan treningdan yanada mustahkamroq va umumiy o'rnatishga ega bo'lish uchun katta foyda keltirishini kuzatamiz va transformator modellari o'z-o'zini nazorat qilish rejimlarida katta modellashtirish qobiliyatini ko'rsatdi.

Bundan tashqari, biz taqqoslaydigan besh arxitekturani matematik tarzda tasvirlaymiz va ma'lumotlarni oldindan qayta ishlash va bajarilishi kerak bo'lgan skelet o'zgarishlarini tasvirlaymiz, shuning uchun ko'rish transformatorlari skelet ketma-ketligida muammosiz ishlashi kerak. Shuningdek, biz ma'lumotlarni ko'paytirish, o'qitish va taqqoslash ma'lumotlar to'plamlari va eksperimental sozlashlarni tasvirlaymiz.

Biz beshta arxitekturaning har biri uchun CASIA-B va FVG natijalarini va ikkita “yovvoyi tabiatda tayyorgarlikdan oldin” ma’lumotlar to‘plamini namoyish qilamiz. Nihoyat, biz fazoviy va vaqtinchalik yamoq o'lchamlari o'rtasidagi bog'liqlik bo'yicha ablasyon tadqiqotini qilamiz va natijalarimizni qisqacha muhokama qilamiz. Shaffoflik va takrorlanuvchanlik uchun manba kodimizni GitHub (https://github.com/cosmaadrian/gait-vit, 2023-yil 28-fevralda ochilgan) orqali hammaga ochiq qilamiz.

2. Tegishli ish

Ushbu bo'limda biz nazoratsiz muhitda va "yovvoyi tabiatda" yurishni aniqlashning mavjud usullari haqida qisqacha ma'lumot beramiz. Keyinchalik, biz transformator modellarining asosiy ishlanmalarini va xususan, ularning ko'rish sohasida qo'llanilishini tavsiflaymiz.

2.1. Yurishni aniqlash

Yuzga asoslangan identifikatsiyaga o'xshab, yurishni aniqlash metrik o'rganishga tayanadi. Yagona tasvirga (masalan, yuzni tanish) tayanadigan va keng hamkorlikni talab qiluvchi (masalan, iris asosidagi biometrik autentifikatsiya) anʼanaviy biometrik autentifikatsiya usullaridan farqli oʻlaroq, yurish xususiyatlari harakatlanuvchi suratlar ketma-ketligi sifatida qayta ishlanadi. Bunday imo-ishoralar dinamikasi eng ma'lumotli pastki ketma-ketlikni aniqlashda ko'proq murakkablikni talab qiladi, lekin masofadan turib ko'zga tashlanmaydigan autentifikatsiyadan foydalanishga imkon beradi.

Shu nuqtai nazardan, vazifa kodlovchi tarmog'ini yurish ketma-ketligini joylashtirish maydoniga xaritalash uchun o'rgatishni nazarda tutadi, bu erda joylashtirish o'xshashligi yurishning o'xshashligiga mos keladi. Xuddi shu shaxsga tegishli bo'lgan yurishlarning joylashuvi joylashtirish maydoniga yaqin bo'lishi kerak va turli xil identifikatorlardan kelganlar uzoqroq bo'lishi kerak. Ushbu o'rnatish maydonida yurish ketma-ketligini kiritish va eng yaqin qo'shnidan foydalanish orqali xulosa chiqarish mumkin. ma'lum yurishlar ma'lumotlar bazasiga yondashuv.

Yurishga asoslangan tanib olishning hozirgi yondashuvlari ikki toifaga bo'linadi: tashqi ko'rinishga asoslangan [8,9] va modelga asoslangan [10,12,30]. Tashqi ko'rinishga asoslangan usullar, birinchi navbatda, har bir video ramkadan fonni olib tashlash yoki segmentatsiya algoritmlari bilan yuradigan sub'ektlarning siluetlarini oladi.

Keyin siluetlar ketma-ketligi CNN-ga asoslangan arxitekturaga kiritiladi, ular fazoviy va vaqtinchalik xususiyatlarni ajratib, tanib olish uchun yakuniy joylashtirishga birlashtiriladi. Modelga asoslangan yondashuvlar taxminiy modellar bilan RGB videolaridan skeletlarni chiqaradi [21,22]. Skeletlar ketma-ketligi odatda yurishning o'rnatilishini olish uchun grafik konvolyutsiyalarga [10,30] asoslangan modellar tomonidan qayta ishlanadi.

GaitSet, Chao va boshqalarning ishi. [8], yurishni tartibsiz siluetlar to'plami deb hisoblaydi. Mualliflarning ta'kidlashicha, bu tasvir siluet ketma-ketligiga qaraganda ancha moslashuvchan, chunki u ramkalarning turli xil tartibga solinishi yoki ko'p yurish yo'nalishlari va o'zgarishlari kombinatsiyasiga chidamli. Tasvir darajasidagi xususiyatlarni olish uchun ular har bir siluet uchun konvolyutsiya qatlamlaridan foydalanadilar va ularni Set Pooling bilan belgilangan darajadagi xususiyatga birlashtiradi. Ular HorizontalPyramid Matching [31] versiyasidan foydalangan holda yakuniy natijaga erishadilar.

Fan va boshqalar. [9] inson siluetining o'ziga xos qismlari o'z fazoviy-vaqt ifodasiga ega bo'lishi kerakligini payqashgan, chunki ularning har biri o'ziga xos naqshga ega. Ularning arxitekturasi, GaitPart, ko'proq cheklangan qabul qilish maydoniga ega bo'lgan konvolyutsiyaning maxsus turi bo'lgan fokusli konvolyutsiya qatlamlaridan (FConvs) foydalanadi. Mualliflarning ta'kidlashicha, FConvlar harakatlanuvchi tananing turli qismlari uchun ko'proq nozik xususiyatlarni o'rganishda ularning arxitekturasiga yordam beradi. Shuningdek, ular kichik vaqtinchalik ketma-ketliklarning xususiyatlarini ajratib olish uchun ishlatiladigan mikro-harakatni suratga olish modullarini taqdim etadilar.

Teepe va boshqalar. [30] GaitGraph ni taklif qiladi, u skeletlar ketma-ketligidan olingan fazo-zamon xususiyatlarini kodlash uchun ResGCN [32] deb nomlangan moslashtirilgan grafik konvolyutsion tarmoqdan foydalanadi. Li va boshqalar. [33] yurishning eng muhim bosqichlarini tahlil qilish asosida bir yurish siklidan ko'p vaqtli xususiyatlarni jamlovchi tuzilma bo'lgan PTPni taklif qiladi.

Shuningdek, ular PTP bilan birgalikda ishlaydigan fazoviy xususiyatlarni olish uchun grafik konvolyutsion tarmoqdan foydalanadilar. Mualliflar ma'lumotlarni ko'paytirishning yangi usulini joriy qilmoqdalar, bu esa yurishni yanada real tsiklda bir nechta qadamlarga ega bo'lish uchun o'zgartiradi.

Biroq, oldingi ishlardan farqli o'laroq, biz o'z-o'zidan boshqariladigan stsenariylarda yurishni aniqlash arxitekturasining ishlashini o'rganishni maqsad qilganmiz. Kompyuterni ko'rish sohasidagi ulkan yutuqlardan ilhomlanib, biz mavjud ko'rish transformator arxitekturasini tasvirlar o'rniga skeletlar ketma-ketligida ishlashga moslashtirishni va ularning modellashtirish imkoniyatlarini o'z-o'zidan boshqariladigan stsenariylarda sinab ko'rishni taklif qilamiz. Ko'pgina boshqa ishlar [8,9,30] o'z sa'y-harakatlarini boshqariladigan ma'lumotlar to'plamida yurishni aniqlashda ta'sirchan natijalarga erishadigan neyron arxitekturasini ishlab chiqishga qaratadi.

Biroq, biz yurish ma'lumotlari to'plami uchun juda qimmat qo'lda izohlarga bo'lgan ehtiyojni olib tashlash va o'z-o'zini nazorat qilishda yurish tahlili uchun mos bo'lgan usullarni o'rganish niyatidamiz.

Ushbu domendagi oldingi ishlar [10,12] zaif izohlangan ma'lumotlar to'plamidan yaxshi yurish tasvirlarini o'rganish uchun potentsialni ko'rsatdi. Cosmaand Radoi [12] ViT [24] modelidan ilhomlangan GaitFormer skeletlari ketma-ketligini qayta ishlash uchun transformatorga asoslangan birinchi arxitekturani taklif qildi. [12] ga o'xshab, biz yamoqlarni qayta ishlash mexanizmida turli fazoviy va vaqtinchalik dinamikaga ega bo'lgan boshqa ko'rish transformatori modellarining ishlashini o'rganishga harakat qilamiz. O'tmishda yurishni aniqlash uchun keng ko'lamli ma'lumotlar to'plamlari taklif qilingan [7,12], bu vakillikni o'rganish uchun umumiy arxitekturani ishlab chiqish imkonini beradi.

For more information:1950477648nn@gmail.com