KURS ISHI

KIRISH O‘zbekiston Respublikasi Prezidentining 2022-yil 12-dekabrdagi "Raqamli O‘zbekiston – 2030" strategiyasini tasdiqlash to‘g‘risida"gi PF-270-sonli Farmonida belgilanganidek, sun'iy intellekt va katta ma'lumotlar tahlili kabi ilg‘or raqamli texnologiyalarni joriy etishga alohida e'tibor qaratilmoqda [1]. Bu borada, Tabiiy tilni qayta ishlash (NLP) sohasi o‘zbek tilida ilmiy tadqiqotlar va amaliy loyihalarni faollashtirish uchun ulkan salohiyatga ega bo‘lib, 2023-yilda mazkur yo‘nalishdagi investitsiyalar hajmi jahonda 15,3 milliard dollarni tashkil etgan [2]. O‘zbekistonda esa raqamli iqtisodiyotning yalpi ichki mahsulotdagi ulushi 2023-yil yakuni bo‘yicha 4,5% ga yetib, bu ko‘rsatkichni 2030-yilga borib 10% ga oshirish rejalashtirilgan [3]. Ushbu o‘sish sur'atlari til texnologiyalari, xususan, korpus lingvistikasidagi razmetka texnologiyalariga bo‘lgan talabning ortib borayotganini ko‘rsatadi, chunki sifatli razmetkalangan til resurslari sun'iy intellekt modellarini o‘qitish va ularning samaradorligini oshirishning asosiy omillaridan biridir. Razmetka texnologiyalari zamonaviy korpus lingvistikasining ajralmas qismi hisoblanib, uning rivojlanishi NLP va sun'iy intellekt sohalaridagi yutuqlar bilan chambarchas bog‘liqdir. Ushbu texnologiyalar til ma'lumotlarini tizimli ravishda tahlil qilish, ularga lingvistik (morfologik, sintaktik, semantik) yorliqlar berish orqali tushunish va qayta ishlashni osonlashtiradi. Biroq, o‘zbek tili uchun yuqori sifatli va standartlashtirilgan razmetka texnologiyalarini ishlab chiqishda hali ham jiddiy muammolar mavjud. Jumladan, yetarli darajada annotatsiyalangan korpuslarning mavjud emasligi, Universal Dependencies (UD) kabi xalqaro standartlarga mos keladigan teglar to‘plami (tagset) ning to‘liq shakllanmaganligi va mavjud vositalarning o‘zbek tilining boy morfologik va sintaktik xususiyatlarini yetarli darajada qamrab olmasligi kabi masalalar dolzarb bo‘lib qolmoqda. Bu esa tarjima tizimlari, nutqni aniqlash va sintez qilish, ma'lumotlarni qidirish va boshqa ko‘plab tilga asoslangan ilovalarning samaradorligiga salbiy ta'sir ko‘rsatmoqda. Mavzuning o‘rganilganlik darajasi bo‘yicha dunyo miqyosida ko‘plab ilmiy izlanishlar olib borilgan. Chunonchi, Christopher Manning va Hinrich Schütze (1999) o‘zlarining "Foundations of Statistical Natural Language Processing" asarida korpus lingvistikasi va statistika metodlarining ...