KURS ISHI

KIRISH O'zbekistonda 2023-yilda raqamli iqtisodiyot hajmi 105 trillion so'mga yetib, yalpi ichki mahsulotning 7%ini tashkil etdi, bu esa so'nggi besh yilda 2,5 barobar o'sishni anglatadi [1]. Xususan, dasturiy ta'minot mahsulotlari va IT xizmatlari eksporti 2023-yilda 340 million dollardan oshdi, bu 2022-yilga nisbatan 2,5 barobar ko'proqdir [2]. Global miqyosda esa sun'iy intellekt va tabiiy tilni qayta ishlash (NLP) bozori 2023-yilda 20 milliard dollarga baholandi va 2030-yilga kelib 160 milliard dollarga yetishi prognoz qilinmoqda, bu esa yillik o'rtacha 29% o'sish sur'atini ko'rsatadi [3]. Ushbu raqamlar matnlarni samarali qayta ishlash texnologiyalariga bo'lgan ehtiyojning nafaqat xalqaro miqyosda, balki O'zbekiston sharoitida ham tobora ortib borayotganini yaqqol ko'rsatmoqda. Bugungi axborotlashgan jamiyatda matnli ma'lumotlar hajmi eksponensial ravishda o'sib bormoqda, bu esa ularni avtomatik tarzda tahlil qilish, tasniflash va mazmunini tushunish bo'yicha yangi muammolarni keltirib chiqarmoqda. An'anaviy usullar bilan milliardlab hujjatlar, ijtimoiy tarmoqlardagi postlar, mijozlar fikrlari va tibbiy yozuvlarni qayta ishlash amalda imkonsiz. Ayniqsa, o'zbek tiliga xos morfologik murakkabliklar, sintaktik xususiyatlar va boy lug'at tarkibi mavjudligi sababli, matnlarni avtomatik qayta ishlashda hali ko'plab hal etilmagan ilmiy va amaliy masalalar mavjud. Shuningdek, mavjud xalqaro vositalar ko'pincha o'zbek tilining o'ziga xosliklarini to'liq hisobga olmaydi, bu esa mahalliy tadqiqotlar va yechimlarni ishlab chiqish zaruratini oshiradi. Matnlarni qayta ishlash sohasida jahon olimlari tomonidan ko'plab fundamental tadqiqotlar o'tkazilgan. Masalan, J.R. Firth (1957) lingvistik tahlilda "kontekst muhim" degan g'oyani ilgari surib, so'zlarning ma'nosi ularning atrofidagi so'zlar bilan belgilanadi degan tamoyilni asoslab bergan [5]. Noam Chomsky (1957) esa generativ grammatika nazariyasini ishlab chiqib, inson tilining chuqur sintaktik tuzilmasini o'rganishga asos solgan va matnlarni qayta ishlashda strukturaviy yondashuvlarga yo'l ochgan [6]. Karen Spärck Jones (1972) hujjatlarni qidirishda muhim bo'lgan teskari hujjat chastotasi (IDF – Inverse Document Frequency) tushunchasini joriy etgan, bu esa matn ichidagi so'zlarning ahamiyatini aniqlashda inqilobiy yondashuv bo'ldi [7]. Christopher D. Manning va Hinrich Schütze (1999) o'zlarining "Foundations of ...