Rezultati
V spodnjih razdelkih so predstavljeni glavni rezultati projekta:
- SPREMLJEVALNI KORPUS TRENDI. Prvi spremljevalni korpus za slovenski jezik, ki se vsak mesec poveča za 15-20 milijonov besed. Več podatkov najdete na https://sled.ijs.si/korpus-trendi/.
- ANKETA MED UPORABNIKI. Opravili smo anketo med zainteresiranimi uporabniki korpusa Trendi in podatkov o aktualni jezikovni rabi. Poročilo je objavljeno tukaj. Več informacij najdete tudi v projektnih publikacijah.
- FREKVENČNI SEZNAMI. Vsak seznam vsebuje besede oz. nize besed, katerih raba je v izbranem obdobju v primerjavi s prejšnjim obdobjem najbolj opazno narasla. Tako recimo frekvenčni seznam iz leta 2021 vsebuje primerjavo relativne pogostosti besed v korpusu Trendi v letu 2021 z relativno pogostostjo besed v obdobju 1991-2020 (torej v korpusu Gigafida 2.0 in korpusu Trendi v letih 2019-2020). Objavili smo sledeče frekvenčne sezname:
- Frekvenčni seznam besed glede na vir v korpusu Trendi, 2022-07. http://hdl.handle.net/11356/1702
- Frekvenčni seznam besed v korpusu Trendi (2019): http://hdl.handle.net/11356/1701
- Frekvenčni seznam besed v korpusu Trendi (2020): http://hdl.handle.net/11356/1705
- Frekvenčni seznam besed v korpusu Trendi (2021): http://hdl.handle.net/11356/1712
- Frekvenčni seznam N-gramov na ravni besed iz besedil v letu 2021 v korpusu Trendi, http://hdl.handle.net/11356/1713
- Frekvenčni seznam N-gramov na ravni besed iz besedil v letu 2020 v korpusu Trendi, http://hdl.handle.net/11356/1711
- Frekvenčni seznam N-gramov na ravni besed iz besedil v letu 2019 v korpusu Trendi, http://hdl.handle.net/11356/1706
- ORODJE ZA TEMATSKO OZNAČEVANJE BESEDIL. Pripravili smo nabor 13 tematskih kategorij za razvrščanje besedil: umetnost in kultura, črna kronika, gospodarstvo, okolje, zdravje, prosti čas, politika in pravo, znanost in tehnologija, družba, šport, vreme, zabava, izobraževanje. Za vsako od kategorij smo izdelali učne množice, ki so služile kot osnova za učenje modelov. Učne množice smo izdelali z mapiranjem kategorij različnih virov novic. Za modeliranje smo uporabili orodje fasttext (Joulin et al, 2016) z vložitvami CLARIN.SI (Ljubešić in Erjavec, 2018) in model SloBERTa (Ulčar in Robnik-Šikonja, 2021). Čeprav se je model SloBERTa izkazal za boljšega (0,93 oz. 93 % uspešnost napovedovanja kategorij), smo objavili tudi model fasttext (0.85), saj je slednji občutno hitrejši pri procesiranju velike količine besedil.Izdelane modele smo objavili tako v repozitoriju CLARIN.SI kot tudi na portalu HuggingFace (ob podpori CJVT UL). Klasifikacijski model SloBERTa-Trendi-Topics je bil namreč preobsežen za GitHub in smo morali izbrati alternativni diseminacijski kanal. Relevantne povezave:
- Model SloBERTa na HuggingFace.co pod licenco Apache 2.0: https://huggingface.co/cjvt/sloberta-trendi-topics
- Klasifikacijski model SloBERTa-Trendi-Topics 1.0 na repozitoriju CLARIN.SI pod licenco Apache 2.0: http://hdl.handle.net/11356/1709
- Klasifikacijski model fastText-Trendi-Topics 1.0 na repozitoriju CLARIN.SI pod licenco Apache 2.0: http://hdl.handle.net/11356/1710.
