English Italiano
Descrizione del corpus
Il corpus PAISÀ è un'ampia collezione di testi in lingua italiana tratti dal web (ca. 380 000 documenti per ca. 250 milioni di token) protetti da licenze creative commons (attribuzione - condividi allo stesso modo e attribuzione - condividi allo stesso modo - non commerciale e raccolti nell'ambito dell'omonimo progetto.
I documenti presenti nel corpus PAISA sono stati selezionati utilizzando due criteri. Il primo, ispirato al progetto WaCky prevede che si identifichino le url dei documenti da scaricare effettuando ricerche per combinazioni casuali di parole su un motore di ricerca (nel nostro caso, Yahoo!. Per PAISA, le parole utilizzate sono state tratte dal Vocabolario di Base della Lingua Italiana, organizzate in una lista di 50.000 coppie. La ricerca è stata limitata a pagine in lingua italiana con licenza Creative Commons di tipo CC-Attribuzione, CC-Attribuzione-Condividi allo stesso modo, CC-Attribuzione-Non commerciale, o CC-Attribuzione-Non commerciale-Condividi allo stesso modo. Una volta ottenuta la lista di url, si è proceduto con l'eliminazione di pagine erroneamente riconducibili alle licenze CC, individuate sulla base di una black list di siti realizzata manualmente durante la realizzazione di precedenti e sperimentali versioni del corpus, nonché allo scaricamento e alla ripulitura dei documenti con il sistema KrdWrd.
Una seconda componente del corpus PAISA comprende documenti provenienti dalle versioni italiane di alcuni dei progetti web di Wikimedia Foundation ¬ Wikipedia, Wikinews, Wikisource, Wikibooks, Wikiversity, Wikivoyage. In questo caso, si sono utilizzati i dump ufficiali rilasciati da Wikimedia Foundation, estraendo il testo con il Wikipedia Extractor.
Una volta ottenuti tutti i materiali, si è effettuata una scrematura sull'intera collezione allo scopo di eliminare i documenti vuoti o con quantità di testo inferiori alle 150 parole.
Il corpus contiene in totale circa 380.000 documenti da circa 1.000 siti distinti per un totale di circa 250 milioni di parole. Circa 260.000 documenti provengono dal Wikipedia, circa 5.600 da altri progetti Wikimedia Foundation. Circa 9.300 documenti provengono da Indymedia, e si stima che circa 65.000 documenti provengano da blog.
I documenti sono delimitati nel corpus da un elemento XML "text" con attributi "id" (un valore numerico distinto assegnato a ciascun documento ) e "url", che riporta l'url da cui il documento è stato scaricato.
Per avere informazioni più dettagliate sul processo di costituzione del corpus consultare la sezione costituzione del corpus. Per maggiori informazioni sul contributo dei singoli partner, vedere la sezione partenariato.
L'accesso online al corpus avviene attraverso un'interfaccia dedicata. Inoltre, è possibile scaricare l'intero corpus in diverse versioni.
Scarica il corpus PAISÀ et le liste di frequenza
Il corpus PAISÀ è messo a disposizione dal progetto PAISÀ (www.corpusitaliano.it) attraverso una licenza creative commons attribuzione - condividi allo stesso modo - non commerciale.
Si tratta di una collezione di testi web raccolti nel settembre/ottobre 2010, puliti e annotati con informazioni di tipo linguistico. I diritti dei testi web rimangono presso i proprietari degli indirizzi URL che a loro volta li hanno messi a disposizione attraverso licenze creative commons attribuzione - condividi allo stesso modo e attribuzione - condividi allo stesso modo - non commerciale.
I file di frequenza forniscono liste semplici dei lemmi trovati nell’intero corpus Paisà, assieme al relativo numero di occorrenze (formato LEMMA; FREQUENZA). I lemmi sono elencati in ordine discendente di frequenza. La lista ridotta contiene solo lemmi che si compongono di lettere e dei seguenti tre segni: .-'
Per citare il corpus:
Lyding, V. / Stemle, E. / Borghetti, C. / Brunello, M. / Castagnoli, S. / Dell'Orletta, F. / Dittmann, H. / Lenci, A. / Pirrelli, V. (2014): "The PAISÀ Corpus of Italian Web Texts" In: Proceedings of the 9th Web as Corpus Workshop (WaC-9), Association for Computational Linguistics, Gothenburg, Sweden, April 2014. pp. 36-43. [link to article]
Formato dei dati
I dati distribuiti sono conformi alle seguenti caratteristiche:
- i file contengono una o più frasi separate da una riga vuota;
- una frase si compone di uno o più token, ognuno dei quali inizia con una riga nuova;
- ogni token contiene i campi descritti nella tabella seguente;
- i singoli campi sono separati da una tabulazione;
- tutti i file contengono i campi descritti nella tabella seguente;
- i file sono in formato UTF-8 (Unicode).
| Campo 1 | ID | Numeratore dei token, riparte da 1 per ogni nuova frase |
| Campo 2 | FORM | Forma flessa (di un lemma) o simbolo di interpunzione |
| Campo 3 | LEMMA | Lemma |
| Campo 4 | CPOSTAG | Indicazione generica della parte del discorso |
| Campo 5 | POSTAG | Indicazione specifica della parte del discorso |
| Campo 6 | FEATS | Caratteristiche morfosintattiche |
| Campo 7 | HEAD | HEAD Testa del token, rappresentata da un numero identificativo o da uno zero ('0'), se assente |
| Campo 8 | DEPREL | Relazione di dipendenza che lega il token alla propria testa, indicata quale 'ROOT' quando il valore del campo HEAD è zero (cfr. tagset delle dipendenze per informazioni più precise) |
| Campo 9 | non utilizzato | |
| Campo 10 | non utilizzato |
I tagset morfosintattici e delle dipendenze utilizzati sono stati sviluppati congiuntamente dall’Istituto di Linguistica Computazionale "Antonio Zampolli" (ILC-CNR) e dall’Università di Pisa all’interno del progetto TANL (Text Analytics and Natural Language processing). Sono inoltre stati utilizzati per l’annotazione delle dipendenze nel corpus ISST-TANL.
Di seguito si riporta un esempio di annotazione:
| ID | FORM | LEMMA | CPOSTAG | POSTAG | FEATS | HEAD | DEPREL |
| 1 | Gli | il | R | RD | num=p|gen=m | 2 | det |
| 2 | stati | stati | S | S | num=p|gen=m | 4 | subj |
| 3 | membri | membro | S | S | num=p|gen=m | 2 | mod |
| 4 | provvedono | provvedere | V | V | num=p|per=3|mod=i|ten=p | 0 | ROOT |
| 5 | affinché | affinché | C | CS | _ | 4 | mod |
| 6 | il | il | R | RD | num=s|gen=m | 7 | det |
| 7 | gestore | gestore | S | S | num=s|gen=m | 9 | subj_pass |
| 8 | sia | essere | V | VA | num=s|per=3|mod=c|ten=p | 9 | aux |
| 9 | obbligato | obbligare | V | V | num=s|mod=p|gen=m | 5 | sub |
| 10 | a | a | E | E | _ | 9 | arg |
| 11 | trasmettere | trasmettere | V | V | mod=f | 10 | prep |
| 12 | all' | a | E | EA | num=s|gen=n | 11 | comp_ind |
| 13 | autorità | autorità | S | S | num=n|gen=f | 12 | prep |
| 14 | competente | competente | A | A | num=s|gen=n | 13 | mod |
| 15 | una | una | R | RI | num=s|gen=f | 16 | det |
| 16 | notifica | notifica | S | S | num=s|gen=f | 11 | obj |
| 17 | entro | entro | E | E | _ | 11 | comp_temp |
| 18 | i | il | R | RD | num=p|gen=m | 20 | det |
| 19 | seguenti | seguente | A | A | num=p|gen=n | 20 | mod |
| 20 | termini | termine | S | S | num=p|gen=m | 17 | prep |
| 21 | . | . | F | FS | _ | 4 | punc |