Bine ați venit la documentația lui MLConjug!¶

Cuprins:

mlconjug¶

O bibliotecă Python care conjugă verbe în franceză, engleză, spaniolă, italiană, portugheză și română (mai curând) folosind tehnici de învățare a mașinilor”
Orice verb într-unul din limbile acceptate poate fi conjugat, deoarece modulul conține un model de învățare a mașinilor despre cum se comportă verbul”
Chiar și verbele complet noi sau confecționate pot fi conjugate cu succes în acest fel”
Modelele pre-instruite furnizate sunt compuse din:

un extractor de caracteristici binare
un selector de elemente care utilizează clasificarea vectorială de sprijin liniar,
un clasificator care utilizează coborârea stochastică.

MLConjug utilizează scikit-learn pentru a implementa algoritmii Machine Learning.

Users of the library can use any compatible classifiers from scikit-learn to modify and retrain the models.

The training data for the french model is based on Verbiste https://perso.b2b2c.ca/~sarrazip/dev/verbiste.html .

Datele de antrenament pentru limbile engleză, spaniolă, italiană, portugheză și română au fost generate folosind tehnici de învățare nesupravegheate, utilizând modelul francez, ca model de interogare în timpul antrenamentului.

Software-ul gratuit: licență MIT
Documentație: https://mlconjug.readthedocs.io.

Limbi acceptate¶

Limba franceza
Engleză
Spaniolă
Italiană
Portugheză
Română

Caracteristici¶

PI ușor de utilizat
Include modele pre-instruite cu o acuratețe de 99% + în prezicerea clasei de conjugare a verbelor necunoscute.
Formați cu ușurință modele noi sau adăugați limbi noi.
Integrați cu ușurință programul MLConjug în propriile proiecte.
Poate fi folosit ca un instrument de linie de comandă.

Credite¶

Acest pachet a fost creat cu ajutorul Verbiste și scikit-learn”

Sigla a fost creată de Zuur.

Instalare¶

Versiune stabila¶

Pentru a instala MLConjug, executați această comandă în terminalul dvs.:

$ pip install mlconjug

Aceasta este metoda preferată de a instala MLConjug, deoarece va instala întotdeauna cea mai recentă versiune stabilă.

Dacă nu aveți instalat” pip „, acest” ghid de instalare Python „vă poate ghida prin acest proces.

Din surse¶

Sursele pentru MLConjug pot fi descărcate din” Github repo „.

Puteți fie să clonați depozitul public:

$ git clone git://github.com/SekouD/mlconjug

Sau descarca” tarball „_:

$ curl  -OL https://github.com/SekouD/mlconjug/tarball/master

Odată ce aveți o copie a sursei, o puteți instala cu:

$ python setup.py install

Utilizare¶

Notă

Limba implicită este limba franceză. Atunci când este chemată fără a specifica o limbă, biblioteca va încerca să conjugă verbul în franceză”

Pentru a folosi MLConjug într-un proiect cu modelele de conjugare pre-instruite furnizate

import mlconjug

# To use mlconjug with the default parameters and a pre-trained conjugation model.
default_conjugator = mlconjug.Conjugator(language='fr')

# Verify that the model works
test1 = default_conjugator.conjugate("manger").conjug_info['Indicatif']['Passé Simple']['1p']
test2 = default_conjugator.conjugate("partir").conjug_info['Indicatif']['Passé Simple']['1p']
test3 = default_conjugator.conjugate("facebooker").conjug_info['Indicatif']['Passé Simple']['1p']
test4 = default_conjugator.conjugate("astigratir").conjug_info['Indicatif']['Passé Simple']['1p']
test5 = default_conjugator.conjugate("mythoner").conjug_info['Indicatif']['Passé Simple']['1p']
print(test1)
print(test2)
print(test3)
print(test4)
print(test5)

# You can now iterate over all conjugated forms of a verb by using the newly added Verb.iterate() method.
default_conjugator = mlconjug.Conjugator(language='en')
test_verb = default_conjugator.conjugate("be")
all_conjugated_forms = test_verb.iterate()
print(all_conjugated_forms)

Pentru a folosi MLConjug într-un proiect și a antrena un nou model

# Set a language to train the Conjugator on
lang = 'fr'

# Set a ngram range sliding window for the vectorizer
ngrange = (2,7)

# Transforms dataset with CountVectorizer. We pass the function extract_verb_features to the CountVectorizer.
vectorizer = mlconjug.CountVectorizer(analyzer=partial(mlconjug.extract_verb_features, lang=lang, ngram_range=ngrange),
                             binary=True)

# Feature reduction
feature_reductor = mlconjug.SelectFromModel(mlconjug.LinearSVC(penalty="l1", max_iter=12000, dual=False, verbose=0))

# Prediction Classifier
classifier = mlconjug.SGDClassifier(loss="log", penalty='elasticnet', l1_ratio=0.15, max_iter=4000, alpha=1e-5, random_state=42, verbose=0)

# Initialize Data Set
dataset = mlconjug.DataSet(mlconjug.Verbiste(language=lang).verbs)
dataset.construct_dict_conjug()
dataset.split_data(proportion=0.9)

# Initialize Conjugator
model = mlconjug.Model(vectorizer, feature_reductor, classifier)
conjugator = mlconjug.Conjugator(lang, model)

#Training and prediction
conjugator.model.train(dataset.train_input, dataset.train_labels)
predicted = conjugator.model.predict(dataset.test_input)

# Assess the performance of the model's predictions
score = len([a == b for a, b in zip(predicted, dataset.test_labels) if a == b]) / len(predicted)
print('The score of the model is {0}'.format(score))

# Verify that the model works
test1 = conjugator.conjugate("manger").conjug_info['Indicatif']['Passé Simple']['1p']
test2 = conjugator.conjugate("partir").conjug_info['Indicatif']['Passé Simple']['1p']
test3 = conjugator.conjugate("facebooker").conjug_info['Indicatif']['Passé Simple']['1p']
test4 = conjugator.conjugate("astigratir").conjug_info['Indicatif']['Passé Simple']['1p']
test5 = conjugator.conjugate("mythoner").conjug_info['Indicatif']['Passé Simple']['1p']
print(test1)
print(test2)
print(test3)
print(test4)
print(test5)

# Save trained model
with open('path/to/save/data/trained_model-fr.pickle', 'wb') as file:
    pickle.dump(conjugator.model, file)

Pentru a folosi MLConjug din linia de comandă

$ mlconjug manger

$ mlconjug bring -l en

$ mlconjug gallofar --language es

Pachetul Api Documentația pentru mlconjug¶

Referință API pentru clasele din mlconjug.mlconjug.py¶

Modul principal MLConjug.

Acest modul declară clasele principale cu care interacționează utilizatorul.

Modulul definește clasele necesare pentru a interconecta cu modelele Machine Learning.

mlconjug.mlconjug.extract_verb_features(verb, lang, ngram_range)[sursă]¶

Vectorizatorul personalizat optimizat pentru extragerea caracteristicilor verbelor.
Subclasele Vectorizer sklearn.feature_extraction.text.CountVectorizer.
As in Indo-European languages verbs are inflected by adding a morphological suffix,
the vectorizer extracts verb endings and produces a vector representation of the verb with binary features.

Pentru a îmbunătăți rezultatele extragerii de elemente, au fost incluse și alte caracteristici:

Caracteristicile sunt n-gramele de nobile ale notelor, începând n-grame, lungimea verbului, numărul de vocale, numărul de consoane și raportul dintre vocale pe consoane.

Parametrii:	verb – șir. Verb să vectorizeze. lang – string. Language to analyze. ngram_range – tuplu. Intervalul ferestrei glisante ngram.
Întoarce:	listă. Lista celor mai importante trăsături ale verbului pentru sarcina de a găsi clasa lui de conjugare.

class mlconjug.mlconjug.Conjugator(language='fr', model=None)[sursă]¶

Aceasta este clasa principală a proiectului.
The class manages the Verbiste data set and provides an interface with the scikit-learn pipeline.
If no parameters are provided, the default language is set to french and the pre-trained french conjugation pipeline is used.
Clasa definește metoda conjugată (verb, limbă) care este principala metodă a modulului.

Parametrii:	language – Limbajul conjugatorului. Limba implicită este” fr „pentru franceză. model – mlconjug.Model sau scikit-learn Pipeline sau Classifier implementând metodele fit () și predictive (). O conductă furnizată de utilizator în cazul în care utilizatorul și-a pregătit propria conductă.

conjugate(verb, subject='abbrev')[sursă]¶

Aceasta este principala metodă a acestei clase.
Mai întâi verifică dacă verbul este în Verbiste”
If it is not, and a pre-trained scikit-learn pipeline has been supplied, the method then calls the pipeline
to predict the conjugation class of the provided verb.

Returnează un obiect Verb sau Nici unul.

Parametrii:	verb – șir. Verbul să conjugați. subject – string” („string”), controlează denumirile abreviate sau complet, valoarea implicită este „abbrev”
Întoarce:	Obiect Verb sau Niciunul.

set_model(model)[sursă]¶

Assigns the provided pre-trained scikit-learn pipeline to be able to conjugate unknown verbs.

Parametrii:	model – clasificator sau conducte scikit-learn”

class mlconjug.mlconjug.DataSet(verbs_dict)[sursă]¶

Această clasă deține și gestionează setul de date.

Defines helper methodss for managing Machine Learning tasks like constructing a training and testing set.

Parametrii:	verbs_dict – Un dicționar de verbe și clasa lor de conjugare corespunzătoare.

construct_dict_conjug()[sursă]¶: Populează dicționarul care conține șabloanele de conjugare.

Populează listele care conțin verbele și șabloanele lor”

split_data(threshold=8, proportion=0.5)[sursă]¶

Împărțiți datele într-un antrenament și un set de testare.

Parametrii:	threshold – int Dimensiunea minimă a clasei de conjugare care trebuie divizată. proportion – float” Proporția probelor din setul de antrenament trebuie să fie între 0 și 1.

class mlconjug.mlconjug.Model(vectorizer=None, feature_selector=None, classifier=None, language=None)[sursă]¶

Bazele:: clasa:` obiect`

This class manages the scikit-learn pipeline.
Conducta include un vectorizator de caracteristici, un selector de caracteristici și un clasificator.
If any of the vectorizer, feature selector or classifier is not supplied at instance declaration,
the __init__ method will provide good default values that get more than 92% prediction accuracy.

Parametrii:	vectorizer – scikit-learn Vectorizer” feature_selector – clasificator scikit-learn cu o metodă fit_transform () classifier – clasificator Scikit-learn cu o metodă predictivă () language – limbajul corpusului de verbe care urmează să fie analizat.

train(samples, labels)[sursă]¶

Trains the pipeline on the supplied samples and labels.

Parametrii:	samples – ista de verbe. labels – Listă de șabloane de verb.

predict(verbs)[sursă]¶

Prezice clasa de conjugare a listei furnizate de verbe”

Parametrii:	verbs – ista de verbe.
Întoarce:	ista de grupuri prezise de conjugare.

Referință API pentru clasele din mlconjug.PyVerbiste.py¶

PyVerbiste.

O bibliotecă Python pentru conjugarea verbelor în franceză, engleză, spaniolă, italiană, portugheză și română (mai curând)”
Acesta conține date de conjugare generate de modelele de învățare mecanică folosind librăria python mlconjug.
Mai multe informații despre mlconjug la adresa https://pypi.org/project/mlconjug/

Datele de conjugare sunt conforme cu schema XML definită de Verbiste.

Mai multe informații despre Verbiste la adresa https://perso.b2b2c.ca/~sarrazip/dev/conjug_manager.html

class mlconjug.PyVerbiste.ConjugManager(language='default')[sursă]¶

This is the class handling the mlconjug json files.

Parametrii:	language – string. \| The language of the conjugator. The default value is fr for French. \| The allowed values are: fr, en, es, it, pt, ro.

_load_verbs(verbs_file)[sursă]¶

Load and parses the verbs from the json file.

Parametrii:	verbs_file – string or path object. Path to the verbs json file.

_load_conjugations(conjugations_file)[sursă]¶

Load and parses the conjugations from the xml file.

Parametrii:	conjugations_file – șir sau obiect cale. Calea spre fișierul xml de conjugare.

_detect_allowed_endings()[sursă]¶

Detectează terminațiile permise pentru verbe în limbile acceptate.
Toate limbile acceptate, cu excepția limbii engleze, restricționează forma pe care o poate lua un verb”
Deoarece engleza este mult mai productivă și mai variată în morfologia verbelor ei, orice cuvânt este permis ca verb”

Întoarce:	un set care conține terminațiile permise ale verbelor în limba țintă.

is_valid_verb(verb)[sursă]¶

Verifică dacă verbul este un verb valabil în limba dată.
Cuvintele în limba engleză sunt tratate întotdeauna ca verbe posibile.
Verbe în alte limbi sunt filtrate după terminările lor.

Parametrii:	verb – Verbul de a conjuga.
Întoarce:	Adevărat dacă verbul este un verb valabil în limba respectivă

get_verb_info(verb)[sursă]¶

Obține informații verbale și returnează o instanță VerbInfo.

Parametrii:	verb – șir. Verbul să conjugați.
Întoarce:	Obiect VerbInfo sau Nici unul.

get_conjug_info(template)[sursă]¶

Obține informații de conjugare corespunzătoare șablonului dat.

Parametrii:	template – șir. Numele verbului care se termină.
Întoarce:	OrdonatDict sau Nici unul. OrdonatDict care conține sufixele conjugate ale șablonului.

class mlconjug.PyVerbiste.Verbiste(language='default')[sursă]¶

Bases: mlconjug.PyVerbiste.ConjugManager

Aceasta este clasa care gestionează fișierele xml Verbiste.

Parametrii:	language – string. \| The language of the conjugator. The default value is fr for French. \| The allowed values are: fr, en, es, it, pt, ro.

_load_verbs(verbs_file)[sursă]¶

Load and parses the verbs from the xml file.

Parametrii:	verbs_file – șir sau obiect cale. Calea spre fișierul xml verbale.

_parse_verbs(file)[sursă]¶

Parses the XML file.

Parametrii:	file – Fișier XML conținând verbele”
Întoarce:	OrderedDict Un ordin ordonat care conține verbul și șablonul său pentru toate verbele din fișier.

_load_conjugations(conjugations_file)[sursă]¶

Load and parses the conjugations from the xml file.

Parametrii:	conjugations_file – șir sau obiect cale. Calea spre fișierul xml de conjugare.

_parse_conjugations(file)[sursă]¶

Parses the XML file.

Parametrii:	file – FileObject, fișier XML care conține șabloanele de conjugare.
Întoarce:	OrderedDict: Un ordin ordonat care conține toate șabloanele de conjugare din fișier.

_load_tense(tense)[sursă]¶

Încarcă și analizează formele inflexionate ale timpului din fișierul xml.

Parametrii:	tense – listă de etichete xml care conțin formulare inflexionate. Lista formelor inflexionate pentru procesarea momentului curent.
Întoarce:	list. List of inflected forms.

_detect_allowed_endings()¶

Detectează terminațiile permise pentru verbe în limbile acceptate.
Toate limbile acceptate, cu excepția limbii engleze, restricționează forma pe care o poate lua un verb”
Deoarece engleza este mult mai productivă și mai variată în morfologia verbelor ei, orice cuvânt este permis ca verb”

Întoarce:	un set care conține terminațiile permise ale verbelor în limba țintă.

get_conjug_info(template)¶

Obține informații de conjugare corespunzătoare șablonului dat.

Parametrii:	template – șir. Numele verbului care se termină.
Întoarce:	OrdonatDict sau Nici unul. OrdonatDict care conține sufixele conjugate ale șablonului.

get_verb_info(verb)¶

Obține informații verbale și returnează o instanță VerbInfo.

Parametrii:	verb – șir. Verbul să conjugați.
Întoarce:	Obiect VerbInfo sau Nici unul.

is_valid_verb(verb)¶

Verifică dacă verbul este un verb valabil în limba dată.
Cuvintele în limba engleză sunt tratate întotdeauna ca verbe posibile.
Verbe în alte limbi sunt filtrate după terminările lor.

Parametrii:	verb – Verbul de a conjuga.
Întoarce:	Adevărat dacă verbul este un verb valabil în limba respectivă

class mlconjug.PyVerbiste.VerbInfo(infinitive, root, template)[sursă]¶

Această clasă definește structura de informații conjug_manager Verbiste.

Parametrii:	infinitive – șir. Formă infinitivă a verbului. root – rădăcină. Rădăcina lexicală a verbului” template – șir. Numele verbului care se termină.

class mlconjug.PyVerbiste.Verb(verb_info, conjug_info, subject='abbrev', predicted=False)[sursă]¶

This class defines the Verb Object. TODO: Make the conjugated forms iterable by implementing the iterator protocol.

Parametrii:	verb_info – Obiectul VerbInfo. conjug_info – OrderedDict. subject – string” („string”), controlează denumirile abreviate sau complet, valoarea implicită este „abbrev” predicted – bool. Indică dacă informațiile despre conjugare au fost prezise de model sau au fost extrase din setul de date.

iterate()[sursă]¶: Iterates over all conjugated forms and returns a list of tuples of those conjugated forms. :return:

_load_conjug()[sursă]¶: Populează formele inflaționate ale verbului”

Aceasta este versiunea generică a acestei metode.

Nu adaugă pronume personale forțelor conjugate”

Această metodă se poate ocupa de orice limbă nouă, dacă structura de conjugare este conformă cu Schema XML Verbiste”

class mlconjug.PyVerbiste.VerbFr(verb_info, conjug_info, subject='abbrev', predicted=False)[sursă]¶