NER، برچسب‌گذاری نقش دستوری (POS) و هم‌مرجعی

crf = sklearn_crfsuite.CRF(algorithm="lbfgs",
    c1=0.1, c2=0.1,                            # منظم‌سازی L1 و L2
    max_iterations=100,
    all_possible_transitions=True)             # یاد می‌گیرد که I-ORG پس از O غیرمحتمل است
X_train = [to_features(s) for s in sentences_tokenized]
crf.fit(X_train, bio_labels_train)             # حدود 84 F1 روی CoNLL-2003
ner = pipeline("ner", model="dslim/bert-base-NER",
               aggregation_strategy="simple")  # ادغام B-X و I-X در اسپن‌ها
print(ner("Apple sued Google over its iPhone in the US."))

nlp = spacy.load("en_core_web_sm")
doc = nlp("The cats were running at 3pm.")
for token in doc:
    print(token.tag_, token.pos_, token.dep_, token.head.text)  # Penn، UD، رابطه
for ent in doc.ents:
    print(f"{ent.text:20s} {ent.label_}")                       # کلمه iPhone در مدل sm به صورت ORG تشخیص داده می‌شود
nlp = spacy.load("en_coreference_web_trf")                      # مدل آزمایشی
doc = nlp("<text>")                                             # اجرای مجدد با مدل هم‌مرجعی
for cluster in doc._.coref_clusters:
    print(cluster, "->", [m.text for m in cluster])