Πρόσφατα, είδα 2 καλές εργασίες LLM+KG για σύνθετη λογική επαγωγή
Πρόσφατα, είδα 2 καλές εργασίες LLM+KG για σύνθετη λογική επαγωγή
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Τα αδιέξοδα της επαγωγής γραφήματος γνώσης
Το γράφημα γνώσης (KG), ως ο βασικός φορέας δομημένης γνώσης, αντιμετωπίζει τρία σημαντικά προβλήματα:
- Πολυπλοκότητα: Ο συνδυασμός πολλαπλών βημάτων επαγωγής, τομών και ενώσεων, άρνησης και άλλων λειτουργιών εκρήγνυται
- Ατέλεια: Τα πραγματικά KG έχουν γενικά θόρυβο και ελλείψεις
- Γενίκευση: Οι παραδοσιακές μέθοδοι ενσωμάτωσης είναι δύσκολο να μεταφερθούν μεταξύ συνόλων δεδομένων
Οι παραδοσιακές λύσεις (όπως Query2Box, BetaE) βασίζονται σε γεωμετρικούς ενσωματωμένους χώρους, μοντελοποιώντας λογικές λειτουργίες ως διανυσματικές/κουτιά πράξεις, αλλά οι πληροφορίες χάνονται σοβαρά κατά τη βαθιά επαγωγή. Πώς μπορούμε να κάνουμε το μοντέλο να κατανοεί τόσο τη λογική δομή όσο και να μπορεί να κάνει ευέλικτη επαγωγή; Η άνοδος των μεγάλων γλωσσικών μοντέλων (LLM) προσφέρει μια νέα ιδέα.
Εικόνα 1: Η αποσύνθεση της αλυσίδας ερωτημάτων και η διαδικασία επαγωγής LLM του LARK. Αποσυνθέστε σύνθετα ερωτήματα πολλαπλών λειτουργιών σε ερωτήματα υπο-λειτουργιών και λύστε τα σταδιακά.
II. Λύση: Η κληρονομιά και η εξέλιξη των δύο γενεών μεθόδων
LARK (2023) —— Ένα πρωτοποριακό έργο
Εικόνα 2: Στρατηγικές αποσύνθεσης για 14 τύπους ερωτημάτων. Το 3p χωρίζεται σε 3 προβολές και το 3i χωρίζεται σε 3 προβολές + 1 τομή.
Βασική καινοτομία: Αφαίρεση ερωτημάτων + Αποσύνθεση λογικής αλυσίδας
Σχεδιασμός στοιχείων Αφαίρεση ερωτημάτων Αντικατάσταση οντοτήτων/σχέσεων με ID, εξαλείφοντας τις ψευδαισθήσεις και βελτιώνοντας τη γενίκευση Ανάκτηση γειτονιάς Προτεραιότητα βάθους k-hop (k=3), εξαγωγή σχετικών υπογραφημάτων Αποσύνθεση αλυσίδας Ερώτημα πολλαπλών λειτουργιών → Ακολουθία ερωτημάτων υπο-λειτουργιών Διαδοχική επαγωγή Αποθήκευση ενδιάμεσων αποτελεσμάτων στην προσωρινή μνήμη, λογική τακτική αντικατάσταση δεσμευτικών θέσεων Βασική ιδέα: Τα LLM είναι καλά στα απλά ερωτήματα και η απόδοση βελτιώνεται κατά 20%-33% μετά την αποσύνθεση των σύνθετων ερωτημάτων.
ROG (2025) —— Προηγμένη έκδοση
Κληρονομεί το πλαίσιο LARK και προσθέτει έναν μηχανισμό συναίνεσης Agent:
ROG = Βασικός LARK + Συνεργασία πολλαπλών Agent + Ενίσχυση αλυσίδας σκέψης
Επεξήγηση βελτιώσεων
Σχεδιασμός Agent
Έξυπνος πράκτορας = Βάση γνώσεων + LLM, λήψη αποφάσεων συναίνεσης πολλαπλών Agent
Ενίσχυση CoT
Πιο σαφή πρότυπα προτροπής αλυσίδας σκέψης
Εγχώρια προσαρμογή
Βασισμένο σε ChatGLM+Neo4j, προσανατολισμένο σε κάθετους τομείς όπως η ηλεκτρική ενέργεια
Μοντέλο ροής δεδομένων ROG
Άλμα απόδοσης: Στο FB15k, το MRR ερωτήματος ip (προβολή μετά την τομή) αυξήθηκε από 29,3→62,0, μια αύξηση 111%!
Πίνακας 1: Σύγκριση MRR συνόλου δεδομένων FB15k. Το ROG είναι συνολικά κορυφαίο και η βελτίωση είναι πιο σημαντική για τα σύνθετα ερωτήματα.
III. Καθιέρωση παραδείγματος και μελλοντική κατεύθυνση
Οι εργασίες δύο γενεών έχουν επαληθεύσει από κοινού ένα παράδειγμα:
"Ενίσχυση ανάκτησης + Αποσύνθεση ερωτημάτων + Επαγωγή LLM" είναι μια αποτελεσματική διαδρομή για σύνθετη λογική επαγωγή KG.
Βασικές τάσεις:
- Η αφαίρεση είναι κρίσιμη —— Απογυμνώστε τον σημασιολογικό θόρυβο και εστιάστε στη λογική δομή
- Η στρατηγική αποσύνθεσης καθορίζει το ανώτατο όριο —— Η αποσύνθεση αλυσίδας είναι πιο αξιόπιστη από την άκρη σε άκρη
- Η ικανότητα του μοντέλου απελευθερώνεται συνεχώς —— Από το Llama2-7B στο ChatGLM, η πρόοδος του βασικού μοντέλου φέρνει σημαντικά οφέλη
Ο μηχανισμός Agent του ROG ενισχύει την επεξηγηματικότητα, αλλά η βασική καινοτομία έγκειται στη βελτιστοποίηση της μηχανικής και όχι στη θεωρητική ανακάλυψη. Η μελλοντική κατεύθυνση μπορεί να έγκειται σε: δυναμικές στρατηγικές αποσύνθεσης (προσαρμόσιμη πολυπλοκότητα ερωτημάτων), ενοποίηση KG πολλαπλών τρόπων και επικύρωση ανοιχτού τομέα μεγαλύτερης κλίμακας.
