Wenn Sie auf der ICML sind und an verifizierbarer Inferenz interessiert sind, sollten Sie unbedingt an unserem Poster vorbeischauen! Wir werden TOPLOC vorstellen, eine effiziente Aktivierungs-Hashing-Methode, die in verschiedenen Einstellungen funktioniert, z. B. beim Wechsel von Inferenz-Setups oder sogar Modellen. 16. Juli, 16:30 Uhr, E-1106
Hier ist der ursprüngliche Thread über TOPLOC, der die Ideen dahinter erklärt:
Prime Intellect
Prime Intellect29. Jan. 2025
Heute veröffentlichen wir TOPLOC: A Locality Sensitive Hashing Scheme for Verifiable Inference - Erkennt Änderungen an Modellen, Eingabeaufforderungen oder Genauigkeit - Robust über GPU-Typen, Tensor-Parallelkonfigurationen und Attention-Kernel hinweg - Bis zu 100× schnellere Validierung als Generierung - Reduziert den Speicheraufwand für Proofs um 1000 × Aufbau der Grundlage für dezentrale, überprüfbare Computing-Protokolle.
1,34K