Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Alexander Long
Fondateur @PluralisHQ | Doctorat en ML
Apprentissage de protocole : multi-participants, modèle parallèle à faible bande passante
Noam a tendance à ne pas exagérer.

Noam Brown19 juil., 15:52
Où cela va-t-il ? Aussi rapide que soit le progrès récent de l'IA, je m'attends pleinement à ce que la tendance se poursuive. Il est important de noter que je pense que nous sommes proches de voir l'IA contribuer de manière substantielle à la découverte scientifique. Il y a une grande différence entre l'IA légèrement en dessous de la performance humaine maximale et légèrement au-dessus.
805
Je suis totalement d'accord - Flower labs est un autre groupe qui publie activement d'excellentes choses et qui se concentre désormais sur la formation décentralisée. Cela devrait être un point de données majeur pour tous ceux qui sont encore sceptiques dans ce domaine - l'équipe de Flower est aussi légitime que possible et Nic Lane est pratiquement au sommet de la hiérarchie en Apprentissage Fédéré.
Chaque signal me dit que nous sommes sur le point d'assister à un immense tournant académique dans ce domaine du côté de l'IA. Ce n'est même plus vraiment contrarien, cela a évolué pour devenir clairement les premiers jours de ce qui va devenir un domaine majeur et très impactant.

nic lane16 juil., 19:35
Félicitations pour le papier @_AlexanderLong. Mais vous avez oublié @flwrlabs qui a publié un système complet (photon) avec une formation entièrement décentralisée validée dans le monde réel jusqu'à 13B @MLSysConf. Avec une technique clé de la pile décentralisée (embeddings découplés) publiée en tant qu'oral @iclr_conf. C'était un travail réalisé avec @CaMLSys à @Cambridge_Uni.
1,03K
Alexander Long a reposté
D'après mon expérience, faire accepter un article sur le DL décentralisé dans des conférences de haut niveau peut être assez difficile. La motivation n'est pas familière à de nombreux examinateurs, et les paramètres expérimentaux standards ne tiennent pas compte des problèmes que vous cherchez à résoudre.
C'est pourquoi je suis très enthousiaste de voir des entreprises comme @PluralisHQ et @PrimeIntellect investir des efforts pour partager leurs résultats et les faire publier dans des conférences majeures ! À mon avis, même préparer la soumission vous oblige à être plus rigoureux dans vos expériences et les retours extérieurs des examinateurs vous aident à affiner le message de l'article.
7,25K
Je pense que la fermeture des modèles par Meta était très prévisible. J'ai explicitement dit que cela arriverait l'année dernière et expliqué pourquoi (de ).


Shane Gu15 juil., 05:35
RIP aux startups d'IA licornes qui n'ont aucun produit, aucun modèle de base, et qui allaient juste dépendre des grands laboratoires pour publier des modèles open-source gratuitement afin de fusionner les modèles. Je connais une ou deux.

3,64K
Alexander Long a reposté
J'ai parlé pendant 50 minutes d'affilée devant une salle comble de chercheurs en IA passionnés lors de l'ICML, présentant le travail de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ et @GoogleDeepMind.
Il y a maintenant un énorme intérêt pour le DeAI.
Mission (partiellement) accomplie.
10,77K
Pour les personnes qui ne sont pas familières avec la publication en IA ; il y a 3 grandes conférences chaque année. ICML, ICLR et NeurIPS. Ce sont des conférences techniques et l'équivalent des revues dans d'autres disciplines - elles sont le principal lieu de publication pour l'IA. La concurrence pour avoir des articles à ces conférences est maintenant à un niveau ridicule, obtenir l'acceptation des articles est très difficile, et il y a beaucoup de préoccupations concernant le processus de révision qui est assez bruyant à ce stade. Un article solide sans défaut a environ 50 % de chances d'être accepté, et généralement un article est soumis avec des modifications des examinateurs plusieurs fois jusqu'à ce qu'il soit accepté. Malgré tout cela, les articles dans ces lieux restent le principal tampon de légitimité dans le monde de l'IA, et sont probablement encore les principales métriques de carrière pour les chercheurs en ML (bien que cela s'affaiblisse à mon avis, car une grande partie de la recherche dans les laboratoires de pointe n'est pas publiée).
Les articles de la piste principale sont significativement différents des articles d'atelier. La piste principale a une révision par les pairs intense et sérieuse. Les articles d'atelier sont pour des travaux préliminaires, qui donnent une indication d'un résultat intéressant, mais qui ne sont soit pas complets, soit le résultat n'est pas suffisamment significatif pour la piste principale. Ils ne sont requis d'être examinés que par le pool d'examinateurs de l'atelier et ils n'apparaissent pas dans les actes.
De nombreux excellents articles ont d'abord été présentés dans des ateliers (par exemple, grokking) - mais les articles d'atelier et de la piste principale sont fondamentalement des choses différentes, avec un niveau d'impact fondamentalement différent. Les deux seules entreprises dans l'IA décentralisée qui ont des articles de la piste principale cette année sont @PrimeIntellect et Pluralis.
18,78K
Utiliser de magnifiques tableaux de bord Grafana pour tout en interne, c'est tellement mieux que Tensorboard. Wandb est toujours bon mais ne fonctionne pas vraiment avec l'entraînement décentralisé. Cela me fait me demander à quoi ressemble l'outil de visualisation interne chez OpenAI - cela doit être incroyable.




2,99K
Meilleurs
Classement
Favoris
Tendance on-chain
Tendance sur X
Récents financements de premier plan
Les plus notables