Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Nathan Lambert
AI-@allen_ai, open modellen, RLHF, finetuning, enz uitzoeken
Contact via e-mail.
Schrijft @interconnectsai
Schreef het RLHF-boek
De loper van de berg
Nathan Lambert heeft opnieuw gepost
Heeft OpenAI zeer-lange-episode RL bereikt met dit experimentele model?
Screenshot uit het artikel van @natolambert over "Wat komt er daarna met reinforcement learning".
Nathan zegt in dit artikel - Waar huidige methoden 10K-100K tokens per antwoord genereren voor wiskunde- of codeproblemen tijdens de training, zouden de soort problemen waar mensen de volgende generatie RL-training op willen toepassen 1M-100M tokens per antwoord zijn. Dit houdt in dat meerdere inferentie-aanroepen, prompts en interacties met een omgeving binnen één episode worden verpakt waartegen het beleid wordt bijgewerkt.
Misschien is deze doorbraak een combinatie van beide - zeer-lange-episode RL & het schalen van TTC naar 1M-100M tokens per antwoord!

3,74K
Is het "slecht" dat iedereen distilleert van / traint op Chinese modellen? Hoewel het niet direct slecht is, is er een grote component van zachte macht.
Veel voltooien die soapboxen over Chinese socialistische idealen / PRC-waarden die in toekomstige AI-modellen filteren / zich over het internet verspreiden.

8,91K
hahahahahahaha de beste open modellen in de VS zijn gemma 3 27b en @nvidia's finetune van llama 3.1


lmarena.ai17 jul, 23:21
🚨 BREAKING: @Kimi_Moonshot’s Kimi-K2 is nu het #1 open model in de Arena!
Met meer dan 3K stemmen van de gemeenschap, staat het op #5 overall, en heeft het DeepSeek overtroffen als het beste open model.
Grote felicitaties aan het Moonshot-team met deze indrukwekkende mijlpaal! De ranglijst bevat nu 7 verschillende aanbieders in de top 15 - de meest competitieve die het ooit is geweest.
Meer inzichten in de thread 🧵

25,08K
Ik ben het volledig eens met Ross. Het is veel gemakkelijker om talent te verzamelen dan om een organisatie op te bouwen die de ene topmodel na de andere produceert.
Ik heb eerder dit jaar een aantal gesprekken gevoerd over de afwegingen en heb daar een gedetailleerd stuk over geschreven.


Ross Taylor16 jul, 11:42
Het is grappig dat mensen op deze site denken dat grote LLM-inspanningen talentgebonden zijn in plaats van organisatiegebonden.
Het talentverschil is nooit groot geweest tussen grote organisaties. Het grootste deel van het verschil in uitkomsten is te wijten aan organisatorische factoren - zoals het toewijzen van rekenkracht aan de juiste weddenschappen en het laten triomferen van goed onderzoek en engineering boven destructieve politiek.
Dit maakt het verhaal minder sexy. Mensen geven er de voorkeur aan te geloven dat doorbraken worden gemaakt door eenzame genieën - in plaats van de cumulatieve inspanning van veel naamloze, sociale media-averse mensen - ondersteund door een organisatie die de beste ideeën laat winnen en grote ego's beheert.
Als je me niet gelooft - overweeg dan hoe sommige onderzoekers plotseling impact en productiviteit winnen of verliezen wanneer ze van organisatie wisselen. Was het omdat ze IQ-punten hebben gewonnen of verloren? 🙂
(Sorry, dit is super voor de hand liggend voor iedereen die daadwerkelijk in deze laboratoria heeft gewerkt - maar je zou het niet geloven op basis van de X-feed op dit moment!)
17,57K
"Missiegedreven ingenieurs" aannemen...
MechaHitler...
Overheidsrelaties positie...
Piek parodie

xAI14 jul, 23:11
Aankondiging van Grok voor de overheid - een suite van producten die onze frontier-modellen beschikbaar maken voor klanten van de Amerikaanse overheid
We zijn vooral enthousiast over twee nieuwe partnerschappen voor onze partners van de Amerikaanse overheid
1) een nieuw contract van het Amerikaanse ministerie van Defensie
2) onze producten zijn beschikbaar om te kopen via de General Services Administration (GSA) planning. Dit stelt elke federale overheidsafdeling, agentschap of kantoor in staat om xAI-producten aan te schaffen
We zijn op zoek naar missiegedreven ingenieurs die zich bij de zaak willen aansluiten
85
Boven
Positie
Favorieten
Populair op onchain
Populair op X
Recente topfinanciering
Belangrijkste