To dziwne, jak większość ludzi odnosi się do "AGI" ogólnie jako do jednego monolitu, jakby wszystkie miały być takie same. Nie będzie jednego AGI ani jednego typu AGI. Będzie nieskończona różnorodność smaków.

Członek społeczności wytrenował mały model Llama (23M parametrów) na 3 milionach wysokiej jakości gier @lichess, a następnie wdrożył go do działania całkowicie w przeglądarce z użyciem 🤗 Transformers.js! Super fajne! 🔥 Ma szacunkowe ELO na poziomie ~1400... czy możesz go pokonać? 👀 (działa zarówno na urządzeniach mobilnych, jak i komputerach stacjonarnych)

Czego brakuje: inwestycje w modele open source oraz inne rzeczy wspierające długoterminowy ekosystem badawczy, który uczyni USA długoterminowym domem innowacji w dziedzinie AI. Czego nasz kraj dzisiaj brakuje, ale co można naprawić.

Najlepszy model AI open-source właśnie opublikował szczegółowy raport na temat tego, jak był trenowany, co stanowi rzadki zasób dla studentów, ponieważ żadne laboratorium badawcze nie publikuje! Szacunkowy całkowity koszt treningu Kimi K2 wynosi około 20-30 milionów dolarów, co jest w przybliżeniu zgodne z cenami: 0,6 USD za token w przypadku 2,5 USD za token. 10 najważniejszych punktów:

To byłoby takie 🔥🔥🔥 @Alibaba_Qwen @Kimi_Moonshot

Gdybym mógł dzisiaj coś sobie życzyć, życzyłbym sobie, aby Kimi i Qwen opublikowali swoje zbiory danych po treningu, tak jak robi to Nous 🫣🤗 W ten sposób moglibyśmy znacznie łatwiej budować na pracy innych!

Czy byłaby możliwość, aby wielkie firmy technologiczne "darowały" niewykorzystane godziny na swoich ogromnych klastrach GPU dla otwartej nauki i deweloperów otwartego oprogramowania AI? Mogłoby to się sumować do znacznych kwot, które można by dobrze wykorzystać?

Czyli Qwen również otrzymuje teraz oznaczenie laboratorium granicznego?? @xeophon_ @Presidentlin

Qwen COOKED - bije Kimi K2 i jest konkurencyjny wobec Claude Opus 4 przy 25% całkowitych parametrów 🤯

🏆 Nasza tabela liderów kompresji KV Cache @nvidia jest już dostępna! Porównaj nowoczesne metody kompresji obok siebie z KVPress. Zobacz, które techniki prowadzą w zakresie efektywności i wydajności. 🥇