Ентусиаст подкара AI модел с 28,9 млн. параметри на микроконтролер ESP32 за 10 долара

Големите езикови модели вече могат да се изпълняват локално на лаптопи и дори на някои смартфони. Един ентусиаст с псевдоним SlvDev стартира малък езиков модел локално на микроконтролера ESP32-S3, който струва само 10 долара и постигна скорост на работа от почти 10 токена в секунда. Микроконтролерът ESP32-S3 разполага с 520KB SRAM и 8MB псевдо-SRAM (PSRAM). […]

Прочети цялата публикация