Chỉ vài tuần sau khi nhà sản xuất chip Tenstorrent huy động gần 700 triệu đô la vốn, các nhà phát triển hiện có thể thử nghiệm bộ gia tốc AI của Tenstorrent trên Koyeb. Tenstorrent bán bộ xử lý AI được xây dựng xung quanh kiến trúc bộ lệnh RISC-V, và đã phát triển thư viện mạng thần kinh mã nguồn mở của riêng mình, TT-NN, và mô hình lập trình cấp thấp mã nguồn mở của riêng mình, TT-Metalium.
Tenstorrent là một phần của một nhóm các công ty đang cố gắng xây dựng các lựa chọn thay thế cho GPU của Nvidia và thư viện CUDA của công ty. Nó cạnh tranh với Axelera, Etched, Groq và các công ty khác.
Koyeb được thành lập bởi các cán bộ điều hành trước đây của Scaleway, và tập trung vào việc phát triển một nền tảng đám mây không máy chủ cho các nhà phát triển đang tìm kiếm một lớp trừu tượng ở mức cơ sở hạ tầng đám mây. Nó cạnh tranh với các dịch vụ như Fly.io, Railway và Render.
Koyeb cho phép các nhà phát triển triển khai ứng dụng trên nhiều máy ảo bằng cách sử dụng giao diện dòng lệnh hoặc git push sau khi tích hợp với kho mã nguồn. Nó hỗ trợ các container Docker và nhiều ngôn ngữ phổ biến.
Một trong những tính năng chính của Koyeb là nó có thể tự động mở rộng ứng dụng đến hàng trăm máy chủ nếu cần và khi có ít traffic, nó có thể tự động co giãn hạ cơ sở hạ tầng máy chủ.
Trong những tháng gần đây, Koyeb đã tập trung mạnh vào ứng dụng AI. Do tính chất không máy chủ của nền tảng của nó, nó có thể cung cấp một trải nghiệm thấp độ trễ cho các công việc AI.
Trên mặt phần cứng, Koyeb đã triển khai các bo mạch PCIe của Tenstorrent trong các trung tâm dữ liệu của mình. Các nhà phát triển có thể truy cập vào SDK cấp thấp TT-Metalium của Tenstorrent để viết chương trình host và kernel.
Các nhà phát triển sẽ tìm thấy hai loại instances mới trong tài liệu và bảng quản trị của Koyeb:
- Thực例 TT-N300S có 24GB bộ nhớ GDDR6, 192MB SRAM và cung cấp lên đến 466 FP8 TFLOPS. Nó được ghép cặp với 64GB RAM và 4 vCPU.
- Thực例 TT-Loudbox có bốn N300S. Các nhà phát triển nhận được 96GB bộ nhớ GDDR6, 768MB SRAM và lên đến 1.864 FP8 TFLOPS. Nó có 256GB RAM và 16 vCPU.
Với bản phát hành này, Koyeb đang cố vị trí bản thân mình là một nền tảng đám mây không ràng buộc phần cứng. "Điều này gợi nhớ cho chúng tôi về sự ra mắt của ARM trên thị trường máy chủ với các chip hiệu suất cao," Yann Leger, cộng sự sáng lập và CEO của Koyeb, nói với TechCrunch.
"Kể từ khi chúng tôi giới thiệu ARM vào thị trường với Scaleway ngày trước, cung cấp máy chủ tùy chỉnh hoàn toàn vào năm 2013-2014, chúng tôi có kinh nghiệm triển khai các cấu trúc khác nhau và vận hành các thiết bị phần cứng đa dạng," ông thêm.
Đối với Tenstorrent, nhà sản xuất chip AI đang tìm kiếm đối tác để xây dựng một hệ sinh thái phát triển xung quanh mô hình lập trình mã nguồn mở của mình. Để cung cấp một lựa chọn thay thế cho stap AI của Nvidia cần một làng để hợp tác.
