Teraz możesz używać usługi Amazon Elastic Kubernetes Service (EKS) do uruchamiania kontenerów w oparciu o instancje Amazon EC2 Inf1. Dzięki EKS i wtyczce AWS Neuron Kubernetes urządzenia można łatwo łączyć wiele urządzeń Inferentia w klastrze, aby wykonywać wydajne i kosztowo optymalne zadania wnioskowania na dużą skalę.

Instancje Amazon EC2 Inf1 zapewniają wysoką wydajność i najniższe koszty wnioskowania maszynowego w chmurze. Instancje Inf1 zawierają do 16 układów AWS Inferentia, wysokowydajne układy do uczenia maszynowego zaprojektowane i zbudowane przez AWS. Za pomocą instancji Inf1 klienci mogą uruchamiać aplikacje do wnioskowania maszynowego na dużą skalę, takie jak rozpoznawanie obrazu, rozpoznawanie mowy, przetwarzanie języka naturalnego, personalizacja i wykrywanie oszustw. Po przeszkoleniu modelu uczenia maszynowego można wdrożyć swój model, korzystając z AWS Neuron, specjalistycznego zestawu programistycznego (SDK) składającego się z kompilatora, narzędzi wykonawczych i narzędzi do profilowania, które optymalizują wydajność wnioskowania maszynowego dla układów Inferentia i obsługują popularne platformy uczenia maszynowego, takie jak TensorFlow, PyTorch lub MXNet.

Amazon EKS ułatwił uruchamianie kontenerów opartych na Inferentii, aktualizując zoptymalizowany pod kątem EKS Accelerated AMI o wszystkie niezbędne pakiety AWS Neuron. Po uruchomieniu klastra z węzłami roboczymi opartymi na najnowszym przyspieszonym interfejsie AMI można zainstalować wtyczkę urządzenia AWS Neuron Kubernetes, która udostępnia urządzenia Inferentia jako dostępne zasoby do kubelet. Ta precyzyjna funkcja planowania pozwala klientom EKS osiągnąć lepsze wykorzystanie i większe oszczędności kosztów w porównaniu do korzystania z samodzielnych instancji EC2 Inf1.

Instancji EC2 Inf1 można używać we wszystkich klastrach EKS z wersją 1.14 i nowszą w regionach, w których dostępny jest Inf1. Obecnie obsługiwane są tylko samodzielnie zarządzane grupy węzłów, które można uruchomić za pomocą eksctl, CloudFormation lub AWS CLI. Obsługa grup węzłów zarządzanych przez EKS zostanie dodana w przyszłej wersji.

Źródło

Więcej o Amazon EKS