Zugriff auf OpenAI GPT-Modelle auf Amazon Bedrock mit globaler regionenübergreifender Inferenz in Thailand, Malaysia, Singapur, Indonesien und Taiwan

Single-Region-Inferenz kann gedrosselt werden, wenn die Nachfrage die lokale Kapazität übersteigt. Teams in Thailand, Malaysia, Singapur, Indonesien und Taiwan benötigen Zugriff auf die neuesten OpenAI-Modelle über diese Kapazität hinaus. Amazon Bedrock bietet OpenAI GPT-6 Sol und GPT-6 Luna über globale regionsübergreifende Inferenz aus allen fünf AWS-Regionen sowie GPT-6 Astra aus dem asiatisch-pazifischen Raum (Singapur). Dieser Beitrag zeigt Ihnen, wie Sie den Aufruf konfigurieren, Berechtigungen festlegen und die Inferenz aus Ihrer Quellregion überwachen.

GPT-6 Sol, GPT-6 Luna und GPT-6 Astra sind alle über globale regionsübergreifende Inferenz aus den vorangegangenen Regionen über den bedrock-runtime-Endpunkt verfügbar. Siehe Cross-Region inference im Amazon Bedrock User Guide. Eine vollständige Liste der Quell- und Zielregionen in jedem Profil finden Sie unter Supported Regions and models for inference profiles.

In diesem Beitrag stellen wir die globalen regionsübergreifenden Inferenzprofile vor und rufen sie aus dem asiatisch-pazifischen Raum (Singapur) unter Verwendung der Converse-API, der OpenAI-kompatiblen APIs und Programmier-Clients auf. Wir behandeln dann die Konfiguration von AWS Identity and Access Management (IAM) und Service-Kontrollrichtlinien (SCP), das Kontingentmanagement und die Überwachung.