Émetteur-récepteur optique 800G

Aujourd'hui, nous avons quelque chose de très intéressant : un regard plus attentif sur le COBTELCOLORZ 800 (émetteur-récepteur à fibre optique de précision OSFP112-DR8). Il s'agit d'un ZR+ 800G longue distanceémetteur-récepteur optique, utilisant le facteur de forme enfichable OSFP standard, mais il peut atteindre des vitesses de 800 Gbit/s sur des distances de 500 kilomètres, voire plus de 1 000 kilomètres. Il peut même être configuré pour prendre en charge une communication à 400 Gbit/s sur des distances allant jusqu'à 2 500 kilomètres. Nous avons eu un aperçu de l'intérieur duCOBTELlaboratoire pour comprendre le fonctionnement de cette technologie optique cohérente et souhaitait vous montrer comment ils y parviennent.

De nos jours, la règle dans les centres de données est la suivante : utilisez autant que possible des câbles en cuivre, et lorsque la distance est trop grande, utilisez de la fibre optique. Si vous regardez des produits comme le NVIDIA GB200 NVL72, vous constaterez que sa plus grande innovation est la possibilité d'utiliser des câbles en cuivre sur le backend pour interconnecter 72 GPU et commutateurs.

Au-delà d'une longueur de câble d'environ 3 mètres, les lignes à haut débit-et les câbles en cuivre ne peuvent pas être utilisés ensemble en raison de problèmes d'intégrité du signal.

Alors que les câbles en cuivre peuvent généralement atteindre l'intérieur des racks et ceux adjacents, les émetteurs-récepteurs optiques peuvent être utilisés pour couvrir de plus longues distances. Cependant, il y a un hic. Les émetteurs-récepteurs optiques utilisent différentes technologies pour couvrir différentes distances à différentes vitesses.

Les émetteurs-récepteurs optiques à courte portée-fonctionnant à 10 Gbit/s ou 100 Gbit/s sont beaucoup moins chers à fabriquer que les émetteurs-récepteurs optiques à longue portée-fonctionnant à 400 Gbit/s ou 800 Gbit/s, en grande partie parce que la complexité de la technologie augmente.

Un autre aspect est le facteur de forme (la taille physique et la forme du module) duémetteur-récepteur optique.

Les modules de facteur de forme de style CFP-sont plus courants dans les applications de télécommunications. Dans les centres de données, nous avons tendance à voir de petits modules SFP pour les applications-bas de gamme et des modules QSFP et OSFP plus grands pour les applications-haute vitesse. Même les cartes réseau d'infrastructure d'IA courantes, comme l'adaptateur NVIDIA ConnectX-7 400GbE, utilisentOSFP. Aujourd'hui, nous discutons du module COBTEL COLORZ III 800G ZR+ OSFP. OSFP fournit un module standard plus grand avec alimentation, refroidissement et, plus important encore, l'espace nécessaire pour gérer tous les composants. Cela ressemble à ceci :

En termes simples, d'un côté, le module reçoit les signaux électriques de l'appareil.

De l’autre côté, nous avons les ports optiques de transmission et de réception où sont insérés les câbles à fibre optique.

Même si cela semble simple, quelque chose de remarquable se produit à l’intérieur du boîtier métallique. Les signaux électriques sont convertis en signaux optiques, et les signaux optiques sont reconvertis en signaux électriques. Nous expliquerons ce qui se passe à l'intérieur à un niveau élevé afin que la plupart des gens puissent comprendre.

Ensuite, nous examinerons l'intérieur du boîtier OSFP et expliquerons son fonctionnement.

Il a été démontré que le placement des composants dans l'émetteur-récepteur optique est essentiel. Même un écart d'un-millimètre dans le placement des composants peut avoir un impact significatif sur ses performances. En règle générale, les entreprises déconseillent le démontage de ces-modules haut de gamme. Au lieu de cela, nous avons observé une démonstration dans le laboratoire de COBTEL, qui était essentiellement une version agrandie de ce qui se trouve à l'intérieur de ce petit boîtier OSFP métallique.

Bien entendu, un grand circuit imprimé disposé comme celui-ci n'est pas adapté aux appareils réseau. Un autre aspect impressionnant n'est donc pas seulement la possibilité de créer des modules de communication de 400 Gbit/s à 2 500 km ou de 800 Gbit/s à 1 000 km, mais également de les regrouper dans des modules de facteur de forme enfichables standard.

En regardant cette plateforme, la première chose que vous remarquerez est le courtDAC (câble à connexion directe). Il s'agit de l'interface de signal électrique de 800 Gbit/s.

C'est une vue du conseil de développement de l'autre côté.

Vous pouvez considérer cela comme le côté électrique du module que vous voyez ici :

Le premier arrêt se fait via le DSP COBTEL Orion. Il s'agit du composant situé entre les extrémités électrique et optique, utilisé pour nettoyer le signal.

Pour vous donner une idée de ce qu'il y a à l'intérieur, voici le DSP COBTEL Orion et le module COLORZ III 800G ZR+ dans lequel il est logé.Module OSFPse trouve au-dessus des modules enfichables COLORZ II (400G) et COLORZ I (100G) d'ancienne génération.

Ces DSP sont impressionnants car ils doivent gérer des tâches de traitement importantes dans un espace et un budget énergétique très contraints. Alors que les puces NIC ordinaires de 10 Gbit/s ou 25 Gbit/s sont fabriquées à l'aide de technologies de processus beaucoup plus anciennes, ces DSP sont fabriqués à l'aide d'un processus de 5 nm pour gérer les contraintes de puissance et d'espace au sein de l'empreinte du module OSFP.

À partir du DSP, le signal de transmission est acheminé vers le CDM, ou Coherent Driver Module, qui est le plus petit des deux boîtiers dorés/laiton ci-dessous, où une seule fibre est connectée.

Par souci de concision, nous n'entrerons pas dans les détails du fonctionnement du PIC, mais dans cette petite boîte, nous avons les composants nécessaires pour convertir les signaux électriques en signaux optiques à l'aide d'une source laser, de modulateurs et d'autres composants. À une extrémité du boîtier, nous entrons des signaux électriques et à l’autre extrémité, nous émettons de la lumière sur le faisceau de fibres. C'est la fin de la transmission sur cette carte de démonstration.

À ce stade, vous avez peut-être deviné que la case légèrement plus grande sur la gauche est l'extrémité réceptrice, connue sous le nom d'ICR, ou Integrated Coherent Receiver. Si vous utilisez souvent des câbles LC et des optiques monomodes-, vous le remarquerez immédiatement : il y a deux câbles fibre à l'extrémité de réception. C'est là que cette technologie est légèrement plus complexe que les optiques à faible-coût et à faible-vitesse qui effectuent uniquement une détection directe (analyse de type "y a-t-il de la lumière ou non").

Non seulement il y a une fibre de réception sur la carte de circuit imprimé, mais il y a aussi un oscillateur local qui envoie un deuxième signal dans l'ICR. Considérez-le comme un signal de référence pour la comparaison de phase. À l’intérieur de l’ICR se trouve un hybride à 90 degrés, un composant passif qui aide, entre autres, à conserver les informations de phase et d’amplitude. L'ICR est également équipé de photodétecteurs pour recevoir des signaux optiques et produire ensuite des sorties électriques à l'autre extrémité. Les signaux électriques sont généralement faibles, c'est pourquoi nous utilisons un TIA, ou amplificateur à transimpédance, pour convertir le faible courant du photodétecteur en une tension mesurable. Considérez-le comme un amplificateur du côté électrique.

Généralement, ces composants nécessitent également un refroidissement, la carte de référence ressemble donc davantage à ceci :

Même la source laser de référence nécessite un dissipateur thermique pour son refroidissement. Quand je mentionne que nous avons réussi à entrer dans le laboratoire, il est clair qu'il s'agit d'un véritable laboratoire.

Ensuite, les signaux électriques de l'ICR peuvent être introduits dans le DSP Orion du côté électrique.

Ceci complète le cycle complet du traitement du signal, couvrant à la fois les domaines électriques et optiques.

Il est important de noter que chaque côté de cette plate-forme de développement est finalement emballé et géré thermiquement dans le facteur de forme OSFP.

Au-delà du matériel, discutons brièvement de la nécessité d'un signal laser de référence et de la distinction entre détection directe et détection cohérente.

Dans le cadre de cet article, l'une de mes idées est d'explorer les différences entre la détection directe et la détection cohérente, qui sont couramment utilisées dans les dispositifs optiques bas de gamme-à faible coût-.

Ceux qui ont besoin d’approfondir leurs connaissances en mathématiques et en physique le connaissent peut-être déjà. De nombreuses méthodes de détection de signal se concentrent sur la simple question de savoir si un signal est présent ou non. Dans un module 10 Gbit/s très basique, cela peut être formulé comme « Y a-t-il de la lumière ou pas ? » Cela peut être représenté de nombreuses manières 2D assez simples, ainsi que par des schémas de codage plus complexes. En laboratoire, nous voyons souvent des diagrammes oculaires-représentations graphiques de la qualité du signal-comme celui présenté ci-dessous (de la division Silicon Photonics d'Intel 2019, qu'Intel a vendue la même année).

La détection cohérente est beaucoup plus complexe, car elle permet des techniques plus avancées utilisant la lumière. Au lieu de simplement détecter la présence de lumière, nous pouvons observer la « constellation » du signal. Les deux diagrammes affichent la polarisation X et Y, ce qui donne 16 constellations possibles.

C'est pourquoi il est crucial de disposer d'une référence d'oscillateur local. Pour des encodages plus complexes, nous avons besoin des informations supplémentaires fournies par cette référence.

Si vous êtes curieux de connaître les différences entre la détection directe et la détection cohérente, il existe de nombreux articles détaillés sur le sujet. Pour les téléspectateurs STH, l’essentiel à retenir est que même si le module 800G ZR+ OSFP peut ressembler à un module 100G SR4 QSFP28 légèrement plus grand, ses composants internes sont très différents.

La grande question est donc : « Pourquoi tout cela est-il important ? » Une raison simple est que le déploiement de centres de données dans plusieurs régions peut être avantageux en termes de coût et de résilience. La connexion directe d'un commutateur à un centre de données situé à 1 000 kilomètres ou plus permet aux organisations d'héberger davantage d'infrastructures dans des emplacements stables et à moindre coût. De plus, si vous disposez de deux campus géographiquement éloignés, les relier avec une bande passante de 400 Gbit/s à 800 Gbit/s pourrait changer la donne.-changer la donne.

Mais en réalité, l’un des principaux moteurs de l’optique enfichable aujourd’hui est la construction de centres de données IA. Cette construction est limitée par la disponibilité de l'énergie, de sorte que les opérateurs de centres de données se concentrent sur la sécurisation de l'alimentation. Les plans incluent la construction de grands centres de données à côté des centrales électriques existantes, la création de nouvelles sources d'énergie pour les centres de données, et bien plus encore. La réduction des pertes de transmission permet de maximiser la puissance disponible pour le calcul. Le défi est que les clusters nécessitent tellement d’énergie qu’il n’est peut-être plus possible de s’appuyer sur un seul site.

Nous entendons souvent l’idée de localiser plusieurs centres de données à proximité de sources d’énergie plutôt que de concentrer l’informatique sur un seul campus. Il est intéressant de noter que c'est également ce que de nombreux mineurs de cryptomonnaies exploraient entre le milieu-et-la fin des années 2010. La différence est que les fermes minières ne nécessitent pas un accès mutuel à bande passante élevée-et à faible-latence, contrairement aux clusters d'IA.

L'idée est que la création de clusters-à grande échelle sur plusieurs sites à proximité des sources d'énergie disponibles peut permettre d'économiser sur les pertes et les coûts de transport d'énergie, et cela peut également être plus simple. Au lieu d'acquérir des licences et de construire de grandes sources d'alimentation, les organisations peuvent éclairer des -câbles à fibre optique inutilisés-ou poser des fibres supplémentaires pour relier les clusters à plusieurs sources d'alimentation plus petites.

La réponse est donc simple : ces modules permettent aux organisations d'utiliser des émetteurs-récepteurs optiques enfichables courants (plutôt que des boîtiers DCI dédiés) pour établir des liaisons rapides sur de longues distances de manière relativement simple et peu coûteuse. Ce qui est encore plus intéressant, c'est le potentiel de-distribution géographique à grande échelle des ressources d'IA.

Les modules enfichables apparaissent souvent comme de simples coques métalliques. De ce point de vue, il est difficile de comprendre pourquoi l’un est plus complexe que l’autre.

En examinant les composants internes des modules-haut de gamme, nous pouvons mieux comprendre la complexité de ces optiques enfichables. Nous avons examiné un émetteur-récepteur optique 100G SR4 simple et peu coûteux, qui est très différent de l'émetteur-récepteur optique 800G ZR+. La raison en est que, bien qu'ils se ressemblent, le module COLORZ III peut transmettre des données à un débit 8 fois supérieur sur des distances 10 000 fois supérieures. C'est probablement pourquoi j'ai pensé que c'était une démo si cool quand je l'ai vue pour la première fois.

Certains ont peut-être remarqué dans le contexte précédent que nous avons également démonté un DAC 100G QSFP28 et un émetteur-récepteur optique 100G SR4 QSFP28. Nous pensons qu'il est important de vous montrer ce qu'il y a à l'intérieur du module, c'est pourquoi cet article révèle ce qu'il y a à l'intérieur du boîtier du DAC.

Le câble que nous sommes sur le point d’ouvrir est étiqueté comme un DAC Intel. C'est un cas assez typiqueQSFP-CNA, avec un connecteur électrique à une extrémité et un câble à l'autre.

L'ouverture du boîtier est assez simple. Certains boîtiers, comme celui-ci, utilisent de simples vis pour les maintenir ensemble. D'autres utilisent des méthodes de connexion plus difficiles-à-ouvrir. Nous vous recommandons, si vous ouvrez le boîtier vous-même, d'essayer d'en utiliser un avec des vis faciles à serrer. Sachez également que le mécanisme de fixation du QSFP28 est généralement doté d'un ressort. Il est bien connu qu'à l'ouverture de ces boîtiers, le ressort peut sortir du boîtier.

À l’intérieur du boîtier, on peut voir que le PCB est très simple. En effet, vous pouvez voir de nombreuses traces entre le connecteur QSFP28 et les fils internes du câble.

 

Le module est doté de fils blindés épais, de la même longueur que le DAC. Chaque fil possède un numéro, ce qui peut être utile pour la fabrication. Les connexions et les extrémités des fils sont recouvertes de résine ou d'époxy pour les fixer aux points de soudure du PCB. Ensuite, nous obtenons du ruban de cuivre et une sortie de câble flexible avec des supports incurvés. Les deux côtés se ressemblent beaucoup.

Juste pour vous donner une idée, voici à quoi ressemble l'intérieur d'un DAC QSFP28 100G SR4 à faible coût, en particulier le côté PIC (Photonic Integrated Circuit). L'alignement des fibres optiques doit être plus précis et l'interface photon-à-circuit est beaucoup plus complexe que la structure interne du DAC.

La plupart des gens n’auront jamais besoin de jeter un coup d’œil à l’intérieur d’un DAC. Ils sont conçus pour être plug-and-play-et-ne nécessitant aucune maintenance. Nous pensons néanmoins qu'il vaut la peine d'ouvrir une extrémité du boîtier pour montrer le fonctionnement de ces câbles. Précisons au moins qu'il s'agit de câbles passifs. Il existe des AEC (Active Electrical Cables), qui comportent des puces de resynchronisation actives dans les connecteurs de câbles qui contribuent à améliorer la qualité du signal, permettant ainsi aux signaux à grande vitesse - de voyager plus loin sur le cuivre. Les AEC sont plus complexes,-énergivores et coûteux. Cela dit, en ce qui concerne la simplicité de conception du DAC, nous espérons que ces photos vous donneront une meilleure idée.