Catégorie
Technologie
Comment le système se comporte sous charge et combien cela coûte.
5 articles
Ingénierie
Le trafic des agents ne se comporte pas comme les modèles de requêtes supposés par la plupart des planifications de capacité. Il est pointu, il croît avec la confiance plutôt qu'avec les effectifs, et une seule exécution peut consommer ce que consommeraient une centaine de requêtes ordinaires.
Équipe Yaju · 29 avril 2026
Ingénierie
Il existe une longue liste de techniques permettant de rendre l'inférence de modèle plus rapide et moins coûteuse. La plupart d’entre eux sont réels. Très peu d'entre eux expliquent la lenteur de votre agent, et choisir dans la liste avant de mesurer est la façon dont les équipes passent un trimestre sur un gain de 2 %.
Équipe Yaju · 2 juin 2026
Ingénierie
Les équipes fixent des budgets de coûts et des critères de qualité, puis laissent la latence telle quelle. C'est le troisième axe, il s'échange constamment contre les deux autres, et le laisser non spécifié signifie qu'il est décidé par accident.
Équipe Yaju · 25 mars 2026
Ingénierie
Les équipes qui optimisent les performances des agents commencent généralement par le modèle, car c'est la partie qui semble coûteuse. Lorsque nous instrumentons des exécutions réelles, le modèle représente systématiquement une minorité du temps écoulé.
Équipe Yaju · 27 mai 2026
Déploiement
Le reclassement est l'étape de récupération qui mérite le plus d'être ajoutée et celle qui est la plus souvent ignorée dans les environnements restreints, car elle signifie un autre composant à héberger. Voici ce que cela coûte réellement et comment décider si cela mérite sa place.
Équipe Yaju · 8 avril 2026
Tous les articles du blog