Die Debatte über die Zukunft der Arbeit weist ein Beweisproblem auf

Es gibt keinen Mangel an Zahlen darüber, wie viel Arbeit die Agenten aufnehmen werden. Es besteht ein erheblicher Mangel an Zahlen, die von beobachtenden Agenten bei der Arbeit stammen.

Diese Lücke ist kein Zufall. Die Beobachtung der tatsächlichen Einführung ist langsam, chaotisch und organisationsspezifisch, während die Erstellung einer Expositionsschätzung einen Nachmittag und eine Aufgabentaxonomie erfordert. Also trafen zuerst die Schätzungen ein, und seitdem kursieren sie mit einer Präzision, die sie nie zuvor hatten.

Was die Schätzungen tatsächlich messen

Die übliche Methode nimmt eine Beschäftigung, zerlegt sie in Aufgaben, beurteilt, welche Aufgaben ein Modell plausibel ausführen könnte, und gibt den Anteil an. Es ist eine vernünftige Methode für das, was sie ist. Das Problem ist, was bei der Übersetzung passiert.

Eine Aufgabe in einer Taxonomie ist eine saubere Einheit. Eine Aufgabe in einem Job ist in einen Kontext eingebettet, den die Taxonomie verworfen hat: wen Sie zuerst fragen müssen, welche Ausnahme in diesem Quartal gilt, was der Kunde am Telefon gesagt hat, was nie in die Akte aufgenommen wurde. Ein Agent, der die Taxonomieversion ausführen kann, hat nicht unbedingt die echte Version berührt.

Ein Expositionswert ist also eine Aussage über die beschriebenen Aufgaben. Es wird routinemäßig als Aussage über die ausgeführten Arbeiten gelesen, und das sind unterschiedliche Behauptungen.

Der Teil, der weggelassen wird

In den Organisationen, mit denen wir zusammenarbeiten, entfällt der größte Teil des Aufwands nicht auf die Aufgabe, die der Agent ausführt. Es ist alles drumherum.

Entscheiden, welche Arbeit sicher übergeben werden kann. Feststellen, wem der Agent gehört. Definieren Sie genau genug, wie eine gute Ausgabe aussieht, um sie zu bewerten. Aufbau des Überprüfungsschritts. Drei Wochen später bemerkte ich, dass der Agent in aller Stille etwas fast richtig gemacht hatte.

Nichts davon erscheint in einer Expositionsschätzung, und alles davon bestimmt, ob sich die Exposition jemals in etwas umwandelt. Aus diesem Grund ähneln die Akzeptanzkurven nicht den Prognosen: Der Flaschenhals war nie die Modellfähigkeit.

Was wir stattdessen messen würden

Eine ehrliche Messung der Agentenakzeptanz ist schwieriger und weniger zitierbar, aber möglich. Es sieht so aus.

• Verfolgen Sie Ergebnisse, nicht Fähigkeiten. Nicht „konnte ein Agent dies tun“, sondern „hat es getan und wurde die Ausgabe ohne Nacharbeit akzeptiert“.
• Zählen Sie die Bewertung. Wenn ein Mensch jede Ausgabe sorgfältig liest, verschiebt sich das Werk eher, als dass es verschwindet. Das ist immer noch eine Veränderung, aber es ist eine andere.
• Folge den Waisenkindern. Agenten, die noch Monate nach Ende ihres Zwecks laufen, sind ein echter Kostenfaktor und ein Signal für die Governance.
• Messen Sie pro Agent, nicht pro Organisation. Die aggregierten Zahlen verbergen die Tatsache, dass normalerweise zwei von vierzig Agenten den Großteil der nützlichen Arbeit erledigen.
• Melden Sie die Fehler. Adoptionsstudien, die nur Erfolge zählen, beschreiben eine Welt, in der niemand arbeitet.

Warum dies über die Genauigkeit hinaus wichtig ist

Schlechte Schätzungen sind nicht nur falsch, sie sind auch teuer. Ein Führungsteam, das davon überzeugt ist, dass sechzig Prozent einer Funktion automatisierbar sind, wird dies planen und dann ein Jahr damit verbringen, den Unterschied zwischen einer Aufgabe und einem Job herauszufinden. Ein Team, das glaubt, dass nichts automatisierbar ist, wird die engen Fälle übersehen, in denen Agenten wirklich Stunden aus einer Woche streichen.

Beide Fehler haben denselben Ursprung: eine Zahl, die spezifisch genug klang, um sie zu umgehen, und die mit einer Methode erzeugt wurde, die zu dieser Spezifität nie in der Lage war.

Was wir dagegen tun

Yaju Labs untersucht, wie Unternehmen tatsächlich Agenten erstellen, verwenden, verwalten und verbessern, was bedeutet, dass die operative Ebene beobachtet wird, die bei Expositionsschätzungen übersprungen wird. Wir veröffentlichen, was wir finden, einschließlich der Teile, die keine klare Erzählung stützen.

Es ist eine langsamere Arbeit als die Erstellung einer weiteren Prognose. Es hat auch den Vorteil, etwas zu beschreiben, das passiert ist.

Als nächstes

Auf den Seiten zur Zukunft der Arbeit werden die vier Bereiche behandelt, die wir untersuchen, und warum die Lücke zwischen dem Aufbau eines Agenten und dem Betrieb eines Agenten das eigentliche Thema ist. Wenn Sie sich an dieser Arbeit beteiligen möchten, anstatt darüber zu lesen, können Sie der Open Development Community kostenlos beitreten.