L'inventeur et ingénieur Charles Kettering a un jour déclaré qu'un problème bien énoncé est un problème à moitié résolu, tandis qu'un problème mal énoncé est insoluble.
Ici, sur "Votre Attention Indivise", nous explorons divers problèmes, l'addiction, la désinformation, la polarisation, le changement climatique, et plus encore. Mais que se passerait-il si beaucoup de ces problèmes étaient en réalité des symptômes d'un même problème global ou d'une crise globale ?
Et si un point d'intervention clé pour agir sur cette crise globale était l'évolution de notre capacité collective à résoudre les problèmes ?
Et si définir le problème de cette manière, comme un problème lié à notre capacité à résoudre les problèmes, le rendait, comme le disait Charles Kettering, à moitié résolu ?
Alors Daniel, peut-être devrions-nous commencer par : qu'est-ce que la méta-crise ?
Et pourquoi ces problèmes semblent-ils ne pas se résoudre, que ce soit le changement climatique ou tout autre sujet qui nous préoccupe actuellement ?
Je pense que beaucoup de gens ont une impression générale qu'il y a un nombre croissant de problèmes potentiellement catastrophiques, qu'il s'agisse de problèmes liés à de futures pandémies, au changement climatique, ou à la migration humaine induite par le changement climatique qui entraîne ensuite des guerres de ressources et une instabilité politique, ou encore la fragilité d'un monde globalisé hautement interconnecté où un problème dans une partie du monde peut créer des problèmes de chaîne d'approvisionnement affectant le monde entier. Il y a un sentiment que le nombre de risques catastrophiques augmente plus rapidement que notre capacité à les résoudre.
Et en ce qui concerne l'ONU, bien que des progrès aient été réalisés dans certains domaines définis par les objectifs de développement durable, et des progrès aient été faits à l'époque où ils étaient appelés les Objectifs du Millénaire pour le Développement, nous sommes très loin de parvenir à une solution globale à aucun d'entre eux.
Nous ne sommes même pas sur la bonne voie pour quelque chose qui converge vers une solution complète. Nous n'avons toujours pas réussi à désarmer le nucléaire. Nous avons eu un succès très limité en matière de désarmement nucléaire tout en faisant en même temps des courses aux armements nucléaires. Et nous sommes passés de deux pays possédant des armes nucléaires à plus de pays possédant de meilleures armes nucléaires. [9 pays au total]
Les principaux problèmes de la tragédie des communs, comme le changement climatique, la surpêche, les zones mortes dans les océans, les microplastiques dans les océans et la perte de biodiversité, nous n'avons pas réussi à les résoudre non plus.
Et donc, plutôt que de simplement penser à cela comme un nombre écrasant de problèmes totalement séparés, la question est de savoir pourquoi les modèles de comportement humain, à mesure que nous augmentons notre capacité technologique totale, semblent accroître le risque catastrophique et pourquoi nous ne les résolvons pas efficacement.
Y a-t-il des modèles sous-jacents que nous pourrions considérer comme des fonctions génératrices du risque catastrophique, des fonctions génératrices de notre incapacité à les résoudre, qui, si nous les identifions et travaillons à ce niveau, pourraient nous permettre de résoudre toutes les expressions ou symptômes de ces problèmes ? Et si nous ne travaillons pas à ce niveau, il se peut que nous ne puissions résoudre aucun d'entre eux.
Y a-t-il des motifs sous-jacents que nous pourrions considérer comme des fonctions génératrices du risque catastrophique, des fonctions génératrices de notre incapacité à les résoudre, que si nous pouvions identifier et travailler à ce niveau, nous pourrions résoudre toutes les expressions ou symptômes ? Et si nous ne travaillons pas à ce niveau, nous pourrions ne pas être en mesure de les résoudre du tout.
La première que j'ai remarquée lorsque j'étais enfant concernait la tentative de résoudre un problème de braconnage d'éléphants dans une région particulière d'Afrique qui ne s'attaquait pas à la pauvreté des gens qui n'avaient d'autre mécanisme que le marché noir pour le braconnage, qui ne s'attaquait pas à la mentalité des gens envers les animaux, qui ne s'attaquait pas à une macroéconomie qui créait de la pauvreté à grande échelle.
Alors, lorsque les lois ont été mises en place et les clôtures érigées pour mieux protéger ces éléphants dans cette zone, les braconniers se sont tournés vers le braconnage d'autres animaux, notamment dans cette situation, les rhinocéros et les gorilles, qui étaient tous deux plus menacés que ne l'étaient les éléphants. Ainsi, un problème a été déplacé d'une région à une autre, et en fait vers une région plus sensible.
Et nous voyons cela avec, par exemple, pouvons-nous résoudre la faim en introduisant l'agriculture commerciale dans des parties du monde qui en sont dépourvues, pour que les gens ne manquent pas de nourriture ou que nous n'ayons pas à leur envoyer de la nourriture ?
Mais si c'est une agriculture commerciale basée sur des processus agricoles non durables et écologiquement insoutenables qui entraînent de grandes quantités de ruissellement d'azote se déversant dans les deltas des rivières provoquant des zones mortes dans l'océan, cela peut en fait accélérer l'effondrement de la capacité de la biosphère à soutenir la vie, résolvant ainsi un problème à court terme important tout en aggravant des problèmes à long terme.
Vous voyez l'idée.
Encore et encore, la manière dont nous résolvons les problèmes à court terme peut créer d'autres problèmes sur les bilans que nous ne découvrons que plus tard.
Cela est similaire au problème du programme de vérification des faits de Facebook. La vérification des faits semble être une solution au problème des fausses nouvelles.
Mais cela peut en fait causer plus de polarisation, car dans un monde déjà divisé par les tunnels de personnalisation de Facebook, montrer aux gens des vérifications de faits peut simplement accentuer davantage la polarisation et le désaccord.
Dans le cas que vous et le Center for Humane Technology avez tant mis en avant concernant l'économie de la récolte et de la direction de l'attention, il est juste de dire que ce n'était probablement pas l'objectif de Facebook ou Google de créer les types d'effets qu'ils ont eu. Ceux-ci étaient des externalités non intentionnelles.
Ce sont des effets de second ordre. Mais ils essayaient de résoudre des problèmes. Prenons le problème de Google, celui d'organiser les informations du monde et d'améliorer la recherche. Cela semble être une bonne chose à faire. Et reconnaissons que seulement si nous obtenons beaucoup de données, notre apprentissage automatique s'améliorera. Ainsi, nous devons réellement amener tout le monde sur cette plateforme. Nous devons donc absolument la rendre gratuite. Eh bien, alors la nature du modèle publicitaire, optimisant le temps passé sur le site, finit par faire appel aux biais existants des gens plutôt que de les corriger, faisant appel à leurs identités de groupe tribal plutôt que de les corriger, et faisant appel aux détournements limbiques plutôt que d'aider les gens à les transcender.
Et en conséquence, vous finissez par briser la solidarité sociale et la capacité épistémique nécessaires à la démocratie. Donc, définissons quelques termes ici. Lorsque Daniel parle de détournement limbique, il fait référence à la manière dont la technologie pirate notre système limbique, ou nos émotions et cerveaux paléolithiques, afin de stimuler les clics et les comportements. Et quand il parle de capacité épistémique, il fait référence à, et c'est quelque chose de vraiment important que nous allons continuer à utiliser sur Your Undivided Attention, il fait référence à l'épistémologie, qui signifie comment nous savons ce que nous savons. Donc, au lieu de parler juste de lutter contre les fausses nouvelles, nous pouvons parler de meilleure épistémologie, de meilleure capacité de discernement sur la manière dont nous savons ce que nous savons.
Et Daniel est préoccupé par la manière dont les plateformes de médias sociaux brisent la capacité épistémique nécessaire à la démocratie. C'est comme, oh, résolvons le problème de recherche. Ça semble être une bonne chose.
L'effet secondaire est que nous allons détruire la démocratie et les sociétés ouvertes dans le processus, et toutes ces autres choses. Comme, ce sont des exemples de résolution d'un problème d'une manière qui externalise les dommages, causant d'autres problèmes qui sont souvent pires. Donc, je dirais que la manière dont nous essayons de résoudre les problèmes est en fait principalement impossible. Cela le résout d'une manière très étroite tout en externalisant les dommages et en causant des problèmes pires, ou cela rend sa résolution impossible car cela entraîne la polarisation.
Et donc aller au niveau où les problèmes sont interconnectés, où ce à quoi tout le monde tient est pris en compte, et où vous n'externalisez pas d'autres problèmes, bien que cela semble plus complexe, est en fait possible.
Et ce qui le rend possible, c'est la compréhension des moteurs sous-jacents, des fonctions génératrices du risque existentiel, dont Daniel dit qu'il y en a trois.
- La dynamique du risque rival, et elle se manifeste de deux manières principales.
- Les courses aux armements : si nous ne pouvons pas garantir qu'ils ne construisent pas d'armes IA, ou qu'ils ne développent pas de technologies de surveillance, et qu'ils obtiennent un pouvoir accru à court terme en le faisant, nous devons juste nous dépêcher de les devancer. C'est le type de chose de la course aux armements.
- La tragédie des communs : Et le scénario de la tragédie des communs est que si nous ne surpêchons pas cette zone d'océan vierge, mais que nous ne pouvons pas contrôler que quelqu'un d'autre ne le fasse pas, car comment faisons-nous l'application si c'est aussi un pays nucléaire ? C'est compliqué, n'est-ce pas ? Comment faire appliquer les règles sur les pays nucléaires, les pays équipés ? Le fait de ne pas le faire ne signifie pas que les poissons ne seront pas tous pêchés. Cela signifie simplement qu'ils augmenteront leur population et lexur PIB plus rapidement, qu'ils utiliseront de manière rivale. Nous pourrions tout aussi bien le faire. En fait, nous pourrions tout aussi bien nous dépêcher de le faire avant eux. Ce sont les problèmes de type tragédie des communs. Il se trouve juste que, bien que cela ait du sens pour chaque agent individuellement à court terme, cela crée une dynamique mondiale pour l'ensemble à long terme qui s'autodétruit. Parce que vous ne pouvez pas faire fonctionner une externalité exponentielle sur une planète finie. C'est la tragédie des communs. Et vous ne pouvez pas avoir des courses aux armements exponentielles et des conflits exponentiels sur une planète finie. Nous voyons cette dynamique du risque rival partout, encore et encore, sur Your Undivided Attention. Si je ne cherche pas à capter l'attention de ces préadolescents sur les médias sociaux, et que vous le faites, alors vous gagnerez, et je perdrai. Si je ne mobilise pas le système de récompense par la dopamine pour créer une addiction dans mon application, et que vous le faites, alors vous gagnerez, et je perdrai. Et si je n'utilise pas des publicités de campagne négatives pour gagner une élection en vous faisant haïr l'autre camp, alors vous gagnerez, et je perdrai. Ces dynamiques de risque rival nous amènent à la deuxième fonction génératrice du risque existentiel,
- La submersion de notre substrat. Ce sont les substrats, ou les environnements, qui rendent la civilisation humaine possible en premier lieu. La dégradation environnementale due à la surpêche, la dégradation de l'attention due aux applications qui se disputent notre attention, ou la dégradation de la confiance sociale due aux politiciens qui se disputent pour nous indigner. Et les dynamiques de risque rival du capitalisme débridé érodent le substrat dont dépend toute notre civilisation.
- La technologie exponentielle, ou la technologie qui croît et s'améliore de manière exponentielle.
Alors vous pouvez imaginer cela comme la rivalité entre deux personnes avec des gourdins, à la rivalité entre deux personnes avec des armes semi-automatiques, à deux acteurs avec des bombes nucléaires qui peuvent faire exploser le monde entier instantanément.
Pensez à une rivalité entre deux annonceurs qui mettent en place un seul panneau d'affichage dans la ville qui peut influencer environ 100 personnes, à une rivalité entre deux agents utilisant la capacité mondiale de Facebook à influencer 3 milliards de personnes avec des millions de tests A/B et un ciblage micro-précis.
Plus le pouvoir et la technologie sont exponentiels, plus le risque exponentiel est créé. Voici donc les trois fonctions génératrices du risque existentiel. La dynamique du risque rival, la submersion du substrat ou du terrain de jeu, et le pouvoir et la technologie en croissance exponentielle.
Daniel dit que toute civilisation qui n'aborde pas ces trois fonctions génératrices s'autodétruira inexorablement.
Ce ne sont pas de bonnes nouvelles.
Alors faisons un pas en arrière.
Comment en sommes-nous arrivés là ?
Comment avons-nous atteint ce niveau de risque existentiel mondial non géré ? Avant la Seconde Guerre mondiale, le risque catastrophique était en fait une partie réelle de l'expérience des gens.
Et si nous utilisions pleinement notre technologie et continuions la course aux armements au-delà de la technologie existante, ce serait une guerre où gagner-perdre devient perdre-perdre à tous les niveaux à ce niveau de puissance. Cela a donc créé la nécessité de faire quelque chose que l'humanité n'avait jamais fait, à savoir que les grandes superpuissances ne se faisaient pas la guerre. Toute l'histoire du monde, l'histoire de ce que nous appelons la civilisation, ils l'ont toujours fait. Nous avons donc créé un système mondial, un système mondialisé, dans le but d'empêcher la Troisième Guerre mondiale. Ainsi, le monde d'après la Seconde Guerre mondiale de Bretton Woods avec la destruction mutuellement assurée et les Nations Unies était une solution pour pouvoir gérer ce niveau de technologie sans nous détruire. Et c'était vraiment une réorganisation du monde. Et cela reposait sur quelques points.
La destruction mutuellement assurée était cruciale. La mondialisation et le commerce économique étaient essentiels. Si l'ordinateur sur lequel nous parlons et le téléphone que nous utilisons sont fabriqués sur six continents et qu'aucun pays ne peut les fabriquer seul, nous ne voulons pas les faire exploser et ruiner leur infrastructure parce que nous en dépendons. Créons donc une interdépendance économique radicale afin d'avoir plus d'incitations économiques à coopérer. C'était en quelque sorte la base de tout ce système mondial. Et nous pouvons voir que nous avons eu des guerres, mais elles ont été des guerres par procuration et des guerres froides. Ce n'étaient pas des guerres majeures entre superpuissances. Et elles ont été non conventionnelles. Mais nous n'avons pas eu de Troisième Guerre mondiale cinétique. Nous en sommes maintenant à un point où cette économie radicalement positive qui nécessitait une croissance exponentielle de l'économie, ce qui signifie une économie des matériaux linéaire qui prend des ressources à la Terre plus rapidement qu'elles ne peuvent se régénérer et les transforme en déchets plus rapidement qu'elles ne peuvent être traitées, a conduit à la question des limites planétaires où il ne s'agit pas seulement de changement climatique ou de surpêche ou de zones mortes dans l'océan ou de microplastiques ou d'extinction d'espèces ou de phosphore de pointe. Il y a 100 choses, n'est-ce pas ?
Comme il y a toutes ces limites planétaires. Nous ne pouvons donc pas continuer avec une économie des matériaux linéaire exponentielle. Et ensuite, la chose de la destruction mutuelle ne fonctionne plus parce que nous n'avons pas deux pays avec une seule arme catastrophique. C'est vraiment, vraiment difficile à fabriquer et facile à surveiller car il n'y a pas tant d'endroits qui ont de l'uranium. Il est difficile de l'enrichir. Vous pouvez le surveiller par satellites. Nous avons beaucoup de pays avec des armes nucléaires. Mais nous avons aussi beaucoup de nouvelles armes catastrophiques qui ne sont pas difficiles à fabriquer, qui ne sont pas faciles à surveiller, qui ne nécessitent même pas d'États-nations pour les fabriquer. Alors, si vous avez beaucoup d'acteurs de différents types avec de nombreux types d'armes catastrophiques, comment faites-vous pour la destruction mutuellement assurée ? Vous ne pouvez pas le faire de la même manière. Et donc, ce que nous trouvons, c'est que l'ensemble de solutions d'après-guerre qui nous a empêchés de nous faire exploser avec notre nouveau pouvoir a duré un certain temps, mais cet ensemble de solutions a pris fin. Et elles ont maintenant créé leur propre ensemble de nouveaux problèmes. Il y avait donc un risque catastrophique avant la Seconde Guerre mondiale, qui était localement existentiel. Et puis il y a eu un risque catastrophique de la Seconde Guerre mondiale à aujourd'hui, qui était globalement existentiel, mais géré par ce que Daniel pourrait appeler l'ordre de Bretton Woods, qui comprend les accords de Bretton Woods, les Nations Unies et la destruction mutuellement assurée. Mais aux yeux de Daniel, l'ordre de Bretton Woods n'est plus à la hauteur de la tâche. C'est aux Nations Unies.
Alors, comment gérons-nous le risque existentiel mondial sans sombrer dans l'oppression ou le chaos ? Quel pourrait être un nouvel attracteur ? Je pense que c'était une citation de Jefferson disant que le dépôt ultime du pouvoir doit être le peuple. Et si nous pensons que le peuple est trop peu éduqué et éclairé pour détenir ce pouvoir, nous devons faire tout ce que nous pouvons pour chercher à éduquer et éclairer, plutôt que de penser qu'il n'y a aucun autre dépôt sûr. L'une des choses essentielles est la relation entre les droits et les responsabilités. Donc, si j'ai des droits et que je n'ai pas de responsabilités, cela finit par ressembler à de la tyrannie et à un sentiment de droit. Si j'ai des responsabilités et que je n'ai pas de droits associés, c'est de la servitude. Aucun de ces cas n'implique une société juste et saine. Donc, si je veux le droit de conduire une voiture, la responsabilité de suivre une éducation à la conduite et d'apprendre à conduire une voiture en toute sécurité est importante. Et nous pouvons voir que certains pays ont moins d'accidents de voiture que d'autres, associés à une meilleure éducation à la conduite. Et donc, augmenter la responsabilité est une bonne chose. Nous pouvons voir que certains pays ont beaucoup moins de violence armée que d'autres, même en tenant compte d'une quantité similaire d'armes par habitant, basée sur plus de formation associée aux armes et à la santé mentale et à des choses comme ça.
Alors, si j'ai le droit de porter des armes, ai-je également la responsabilité de faire partie d'une milice bien organisée, de m'entraîner avec elle et d'être prêt à me sacrifier pour protéger l'ensemble ou de m'inscrire pour cela ? Dois-je être une sorte de réserviste ? Ce sont les responsabilités qui accompagnent ces droits. Si je veux le droit de vote, ai-je la responsabilité d'être éduqué à ce sujet ? Oui. Cela rend-il la situation très inégale ? Non, car la capacité à s'éduquer doit être quelque chose que la société s'investit à rendre possible pour tous. Et bien sûr, nous serions stupides de ne pas être sceptiques, compte tenu de l'histoire antérieure de ces choses. Nous devrions être très sceptiques, étant donné l'utilisation historique de l'éducation pour supprimer le vote des noirs. Mais Daniel dit que nous devrions concevoir des systèmes pour permettre aux gens d'être au maximum informés et de participer au maximum à leur propre gouvernance.
Alors, comment rendons-nous les rampes d'accès à l'apprentissage disponibles pour tous, non pas en les imposant, mais en les incitant réellement ? Pouvons-nous utiliser ces mêmes types de technologies de comportement sur les réseaux sociaux et d'envoi pour augmenter le désir de chacun d'avoir plus de droits et de responsabilités associées, de sorte qu'il y ait réellement un gradient de vertu civique et d'engagement civique ? Oui, nous pourrions totalement le faire. Ainsi, ce nouvel attracteur n'est rien de moins qu'une sorte de nouvel éclaircissement culturel, ce qui semble ambitieux, je sais. Notre dernier éclaircissement a été un passage de la superstition, du mythe et de l'irrationalité à la logique, la science et la rationalité, et à la poursuite de nouveaux idéaux tels que la liberté, la tolérance et le gouvernement représentatif. Le nouvel éclaircissement culturel serait un passage d'une culture qui gère le risque par l'oppression ou qui ne gère pas du tout le risque parce qu'elle est tombée dans le chaos, à une culture qui possède la sagesse émergente pour gérer les technologies exponentielles, un éclaircissement culturel soutenu par une technologie humaine.
Comment utilisons-nous les nouvelles technologies exponentielles, toute la suite d'entre elles, pour construire de nouveaux systèmes d'intelligence collective, de nouveaux systèmes de technologie sociale meilleurs ? Comment crée-t-on un quatrième pouvoir qui puisse vraiment éduquer tout le monde de manière adéquate dans un monde post-Facebook ? Disons que nous prenons la technologie d'attention que vous avez beaucoup observée et qui, lorsqu'elle est appliquée à une application commerciale, cherche à collecter des données pour maximiser à la fois le temps passé sur le site et l'engagement avec certains types de publicités et autres. C'est évidemment la capacité de diriger le comportement humain et les sentiments et pensées humains. Cette même technologie pourrait-elle être utilisée à des fins éducatives pour personnaliser l'éducation au style d'apprentissage d'un enfant ou d'un adulte selon leurs domaines d'intérêt particuliers et pour ne pas utiliser la capacité de les contrôler à des fins théoriques de jeu, mais utiliser la capacité de les influencer pour même les aider à apprendre ce qui rend leur propre centre, leur locus d'action plus internalisé, n'est-ce pas ?
Nous pourrions apprendre aux gens avec cette technologie comment reconnaître leurs propres biais, comment reconnaître leurs propres comportements émotionnels, comment reconnaître les dynamiques de pensée de groupe, comment comprendre la propagande et la littératie médiatique. Alors, pourrions-nous réellement utiliser ces outils pour augmenter le système immunitaire des gens contre l'utilisation de ces outils par de mauvais acteurs ? Absolument. Pourrions-nous les utiliser de manière pédagogique en général pour identifier plutôt que de fabriquer des désirs chez les gens ou de faire appel aux anges les plus bas de leur nature parce que l'addiction est rentable, pouvons-nous faire appel aux anges les plus élevés de la nature des gens mais qui sont alignés avec des incitations intrinsèques et être capables de créer des programmes éducatifs personnalisés basés sur ce qui motive réellement chaque personne de manière innée et intrinsèque, mais qui sont leurs motivateurs innés supérieurs ? Pourrions-nous faire cela ? Oui, totalement nous pourrions.
Pourrions-nous avoir un système éducatif qui en résulte et qui identifie les aptitudes innées, les intérêts innés de chacun et facilite leur développement de sorte que non seulement ils deviennent bons dans quelque chose, mais qu'ils deviennent de plus en plus intrinsèquement motivés, fascinés et passionnés par la vie, ce qui signifie également qu'ils deviennent continuellement meilleurs dans ce domaine ? Eh bien, dans un monde où l'automatisation technologique, à la fois robotique et IA, monte en puissance, où tant d'emplois sont sur le point d'être obsolètes, notre économie et notre système éducatif doivent changer radicalement pour faire face à cela car l'une des choses fondamentales qu'une économie a toujours essayé de faire était de répondre au besoin d'une société en main-d'œuvre.
Et il y avait ces emplois que la société devait accomplir que personne ne voudrait vraiment faire. Donc, soit l'État doit les forcer à les faire, soit vous devez faire en sorte que les gens aient aussi besoin de l'emploi. Il y a donc une symétrie et donc une sorte de forces du marché les oblige à le faire. Donc, si l'un des axiomes fondamentaux de toutes nos théories économiques est que nous devons trouver comment inciter une main-d'œuvre à faire des choses que personne ne veut faire, et que l'automatisation technologique émergente commence à dévaloriser cela, cela signifie que nous devons repenser l'économie à partir de zéro car nous n'avons plus besoin de faire cette chose. Alors peut-être que si maintenant les emplois n'ont plus besoin des gens, pouvons-nous refaire un nouveau système économique où les gens n'ont pas besoin des emplois ? Quel est le rôle des humains dans un monde post-automatisation IA et robotique ?
Car cela arrive très, très bientôt. Et quel est l'avenir de l'éducation là où vous n'avez pas besoin de préparer les gens à être des choses que vous pouvez simplement programmer des ordinateurs pour être ? Eh bien, le rôle de l'éducation doit être basé sur quel est le rôle des gens dans ce monde ? Cela représente une refonte profonde de la civilisation car la technologie change l'ensemble des possibilités à ce point. Donc, au cœur de cela se trouvent des questions existentielles profondes sur ce qu'est une vie humaine significative et ensuite quelle est une bonne civilisation qui augmente l'espace des possibilités pour tout le monde et comment concevons-nous cette chose ? Donc, ce que Daniel dit, et comme l'invité précédent Yuval Harari l'a souligné, est que la nouvelle technologie nous oblige à repenser nos systèmes sociaux précédents dans le contexte d'une IA personnalisée qui peut ajuster les expériences éducatives. Quelle est la nouvelle éducation ? Dans le contexte de l'automatisation de la plupart des tâches, quel est le travail ? Dans le contexte d'une ère numérique post-Facebook, quel est le quatrième pouvoir ? La Chine répond à ces questions, mais dans le but d'une société numérique fermée.
Mais Daniel nous encourage à répondre à ces questions dans le but d'une société numérique ouverte, avec des exemples comme ce que fait Audrey Tang à Taïwan et d'autres. Mais avant de continuer, prenons un moment pour être humbles. Nous ne connaissons pas toutes les réponses sur le fonctionnement de tout cela. Mais ce que nous savons, c'est que la question de savoir comment rendre les médias sociaux un peu moins mauvais ou moins nocifs n'est pas suffisante pour répondre à la question des risques existentiels causés par les trois fonctions génératrices que Daniel a décrites. La technologie humaine doit soutenir la capacité de la culture à avoir la sagesse de gérer la technologie exponentielle au milieu des dynamiques de risque rival. Et dans cet esprit, comment pourrions-nous utiliser la technologie d'une manière qui permette aux gens de participer de manière significative à leur propre gouvernance et à faire de cette culture le nouvel attracteur qui peut gérer le risque existentiel mondial ?
Et si toutes les dépenses gouvernementales étaient sur une blockchain ? Et il n'est pas nécessaire que ce soit une blockchain. Il doit s'agir d'un registre incorruptible d'une certaine sorte. Holochain est un bon exemple qui ouvre une autre manière de faire. Mais un registre incorruptible d'une sorte où vous voyez réellement où va tout l'argent des contribuables et comment il a été utilisé. L'ensemble peut avoir des agences d'audit indépendantes et le public peut participer de manière transparente à cet audit. Et si le gouvernement va sous-traiter à une entreprise privée, l'entreprise accepte que si elle veut cet argent gouvernemental, la comptabilité blockchain doit s'étendre à l'entreprise. Ainsi, il ne peut pas y avoir de corruption très gonflée.
Tout le monde a vu cela lorsque Elon a créé SpaceX, tout à coup il fabriquait des fusées pour environ un centième du prix que Lockheed ou Boeing, qui avaient eu ces contrats gouvernementaux presque monopolistiques pendant longtemps. Eh bien, si l'argent des contribuables va au gouvernement, va à un sous-traitant privé qui fabrique les choses pour cent à mille fois plus que cela coûte, on nous vend cette fausse dichotomie que soit nous devons payer plus d'impôts pour avoir une meilleure sécurité nationale, soit si nous voulons réduire les impôts, nous aurons moins de sécurité nationale. Que diriez-vous simplement d'avoir moins de gonflement grotesque parce que vous avez une meilleure comptabilité et que nous avons une meilleure sécurité nationale et de meilleurs services sociaux et moins d'impôts ? Tout le monde voterait pour cela, non ?
Qui ne voterait pas pour cela ? Eh bien, cela n'était pas possible avant les registres incorruptibles. Maintenant, ce registre incorruptible signifie également que vous pouvez avoir une provenance sur les chaînes d'approvisionnement pour rendre les chaînes d'approvisionnement en boucle fermée de sorte que vous pouvez voir que tout le nouveau matériel est fabriqué à partir de l'ancien et vous pouvez voir où va toute la pollution et vous pouvez voir qui l'a fait, ce qui signifie que vous pouvez maintenant internaliser rigoureusement les externalités et personne ne peut détruire ces emails ou brûler ces dossiers, n'est-ce pas ? Et si les changements dans la loi et les processus décisionnels suivaient également un processus de blockchain où il y avait une provenance sur l'entrée d'information ?
Eh bien, cela serait également une chose très significative à pouvoir suivre. Voici donc un exemple de comment nous pourrions réellement éliminer structurellement la capacité de corruption par une technologie qui rend la corruption beaucoup, beaucoup plus difficile, qui impose des types de transparence sur l'auditabilité. Et si vous pouviez également enregistrer l'histoire, enregistrer les événements qui se produisent dans une blockchain incorruptible où vous ne pouvez pas changer l'histoire plus tard ?
Vous obtenez réellement la possibilité d'une véritable justice et d'une véritable histoire et de multiples chronologies simultanées qui se déroulent. C'est énorme en termes de ce que cela fait. Et si vous pouviez avoir une plateforme de données ouvertes et une plateforme scientifique ouverte où quelqu'un ne peut pas choisir les données qu'il inclut dans son article évalué par des pairs plus tard ? Nous arrivons à voir toutes les données qui se passaient. Nous résolvons les problèmes d'Oracle associés. Et ensuite, si nous découvrons qu'une partie particulière de la science était erronée plus tard, nous pouvons voir en aval tout ce qui a utilisé cette sortie comme entrée et signaler automatiquement ce qui doit changer. C'est très puissant. Prenons l'IA. Avec l'IA, nous pouvons créer des deepfakes super terribles et détruire le bien commun épistémique en utilisant cela et d'autres choses comme ça. Mais nous pouvons voir comment l'IA crée le deepfake en étant capable de prendre suffisamment d'images différentes du visage et des mouvements de la personne pour qu'elle puisse en générer de nouvelles. Nous pouvons voir où elle peut générer des visages totalement nouveaux, en moyennant des visages ensemble. Quelqu'un m'a envoyé un nouveau travail qu'il venait de faire là-dessus l'autre jour et j'ai trouvé cela très intéressant.
Ils ont dit que nous allions prendre une technologie très similaire et l'appliquer aux champs sémantiques, où nous pouvons prendre le sentiment de chacun sur un sujet et générer une proposition qui se trouve au centre sémantique. Ensuite, peut-on avoir des processus numériques où tout le monde ne peut pas entrer dans une salle de réunion, mais tous ceux qui le souhaitent peuvent participer dans un espace numérique qui, au lieu de voter simplement oui ou non sur une proposition faite par un groupe d'intérêt particulier, ou sur laquelle nous n'avions pas notre mot à dire ou même sur les valeurs qu'elle visait à servir, commence par identifier quelles sont les valeurs qui comptent pour tout le monde. Et ensuite, nous disons que la première proposition qui répond bien à toutes ces valeurs devient celle sur laquelle nous votons. Cela change complètement l'espace des possibilités de la technologie sociale. Et nous pourrions continuer encore et encore avec des exemples, mais ce sont des moyens par lesquels le même type de nouvelle technologie physique émergente qui peut détruire les communs épistémiques et créer des autocraties et des risques catastrophiques pourrait également être utilisé pour réaliser un monde beaucoup plus proactif. J'adore tant ces exemples, en particulier sur la blockchain et la corruption, car je pense que quelque chose sur lequel la gauche et la droite peuvent s'accorder, c'est que nos systèmes ne fonctionnent pas vraiment et qu'il y a définitivement de la corruption et de la défection en cours. Et juste pour ajouter à votre exemple, imaginez si les citoyens pouvaient même gagner de l'argent en repérant des inefficacités ou de la corruption dans ce registre transparent, afin que nous ayons réellement un système qui profite réellement de devenir de plus en plus efficace avec le temps et qui sert mieux les besoins du peuple et ayant de moins en moins de corruption.
Et donc il y a en fait plus de confiance et de foi, et c'est en fait une sorte de société numérique qui, lorsque vous regardez, disons, la société numérique autoritaire fermée de la Chine, et que vous regardez celle-ci qui fonctionne réellement plus pour le peuple avec plus de transparence, avec plus d'efficacités, c'est juste une vision inspirante. Ce qui est également très inspirant, c'est ce que Daniel construit, le projet Conciliants. Cette conversation que vous et moi avons est très centrale pour les objectifs du projet Conciliants, qui est de vouloir inspirer, informer et aider à diriger un zeitgeist d'innovation, où les nombreux problèmes différents du monde commencent à être vus en termes d'interconnectivité et de moteurs sous-jacents.
Et donc, nous avons une équipe vraiment formidable de personnes qui font de la recherche et de l'écriture, fondamentalement les types de choses dont nous parlons ici plus en profondeur, expliquant quel est le rôle des divers systèmes sociaux, comme quel est le rôle de l'éducation dans toute société, aider à comprendre fondamentalement ce que c'est, comprendre pourquoi il y a un seuil éducatif particulièrement élevé pour les sociétés ouvertes, où les gens doivent participer non seulement au marché, mais aussi à la gouvernance, comprendre comment cela a été perturbé par la technologie émergente et sera encore plus perturbé par des choses comme l'automatisation technologique, et ensuite envisager quel est l'avenir de l'éducation adéquate pour une société ouverte dans un monde qui a la technologie qui émerge. Et la même chose avec le quatrième pouvoir, la même chose avec le droit, la même chose avec l'économie. Et donc l'objectif n'est pas de savoir comment nous prenons un petit groupe de personnes pour construire l'avenir, c'est comment nous aidons à obtenir quels doivent être les critères d'un avenir viable. Et si les gens ne sont pas d'accord, tant mieux, désaccord public et avoir la conversation maintenant.
Mais si nous arrivons à établir ces contraintes de conception, quelqu'un dit, non, nous pensons que ce sont d'autres, au moins maintenant la culture commence à réfléchir aux problèmes les plus pressants de manière fondamentale et comment y penser de manière appropriée et comment les aborder de manière appropriée. Donc, fondamentalement, notre objectif est de soutenir une compréhension culturelle accrue de la nature des problèmes auxquels nous sommes confrontés, une compréhension plus claire plutôt que juste, il y a beaucoup de problèmes et c'est accablant et c'est un problème. Et donc soit une action très étroite sur une partie très étroite de celui-ci a du sens, soit juste du nihilisme. Nous voulons pouvoir dire, en fait, parce qu'il y a des moteurs sous-jacents, il y a en fait une possibilité de résoudre ces choses. Cela nécessite la plénitude de notre capacité appliquée.
Et avec la plénitude de notre capacité appliquée, ce n'est pas donné, mais avec la plénitude de notre capacité appliquée, il y a en fait un chemin à suivre. Je pense que ce que CHT a fait avec le dilemme social a pris une partie vraiment critique de cette méta-crise pour attirer l'attention du public, peut-être de manière plus puissante que je ne l'ai vu autrement, parce que autant attirer l'attention publique sur le changement climatique est important, il n'est pas clair que le changement climatique soit quelque chose qui fait, qui est le moteur de la base sous-jacente de tous les problèmes, mais une panne dans la fabrication du sens et un contrôle des modèles de comportement humain qui dégradent les gens comme, oh, wow, cela aggrave vraiment toutes ces autres choses. Donc je vois cela comme une rampe d'accès très puissante et personnelle pour ceux qui sont intéressés à entrer dans cette conversation plus profonde. Et certaines personnes disent, je peux vraiment commencer à innover et à travailler avec ces trucs. Oui, je pense que ce que nous avons essentiellement décrit ici est la citation de Charles Kettering, que j'ai apprise de vous, et j'ai appris tant de choses de vous au fil des ans, qui est qu'un problème non pleinement compris est insoluble et un problème pleinement compris est à moitié résolu. Et je veux juste peut-être laisser nos auditeurs avec cela, ce qui est, je pense que les gens peuvent regarder la longue litanie de problèmes et se sentir submergés ou désespérer rapidement, je pense que c'est votre expression pour cela. Et je pense que lorsque vous comprenez les fonctions génératrices de base pour ce qui entraîne tant de ces problèmes à se produire simultanément, il y a une relation différente et plus habilitante à cela. Et vous avez réellement offert une vision de la manière dont la technologie peut être employée consciemment, ces nouvelles technologies peuvent être employées consciemment de manière à être inspirantes et excitantes.
Je veux dire, je veux cette blockchain transparente sur un budget pour chaque pays du monde. Et nous pouvons voir des exemples comme l'Estonie et Taïwan qui se dirigent déjà dans cette direction. Et nous pouvons voir Taïwan développer certaines des technologies que vous avez mentionnées pour identifier des propositions de valeurs partagées entre les citoyens qui souhaitent voter collectivement sur quelque chose qui auparavant aurait provoqué plus de polarisation. Je pense que nous devons voir cela non seulement comme une amélioration, mais comme le genre d'éclaircissement culturel dont vous parlez et sur lequel tant d'acteurs différents travaillent déjà en quelque sorte. Nous avions cette phrase que tout le monde est dans la même équipe, ils ne le savent juste pas encore. Je parlerai simplement de ma propre expérience. Lorsque j'ai rencontré votre travail pour la première fois, et que j'ai rencontré les types de moteurs principaux qui entraînent tant de dangers vers lesquels nous nous dirigeons, j'ai immédiatement, j'étais déjà un peu dans cette direction, mais j'ai réorienté toute ma vie pour dire, comment pouvons-nous être au service de ce qui ne se produit pas et de créer un monde meilleur qui rencontre réellement et aborde ces problèmes ? Et j'espère juste que notre public prendra cela comme une inspiration pour comment, face à des réalités dures et difficiles dans le cadre de ce processus, nous pouvons acquérir la sorte de force culturelle pour affronter ces choses de front et orienter nos vies en conséquence. Si vous prenez le risque réel au sérieux, cela devrait réorienter votre vie. Oui, c'est ce que je ressens vraiment. Moi aussi. Daniel Schmachtenberger est un membre fondateur du projet Conciliants en ligne sur conciliansproject.org. Vous pouvez trouver ce lien dans les notes de l'émission ainsi que plus d'informations sur notre club de podcast avec Daniel le 9 juillet. Votre attention indivise est produite par le Centre pour la Technologie Humaine. Notre productrice exécutive est Stephanie Lepp. Notre productrice principale est Natalie Jones. Et notre productrice associée est Noor Al-Samrahi. Dan Kedmi est notre rédacteur en chef. Musique originale et conception sonore par Ryan et Hayes Holliday ainsi que David Sestoj. Et un très grand merci à toute l'équipe du Centre pour la Technologie Humaine pour avoir rendu ce podcast possible. Un très grand merci va à nos généreux principaux soutiens, y compris le réseau Omidyar, les philanthropies Craig Newmark, la Fondation Evolve, et la Fondation Patrick J. McGovern, parmi beaucoup d'autres. Je suis Tristan Harris. Et si vous êtes arrivé jusqu'ici, permettez-moi de vous remercier encore une fois pour nous avoir donné votre attention indivise. Vous, vous.
Rösling, open data, gouvernance, transparence, secteur public. Marketing nous envoie sur Mars à l’heure où les problèmes sont devant notre porte.
Omerta sur la finance : Euroclear, Panama Papers, crise de 2008. Maurice Petit. Penséee Unique vs;
Fake News et post-vérité (+ relation au réel à l’heure du metavers et de la réalité augmentée saucée d’IA générative): 0-0
Tristan Harris : podcast
Inventor and engineer Charles Kettering once said, a problem well stated is a problem half solved, while a problem not well stated is unsolvable.
Here on Your Undivided Attention, we explore various different problems, addiction, disinformation, polarization, climate change, and more. But what if many of these problems are actually symptoms of the same meta problem or meta crisis?
And what if a key leverage point for intervening in this meta crisis is evolving our collective capacity to solve problems?
What if stating the problem in this way as a problem with our problem solving makes it, as Charles Kettering said, half solved?
So Daniel, maybe we should just start with what is the meta-crisis?
And why are these problems seemingly not getting solved, whether it's climate change or anything that we really care about right now?
I think a lot of people have the general sense that there is an increasing number of possibly catastrophic issues, whether we're talking about future pandemic-related issues or whether we're talking about climate change or climate change as a forcing function for human migration that then causes resource wars and political instability or the fragility of the highly interconnected globalized world where a problem in one part of the world can create supply chain issues that create problems all around the world. There's a sense that there's an increasing number of catastrophic risks and that they're increasing faster than we are solving them.
And like with the UN, while progress has been made in certain defined areas of the sustainable development goals, and progress was made back when they were called the Millennium Development Goals, we're very far from anything like a comprehensive solution to any of them.
We're not even on track for something that is converging towards a comprehensive solution. We still haven't succeeded at nuclear disarmament. We did some very limited nuclear disarmament success while doing nuclear arms races at the same time. And we went from two countries with nukes to more countries with better nukes.
The major tragedy of the commons issues, like climate change and overfishing and dead zones in the oceans and microplastics in the oceans and biodiversity loss, we haven't been able to solve those either. And so rather than just think about this as an overwhelming number of totally separate issues, the question of why are the patterns of human behavior, as we increase our total technological capacity, why are they increasing catastrophic risk and why are we not solving them well?
Are there underlying patterns that we could think of as generator functions of the catastrophic risk, generator functions of our inability to solve them, that if we were to identify those and work at that level, we could solve all of the expressions or symptoms? And if we don't work at that level, we might not be able to solve any of them.
The first one I noticed when I was a kid was trying to solve an elephant poaching issue in one particular region of Africa that didn't address the poverty of the people that had no mechanism other than black market on poaching, didn't address people's mindset towards animals, didn't address a macroeconomy that created poverty at scale.
So when the laws were put in place and the fences were put in place to protect those elephants in that area better, the poachers moved to poaching other animals, particularly in that situation, rhinos and gorillas that were both more endangered than the elephants had been. So you moved a problem from one area to another and actually a more sensitive area. And we see this with, well, can we solve hunger by bringing commercial agriculture to parts of the world that don't have it so that the people don't either not have food or we have to ship them food? But if it's commercial agriculture based on the kind of unsustainable, environmentally unsustainable agricultural processes that lead to huge amounts of nitrogen runoff going into river deltas that are causing dead zones in the ocean that can actually collapse the biosphere's capacity to support life faster, then we're solving for a short-term issue that's important and driving even worse long-term issues. You get the idea.
Over and over again, the way that we solve short-term problems may create other problems on balance sheets that we don't discover until later. This is similar to the problem of Facebook's fact-checking program. Fact-checking seems like a solution to the problem of fake news. But it actually can cause more polarization because in a world that's already been divided by Facebook's personalization rabbit holes, showing people fact checks can actually just drive up more polarization and disagreement. In the case that you and Center for Humane Technology have brought so much attention to with regard to the attention harvesting and directing economy, it's fair to say that it probably was not Facebook or Google's goal to create the type of effects that they had. Those were unintended externalities.
They were second-order effects. But they were trying to solve problems. Let's solve the problem, if it were Google, of organizing the world's information and making better search. That seems like a pretty good thing to do. And let's recognize that only if we get a lot of data will our machine learning get better. And so we need to actually get everybody on this thing. So we definitely have to make it free. Well, then the nature of the ad model, doing time-on-site optimization, ends up appealing to people's existing biases rather than correcting their bias, appealing to their tribal in-group identities rather than correcting them, and appealing to limbic hijacks rather than helping people transcend them.
And as a result, you end up actually breaking the social solidarity and epistemic capacity necessary for democracy. So let's define a few terms here. When Daniel talks about limbic hijack, he's referring to the way technology is hijacking our limbic system, or our paleolithic emotions and brains, in order to drive clicks and behavior. And when he says epistemic capacity, he's referring to, and this is something that's really important that we're going to keep using on Your Undivided Attention, he's referring to epistemology, which means how we know what we know. So instead of talking just about fighting fake news, we can talk about better epistemology, better sense making for how we know what we know. And Daniel's concerned about how the social media platforms are breaking the epistemic capacity necessary for democracy. It's like, oh, let's solve the search problem. That seems like a nice thing.
The side effect is we're going to destroy democracy and open societies in the process, and all those other things. Like, those are examples of solving a problem in a way that is externalizing harm, causing other problems that are oftentimes worse. So I would say that the way we're trying to solve the problems is actually mostly impossible. It either solves it in a very narrow way while externalizing harm and causing worse problems, or it makes it impossible to solve at all because it drives polarization. And so going to the level at which the problems interconnect, where that which everybody cares about is being factored, and where you're not externalizing other problems, while it seems more complex, is actually possible. And what makes it possible is understanding the underlying drivers, the generator functions of existential risk, of which Daniel says there are three. The first generator function of existential risk is rival risk dynamics, and it expresses itself in two primary ways. And the two primary ways it expresses itself is arms races and tragedy of the commons. And the tragedy of the common scenario is if we don't overfish that area of virgin ocean, but we can't control that someone else doesn't, because how do we do enforcement if they're also a nuclear country?
That's a tricky thing, right? How do you do enforcement on nuclear countries, equipped countries? So us not doing it doesn't mean that the fish don't all get taken. It just means that they grow their populations and their GDP faster, which they will use rivalrously. So we might as well do it. In fact, we might as well race to do it faster than they do. Those are the tragedy of the commons type issues. The arms race version is if we can't ensure that they don't build AI weapons, or they don't build surveillance tech, and they get increased near-term power from doing so, we just have to race to get there before them. That's the arms race type thing. It just happens to be that while that makes sense for each agent on their own in the short term, it creates global dynamics for the whole in the long term that's self-terminating. Because you can't run exponential externality on a finite planet. That's the tragedy of the commons one. And you can't run exponential arms races and exponential conflict on a finite planet. So that's the first generator function of existential risk, which is rival risk dynamics. And we see rival risk dynamics everywhere, over and over again, on Your Undivided Attention. If I don't go after the attention of those pre-teen social media users, and you do, then you'll win, and I'll lose. If I don't seize the dopamine reward system to build an addiction into my app, and you do, then you'll win, and I'll lose. And if I don't use negative campaign ads to win an election to make you hate the other side, then you'll win, and I'll lose. These rival risk dynamics bring us to the second generator function of existential risk, which is the subsuming of our substrate. These are the substrates, or the environments, that make human civilization possible in the first place. Environmental degradation from overfishing, attention degradation from apps that are competing for our attention, or social trust degradation from politicians competing to make us outraged. And the rival risk dynamics of runaway capitalism erode the substrate that all of our civilization depends on. And the third generator function of existential risk is exponential technology, or technology that grows and improves exponentially.
So you can think of that like the rivalry between two people with stone clubs, to the rivalry between two people with semi-automated weapons, to two actors with nuclear bombs that can blow up the whole world instantaneously. Think about a rivalry between two advertisers who are putting up a single billboard in the city that can influence about 100 people, to a rivalry between two agents using Facebook's global ability to influence 3 billion people with millions of A-B tests and precision-guided micro-targeting. The greater the exponential power and technology, the more exponential risk is created. So these are the three generator functions of existential risk. Rival risk dynamics, the subsuming of the substrate or playing field, and exponentially growing power and technology. Daniel says that any civilization that doesn't address these three generator functions will inexorably self-terminate. Not great news. So let's take a step back. How did we get here? How did we get to this level of unmanaged global existential risk? Before World War II, catastrophic risk was actually a real part of people's experience. It was just always local. But an individual kingdom might face existential risk in a war where they would lose. So catastrophic risk has been a real thing. It's just been local. And it wasn't until World War II that we had enough technological power that catastrophic risk became a global possibility for the first time ever. And this is a really important thing to get because the world before World War II and the world after was different in kind so fundamentally because the wars were fundamentally winnable, at least for some. They weren't winnable for all the people who died, at least for some. And with World War II and the development of the bomb became the beginning of wars that were no longer winnable.
And that if we employed our full tech and continued the arms race even beyond the existing tech, it's a war where win-lose becomes omni-lose-lose at that particular level of power. And so that created the need to do something that humanity had never done, which was that the major superpowers didn't war. The whole history of the world, the history of the thing we call civilization, they always did. And so we made an entire world system, a globalized world system, with the aim of preventing World War III. So the post-World War II Bretton Woods mutually assured destruction United Nations world was a solution to be able to steward that level of tech without destroying ourselves. And it really was a reorganization of the world. And it was predicated on a few things.
Mutually assured destruction was critical. Globalization and economic trade was critical. That if the computer that we're talking on and the phone that we talk on is made over six continents and no countries can make them on our own, we don't want to blow them up and ruin their infrastructure because we depend upon it. So let's create radical economic interdependence so we have more economic incentive to cooperate. That was kind of like the basis of that whole world system. And we can see that we've had wars, but they've been proxy wars and cold wars. They haven't been major superpower wars. And they've been unconventional ones. But we haven't had a kinetic World War III. Now we're at a point where that radically positive sum economy that required an exponential growth of the economy, which means of the materials economy, and it's a linear materials economy that unrenewably takes resources from the earth faster than they can reproduce themselves and turns them into waste faster than they can process themselves, has led to the planetary boundaries issue where it's not just climate change or overfishing or dead zones in the ocean or microplastics or species extinction or peak phosphorus. It's 100 things, right?
Like there's all these planetary boundaries. So we can't keep doing exponential linear materials economy. And then the mutual destruction thing doesn't work anymore because we don't have two countries with one catastrophe weapon. It's really, really hard to make and easy to monitor because there's not that many places that have uranium. It's hard to enrich it. You can monitor it by satellites. We have lots of countries with nukes. But we also have lots of new catastrophe weapons that are not hard to make, that are not easy to monitor, that don't even take nation states to make them. So if you have many, many actors of different kinds with many different types of catastrophe weapons, how do you do mutually assured destruction? You can't do it the same way. And so what we find is that the set of solutions post-World War II that kept us from blowing ourselves up with our new power lasted for a while, but those set of solutions have ended. And they have now created their own set of new problems. So there is catastrophic risk before World War II, which was locally existential. And then there is catastrophic risk from World War II to now, which was globally existential, but managed by what Daniel might call the Bretton Woods order, which includes the Bretton Woods agreements, the United Nations, and mutually assured destruction. But in Daniel's eyes, the Bretton Woods order is no longer up to the task. It's up to the United Nations. It's up to the United Nations.
So how do we manage global existential risk without devolving into oppression or chaos? What could a new attractor be? I think it was a Jefferson quote of the ultimate depository of the power must be the people. And if we think the people too uneducated and unenlightened to be able to hold that power, we must do everything we can to seek to educate and enlighten them, not to think that there is any other safe depository. One of the core things is the relationship between rights and responsibilities. So if I have rights and I don't have responsibilities, there ends up being like tyranny and entitlement. If I have responsibilities and I don't have any attendant rights, it's servitude. Neither of those involve a healthy just society. So if I want the right to drive a car, the responsibility to do the driver's education and actually learn how to drive a car safely is important. And we can see that some countries have less car accidents than others associated with better driver's education. And so increasing the responsibility is a good thing. We can see that some countries have way less gun violence than others, even factoring a similar per capita amount of guns based on more training associated with guns and mental health and things like that.
So if I have a right to bear arms, do I also have a responsibility to be part of a well-organized militia, train with them and be willing to actually sacrifice myself to protect the whole or sign up for a thing to do that? Do I have to be a reservist of some kind? Those are the right responsibilities. If I want the right to vote, is there a responsibility to be educated about the issue? Yes. Yes. Now, does that make it very unequal? No, because the capacity to get educated has to be something that the society invests in making possible for everyone. And of course, we would all be silly to not be dubious, factoring the previous history of these things. We should be very dubious, given the historical use of education to suppress the black vote. But Daniel's saying we should design systems to enable people to be maximally informed and maximally participate in their own governance.
So how do we make the on-ramps to learning available for everyone, not enforced, but we're actually incentivizing? Can we use those same kind of social media behavior and sending technologies to increase everyone's desire for more rights and attendant responsibilities, so that there's actually a gradient of civic virtue and civic engagement? Yeah, we could totally do that. So this new attractor is nothing short of a kind of new cultural enlightenment, which sounds ambitious, I know. Our last enlightenment was a shift from superstition, myth, and irrationality to logic, science, and rationality, and in pursuit of new ideals like liberty, tolerance, and representative government. The new cultural enlightenment would be a shift from a culture that manages risk through oppression or that doesn't manage risk at all because it's fallen into chaos to a culture that has the emergent wisdom to manage exponential technologies, a cultural enlightenment that is supported by humane technology.
How do we utilize the new exponential technologies, the whole suite of them, to build new systems of collective intelligence, new, better systems of social technology? How do you make a fourth estate that can really adequately educate everyone in a post-Facebook world? So let's say we take the attention tech that you've looked at so much that when it is applied for a commercial application is seeking to gather data to both maximize time on site and maximize engagement with certain kinds of ads and whatever. That's obviously the ability to direct human behavior and direct human feeling and thought. Could that same tech be used educationally to be able to personalize education to the learning style of a kid or to an adult to their particular areas of interest and to be able to not use the ability to control them for game theoretic purposes, but use the ability to influence them to even help them learn what makes their own center, their locus of action more internalized, right?
We could teach people with that kind of tech how to notice their own bias, how to notice their own emotional behaviors, how to notice groupthink type dynamics, how to understand propaganda and media literacy. So could we actually use those tools to increase people's immune system against bad actors' use of those tools? Totally. Could we use them pedagogically in general to be able to identify rather than manufacturing desires in people or appealing to the lowest angels of their nature because addiction is profitable, can you appeal to the highest angels in people's nature but that are aligned with intrinsic incentives and be able to create customized educational programs that are based on what each person is actually innately, intrinsically motivated by, but that are their higher innate motivators? Could we do that? Yeah, totally we could.
Could we have an education system as a result that was identifying innate aptitudes, innate interests of everyone and facilitating their development so not only did they become good at something, but they became increasingly more intrinsically motivated, fascinated, and passionate by life, which also meant continuously better at the thing? Well, in a world of increasing technological automation coming up, both robotic and AI automation, where so many of the jobs are about to be obsoleted, our economy and our education system have to radically change to deal with that because one of the core things an economy has been trying to do forever was deal with the need that a society had for a labor force.
And there were these jobs that society needed to get done that nobody would really want to do. So either the state has to force them to do it or you have to make it to where the people also need the job. So there's a symmetry and so kind of the market forces them to do it. So if one of the fundamental like axioms of all of our economic theories is that we need to figure out how to incent a labor force to do things that nobody wants to do, and emerging technological automation starts to debase that, that means we have to rethink economics from scratch because we don't have to do that thing anymore. So maybe if now the jobs don't need the people, can we remake a new economic system where the people don't need the jobs? What is the role of humans in a post-AI robotic automation world?
Because that is coming very, very soon. And what is the future of education where you don't have to prepare people to be things that you can just program computers to be? Well, the role of education has to be based on what is the role of people in that world? That is such a deep redesign of civilization because the tech is changing the possibility set that deeply. So at the heart of this are kind of deep existential questions of what is a meaningful human life and then what is a good civilization that increases the possibility space of that for everybody and how do we design that thing? So what Daniel is saying, and as previous guest Yuval Harari pointed out, is that the new technology forces us to reimagine our previous social systems within the context of personalized AI that can tune educational experiences. What is the new education? Within the context of automation of most tasks, what is work? Within the context of a post-Facebook digital age, what is the fourth estate? China is answering these questions, but for the purpose of a digital closed society.
But Daniel is encouraging us to answer these questions for the purpose of a digital open society with examples like what Audrey Tang in Taiwan and others are already doing. But before we go on, let's take a step back and have some humility here. We don't know all the answers about how this is all going to work. But what we do know is that the question of what would make social media slightly less bad or less harmful is not adequate to answering the question of existential risks caused by the three generator functions that Daniel has outlined. Humane technology must be supporting the capacity of culture to have the wisdom to steward exponential tech amidst rival risk dynamics. And in that spirit, how might we use technology in a way that enables people to meaningfully participate in their own governance and to have that culture become the new attractor that can manage global existential risk?
What if all government spending was on a blockchain? And it doesn't have to be a blockchain. It has to be an uncorruptible ledger of some kind. Holochain is a good example that is pioneering another way of doing it. But an uncorruptible ledger of some kind where you actually see where all taxpayer money goes and you see how it was utilized. The entire thing can have independent auditing agencies and the public can transparently be engaged in the auditing of it. And if the government is going to privately contract a corporation, the corporation agrees that if they want that government money, the blockchain accounting has to extend into the corporation. So there can't be very, very bloated corruption.
Everybody got to see that when Elon made SpaceX, all of a sudden he was making rockets for like a hundredth of the price that Lockheed or Boeing were, who had just had these almost monopolistic government contracts for a long time. Well, if the taxpayer money is going to the government, is going to an external private contractor who's making the things for a hundred to a thousand times more than it costs, we get this false dichotomy sold to us that either we have to pay more taxes to have better national security or if we want to cut taxes, we're going to have less national security. What about just having less gruesome bloat because you have better accounting and we have better national security and better social services and less taxes? Everyone would vote for that, right?
Who wouldn't vote for that thing? Well, that wasn't possible before uncorruptible ledgers. Now, that uncorruptible ledger also means you can have provenance on supply chains to make the supply chains closed loop so that you can see that all the new stuff is being made from old stuff and you can see where all the pollution is going and you can see who did it, which means you can now internalize the externalities rigorously and nobody can destroy those emails or burn those files, right? What if the changes in law and the decision-making processes also followed a blockchain process where there was a provenance on the input of information?
Well, that would also be a very meaningful thing to be able to follow. So this is an example of like, can we actually structurally remove the capacity for corruption by technology that makes corruption much, much, much harder, that forces types of transparency on auditability? What if also you're able to record history, you're able to record the events that are occurring in a blockchain that's uncorruptible where you can't change history later?
So you actually get the possibility of real justice and real history and multiple different simultaneous timelines that are happening. That's humongous in terms of what it does. What if you can have an open data platform and an open science platform where someone doesn't get to cherry pick which data they include in their peer-reviewed paper later? We get to see all of the data that was happening. We solve the Oracle issues that are associated. And then if we find out that a particular piece of science was wrong later, we can see downstream everything that used that output as an input and automatically flag what things need to change. That's so powerful. Let's take AI. With AI, we can make super terrible deepfakes and destroy the epistemic commons using that and other things like that. But we can see the way that the AI makes the deepfake by being able to take enough different images of the person's face and movements that it can generate new ones. We can see where it can generate totally new faces, averaging faces together. Somebody sent me some new work that they were just doing on this the other day I found very interesting.
They said, we're going to take a very similar type of tech and apply it to semantic fields, where we can take everybody's sentiment on a topic and actually generate a proposition that is at the semantic center. Then can you have digital processes where you can't fit everybody into a town hall, but everybody who wants to can participate in a digital space that rather than vote yes or no on a proposition that was made by a special interest group, or we didn't have a say in the proposition or even the values it was seeking to serve, you start by identifying what are the values everybody cares about. And then we say the first proposition that meets all these values well becomes the thing that we vote on. These completely change the possibility space of social technology. And we could go on and on in terms of examples, but these are ways that the same type of new emergent physical tech that can destroy the epistemic commons and create autocracies and create catastrophic risks could also be used to realize a much more pro-topic world. So I love so many of those examples, especially on the blockchain and corruption one, because I think something that the left and the right can both agree on is that our systems are not really functional and there's definitely corruption and defection going on. And just to add to your example, imagine if citizens could even earn money by spotting inefficiencies or corruption in that transparent ledger, so that we actually have a system that is actually profiting by getting more and more efficient over time and actually better serving the needs of the people and having less and less corruption.
And so there's actually more trust and faith and that's actually a kind of digital society that when you look at, let's say, the closed China's digital authoritarian society, and you look at this open one that's actually operating more for the people with more transparency, with more efficiencies, that's just an inspiring vision. What's also very inspiring is what Daniel's building, the Conciliants Project. This conversation you and I are having is very central to the aims of the Conciliants Project, which is we're wanting to inspire, inform, and help direct a innovation zeitgeist, where the many different problems of the world start to get seen in terms of having interconnectivity and underlying drivers.
And so we have a really great team of people that are doing research and writing, basically the types of things we're talking about here in more depth, explaining what is the role of the various social systems, like what is the role of education to any society, help understand fundamentally what that is, understand why there is a particularly higher educational threshold for open societies, where people need to participate not just in the market, but in governance, understand how that has been disrupted by the emerging tech and will be disrupted further by things like technological automation, and then envision what is the future of education adequate to an open society in a world that has the technology that's emerging. And the same thing with the fourth estate, the same thing with law, the same thing with economics. And so the goal is not how do we take some small group of people to build the future, it's how do we help get what the criteria of a viable future must be. And if people disagree, awesome, publicly disagree and have the conversation now.
But if we get to put out those design constraints, someone says, no, we think it's other ones, at least now the culture starts to be thinking about the most pressing issues in fundamental ways and how to think about them appropriately and how to approach them appropriately. So fundamentally, our goal is supporting an increased cultural understanding of the nature of the problems that we face, a clearer understanding rather than just, there's lots of problems and it's overwhelming and it's a bummer. And so either some very narrow action on some very narrow part of it makes sense, or just nihilism. We want to be able to say, actually, because there are underlying drivers, there is actually a possibility to resolve these things. It does require the fullness of our capacity applied to it.
And with the fullness of our capacity, so it's not a given, but with the fullness of our capacity applied to it, there is actually a path forward. I think what CHT did with the social dilemma took one really critical part of this meta-crisis into popular attention, maybe in a more powerful way than I have seen done otherwise, because as big a deal as getting climate change in public attention is, it's not clear that climate change is something that is making, that is driving the underlying basis of all the problems, but a breakdown in sense-making and a control of patterns of human behavior that kind of downgrade people like, oh, wow, that really does make all these other things worse. So I see that as a very powerful and personal on-ramp for those who are interested to be able to come into this deeper conversation. And some people say, I can actually start innovating and working with this stuff. Yeah, I think what we've essentially been outlining here is the Charles Kettering quote, which I learned from you, and I've learned so many things from you over the years, which is that a problem not fully understood is unsolvable and a problem that is fully understood is half solved. And I just want to maybe leave our listeners with that, which is, I think people can look at the long litany of problems and feel overwhelmed or get to despair in a hurry, I think is your phrase for it. And I think that when you understand the core generator functions for what is driving so many of these problems to happen simultaneously, there's a different and more empowering relationship to that. And you've actually offered a vision for how technology can be consciously employed, these new technologies can be consciously employed in ways that should feel inspiring and exciting.
I mean, I want that transparent blockchain on a budget for every country in the world. And we can see examples like Estonia and Taiwan moving in this direction already. And we can see Taiwan building some of the technologies you mentioned to identify propositions of shared values between citizens who want to vote collectively on something that previously would have driven up more polarization. I think we need to see this as not just an upgrade, but the kind of cultural enlightenment that you speak of that so many different actors are in a sense already working on. We used to have this phrase that everyone is on the same team, they just don't know it yet. I'll just speak to my own experience. When I first encountered your work, and I encountered the kind of core drivers that drive so much of the danger that we are headed towards, I immediately, I was kind of already in this direction already, but I reoriented my whole life to say, how do we be in service of this not happening and of creating a better world that actually meets and addresses these problems? And I just hope that our audience takes this as an inspiration for how can we in the face of stark and difficult realities as part of this process gain the kind of cultural strength to face these things head on and to orient our lives accordingly. If you take the actual risk seriously, it should reorient your life. Yeah, that's how I genuinely feel. Me too. Daniel Schmachtenberger is a founding member of the Concilians Project online at conciliansproject.org. You can find that link in the show notes along with more information about our podcast club with Daniel on July 9th. Your undivided attention is produced by the Center for Humane Technology. Our executive producer is Stephanie Lepp. Our senior producer is Natalie Jones. And our associate producer is Noor Al-Samrahi. Dan Kedmi is our editor at large. Original music and sound designed by Ryan and Hayes Holliday along with David Sestoj. And a very special thanks to the whole Center for Humane Technology team for making this podcast possible. A very special thanks goes to our generous lead supporters including the Omidyar Network, Craig Newmark Philanthropies, the Evolve Foundation, and the Patrick J. McGovern Foundation, among many others. I'm Tristan Harris. And if you made it all the way here, let me just give one more thank you to you for giving us your undivided attention. you You