Gestionar las consecuencias no deseadas de sus innovaciones

A los capitalistas de riesgo les encantan las empresas emergentes disruptivas que pueden crecer rápidamente y mantener a raya a los reguladores. Pero a medida que la sociedad sea más consciente de las consecuencias no deseadas de las nuevas empresas, especialmente de las que crean tecnología que pasa a formar parte de nuestra vida diaria, las personas que lanzan estas empresas deben prestar más atención y ser proactivas a la hora de identificar las posibles consecuencias no deseadas, a fin de mitigarlas pronto.

••• Si bien hemos visto una innovación sin igual en el 21 ^st siglo, también hemos sido testigos de las dañinas consecuencias no deseadas de las tecnologías descontroladas. Mark Zuckerberg, por ejemplo, no creó Facebook con la intención de que el abuso y la interferencia política de terceros se extendieran desenfrenadamente en la plataforma. Sin embargo, impulsada por el mantra de «muévete rápido y rompe cosas», una plataforma destinada a «dar a las personas el poder de compartir y hacer que el mundo sea más abierto y conectado» terminó teniendo consecuencias devastadoras e imprevistas, como el reciente asalto al Capitolio. Las consecuencias no deseadas de la tecnología no son 21 ^st-revelación del siglo. En la década de 1930, Robert Merton [propuso un marco](https://www.jstor.org/stable/2084615?seq=1) para entender los diferentes tipos de consecuencias no deseadas: beneficios imprevistos, resultados perversos e inconvenientes inesperados. De hecho, a lo largo de la historia, hemos visto cómo los avances importantes, como la revolución industrial o el sirope de maíz con alto contenido de fructosa, pueden tener efectos dañinos duraderos en la sociedad, como la contaminación del aire y la diabetes. Sin embargo, las consecuencias de las tecnologías actuales son más nefastas porque el ritmo al que se agravan ha aumentado exponencialmente. La rápida expansión catalizada por las leyes de Moore y Metcalfe ha beneficiado a la industria de la tecnología y la ha socavado al exacerbar sus consecuencias no deseadas. ¿Son inevitables estas consecuencias imprevistas, un coste necesario del progreso humano en otros frentes? ¿O podemos anticiparlos y mitigarlos? La misma palabra «involuntario» sugiere consecuencias que simplemente no podemos imaginar, por mucho que nos esforcemos. Nuestro límite natural a la hora de predecir el futuro implica que puede que no haya mucho que podamos hacer prácticamente por adelantado. Parece que tenemos que conformarnos con una compensación utilitaria, con la esperanza de que cualquier beneficio novedoso de la tecnología, tanto previsto como no deseado, supere sus costes. Puede que nos consternen las consecuencias no deseadas de Google, como[sesgo de búsqueda](https://www.wsj.com/articles/how-google-interferes-with-its-search-algorithms-and-changes-your-results-11573823753), pero ¿realmente queremos renunciar a la posibilidad de acceder a la información mundial que tenemos al alcance de la mano? Si bien el cálculo utilitario tiene un atractivo pragmático, tiene sus propias consecuencias imprevistas: aleja a los emprendedores y a sus inversores de asumir la responsabilidad. ¿Por qué deberían rendir cuentas por una consecuencia perjudicial que no pretendían crear, especialmente cuando su negocio también generó mucho bien social? A pesar de sus dificultades, creemos que los emprendedores e inversores deben dar un paso adelante y asumir las consecuencias no deseadas de sus negocios. Como lo ha hecho Hemant[escrito anteriormente](/2019/01/the-era-of-move-fast-and-break-things-is-over), la mentalidad del fundador es fundamental para catalizar el cambio con respecto a la forma en que las empresas piensan sobre las consecuencias previstas y no deseadas. Sin la voluntad sincera del fundador de hacer frente a estas desafiantes cuestiones (y rodearse de pensadores diversos para amortiguar sus puntos ciegos), es poco probable que una organización vea las formas en que sus productos pueden afectar a la sociedad o tenga los medios para establecer los controles y contrapesos adecuados. ## Aprovechar las Canarias algorítmicas En el pasado, prevenir los efectos adversos no deseados de la innovación era un desafío. Sin ordenadores que les ayudaran, las empresas solo podían confiar en la previsión humana para predecir lo que sucedería y construir las barandillas adecuadas. O tuvieron que asignar equipos para que supervisaran de cerca la evolución de las consecuencias de su tecnología a medida que proliferaba. En la mayoría de los casos, ni esa premonición ni esa función laboral bastaron. Las correcciones de rumbo llegaron demasiado tarde porque los problemas solo salían a la luz cuando salían en los titulares de las noticias. Además, una vez que una tecnología se afianzó profundamente, las empresas que la operaban ya tenían intereses económicos profundamente calcificados que eran difíciles de relajar. Si bien las tecnologías actuales son más complejas y, potencialmente, más difíciles de mitigar, por fin tenemos una herramienta que nos permite identificar los problemas que corren el riesgo de salirse de control: la inteligencia artificial. La IA de aprendizaje profundo puede ayudar a identificar patrones que los humanos tal vez no puedan discernir fácilmente y nos da una nueva capacidad de predicción. Dar rienda suelta a los canarios algorítmicos en nuestras tecnologías es el primer paso que debemos dar para anticipar y mitigar las consecuencias no deseadas. Hemos visto, por ejemplo, el desarrollo de modelos de IA, como Grover, del Instituto Allen de IA, que busca «noticias falsas» y bloquea la información errónea antes de que llegue a una audiencia masiva. El Instituto Brookings[perfilado recientemente](https://www.brookings.edu/wp-content/uploads/2020/06/The-role-of-technology-in-online-misinformation.pdf) varios otros ejemplos de modelos de IA que pueden generar y detectar noticias falsas. Sus estudios concluyeron que Grover tenía una precisión del 92% en términos de detección de noticias escritas por humanos frente a noticias escritas por máquinas. Sugerimos que se puedan desarrollar canarios algorítmicos similares para mitigar una amplia gama de consecuencias no deseadas. El problema es que, actualmente, creamos estos algoritmos de IA de forma retrospectiva. De ahora en adelante, creemos que los fundadores deben incorporar estos sistemas en las primeras etapas del proceso de desarrollo del producto. Adoptar un enfoque de responsabilidad en el diseño de sistemas y articularlo claramente como un OKR (objetivo y resultado clave) permite a los equipos de ingeniería integrar los canarios profundamente en sus tecnologías y rastrearlos como KPI (indicadores clave de rendimiento). De esta manera, las empresas pueden empezar a medir lo que realmente importa más allá de su propio éxito empresarial: las posibles consecuencias no deseadas de sus tecnologías y la responsabilidad de sus líderes de mitigarlas. ## Articular los tipos de consecuencias no deseadas Si bien el ejemplo de las noticias falsas como consecuencia no deseada de las plataformas de medios parece obvio hoy en día, el desafío al que se enfrentan los fundadores cuando desarrollan canarios algorítmicos es qué entrenarlos para que capten. Necesitamos estos algoritmos para anticipar de forma dinámica las consecuencias no deseadas que podrían derivarse de las acciones emprendidas por las propias empresas, como los desafíos a la privacidad de los consumidores cuando el modelo de negocio se basa en el suministro de datos que se pueden monetizar mediante la publicidad. También tienen que identificar las consecuencias de los acontecimientos que pueden producirse fuera del control de una empresa determinada, pero que se pueden mitigar si se anticipan, como perder segmentos de toda una generación por falta de acceso a la educación en caso de una pandemia. En última instancia, si bien los tipos de consecuencias no deseadas varían de una empresa a otra, debemos empezar a desarrollar una tipología que guíe nuestra forma de pensar de forma colectiva. El marco ESG que muchos inversores de impacto defienden ahora es un punto de partida útil, ya que nos anima a pensar en las consecuencias no deseadas que se extienden a todo el espectro ambiental, social y de gobierno. Sin embargo, dados los detalles necesarios para desarrollar canarios algorítmicos, esta tipología necesitará más especificidad para que sea procesable. Algunos ejemplos de los tipos de especificidad que debemos tener en cuenta incluyen: - Propagación de información errónea - La concentración de la información y el poder de mercado - Violaciones de la privacidad y la información personal - El aumento de la desigualdad en la fuerza laboral - Reducción del acceso a los bienes y servicios esenciales - Alienación o aislamiento social - Daños al medio ambiente Esta lista no es en absoluto exhaustiva, pero describe los tipos de consecuencias no deseadas a las que debemos prestar atención. ## Gestionar las consecuencias imprevistas Un marco para clasificar las consecuencias no deseadas solo es útil si está respaldado por una práctica disciplinada. Los algoritmos pueden hacer gran parte del trabajo que los humanos no pueden; sin embargo, son los líderes de la organización los que deben llevar este esfuerzo más allá de un ejercicio intelectual. A continuación, ofrecemos algunas sugerencias sobre cómo los fundadores, los inversores y los reguladores pueden trabajar juntos de forma sistemática para reducir las consecuencias no deseadas en la práctica: - **Aumente la consideración de las consecuencias no deseadas desde el principio**. Los emprendedores e inversores deberían insistir en un análisis exhaustivo de las consecuencias no deseadas a la hora de fundar empresas. Los fundadores deberían incluir estas consideraciones en sus materiales de presentación y los inversores deberían analizarlas detenidamente durante la diligencia. Anticipar las consecuencias imprevistas debería adquirir tanta importancia como cualquier otra métrica empresarial cuando los emprendedores e inversores contemplan una asociación. - **Orientar el gobierno corporativo en torno a la mitigación de las consecuencias no deseadas**. El pilar del gobierno corporativo son los consejos de administración que ayudan a las empresas a tomar decisiones importantes y cumplir con sus responsabilidades fiduciarias. Cada vez más, muchas firmas cuentan también con consejos asesores independientes que ayudan a orientar cuestiones específicas en torno al desarrollo de la tecnología. Del mismo modo, las empresas deberían considerar la posibilidad de crear subcomités en sus consejos de administración actuales o quizás incluso crear organismos independientes, como Facebook está explorando ahora, para regular la forma en que gestionan las consecuencias no deseadas. De este modo, se garantiza que se dé tanta importancia a las consecuencias no deseadas como a otros factores que exige la buena gobernanza. - **Asóciese con los reguladores para crear responsabilidad**. Para gestionar las consecuencias no deseadas, debemos estar abiertos a una regulación sensata que proteja nuestros intereses colectivos. Nos beneficiaría que los innovadores se unieran para proponer marcos de autorregulación, aunque las agencias reguladoras también podrían desempeñar un papel útil. La FDA es un buen ejemplo de una agencia que considera detenidamente los daños médicos no intencionados que puede causar un nuevo medicamento o dispositivo antes de aprobar su distribución. Cabe imaginar que otras agencias podrían desempeñar un papel similar en el lanzamiento de nuevas tecnologías, aunque queremos que sean menos engorrosas y que consuman menos tiempo. En la actualidad, el espíritu que guía a quienes se encuentran en la intersección de la tecnología, la política y el capital es crear empresas que puedan aprovechar las nuevas tecnologías, escalarlas lo más rápido posible y mantener a raya la regulación. Hemos celebrado a las empresas disruptivas, pero no hemos acusado la disrupción no intencionada que pueden causar. El resultado ha sido la creación de empresas que se han hecho omnipresentes en nuestras vidas, pero que también han provocado una amplia gama de consecuencias dañinas e imprevistas. Abogamos por un nuevo espíritu de innovación, en el que las consecuencias no deseadas se consideren rigurosamente desde el principio y se supervisen a lo largo del tiempo para mitigarlas de manera significativa. Creemos que podemos lograrlo si los innovadores tecnológicos crean algoritmos de software que puedan servir de canarios ante los daños emergentes, los proveedores de capital insisten en evaluar y regular las consecuencias no deseadas y los responsables políticos evalúan las consecuencias no deseadas para garantizar el cumplimiento. Es un espíritu muy diferente, pero es esencial adoptarlo si queremos evitar vivir en un mundo distópico.