Splitter: »AI Search Has A Citation Problem« (Columbia Journalism Review)

11. März 2025

Das Columbia Journalism Review hat prominente KI-Chatbots mit einer einfachen Aufgabe auf die Probe gestellt: In der Studie (siehe auch: Daten auf GitHub) wurde jedem der System ein Zitat aus einem Artikel vorgelegt und der Chatbot wurde gebeten, den Artikel zu finden, einen Link dazu zu liefern und die Überschrift, die ursprünglich veröffentlichende Organisation und das Veröffentlichungsdatum zu nennen:

»We randomly selected ten articles from each publisher, then manually selected direct excerpts from those articles for use in our queries. After providing each chatbot with the selected excerpts, we asked it to identify the corresponding article’s headline, original publisher, publication date, and URL […]. We deliberately chose excerpts that, if pasted into a traditional Google search, returned the original source within the first three results. We ran sixteen hundred queries (twenty publishers times ten articles times eight chatbots) in total. We manually evaluated the chatbot responses based on three attributes: the retrieval of (1) the correct article, (2) the correct publisher, and (3) the correct URL.«

Getestet wurden OpenAI ChatGPT Search (4o), Perplexity, Perplexity Pro, DeepSeek-V3 Search, Microsoft Copilot, xAI Grok-2, xAI Grok-3 (beta) und Google Gemini (2.0 Flash). Verhältnismäßig am besten abgeschnitten haben Perplexity Pro, Perplexity und ChatGPT; fast nur inkorrekte Ergebnisse lieferten Grok und Gemini. Was laut der Studie überraschte, war das durch die Bank hohe Maß an vermittelter Sicherheit der Antworten der Chatbots, oft ohne auf mögliche Unzuverlässigkeiten hinzuweisen:

»Overall, the chatbots often failed to retrieve the correct articles. Collectively, they provided incorrect answers to more than 60 percent of queries. Across different platforms, the level of inaccuracy varied, with Perplexity answering 37 percent of the queries incorrectly, while Grok 3 had a much higher error rate, answering 94 percent of the queries incorrectly. Most of the tools we tested presented inaccurate answers with alarming confidence, rarely using qualifying phrases […], or acknowledging knowledge gaps […]. ChatGPT, for instance, incorrectly identified 134 articles, but signaled a lack of confidence just fifteen times out of its two hundred responses, and never declined to provide an answer. With the exception of Copilot—which declined more questions than it answered—all of the tools were consistently more likely to provide an incorrect answer than to acknowledge limitations.«


Querverweis: PEW-Studie zu KI am Arbeitsplatz

26. Februar 2025

Das Pew Research Center hat die Ergebnisse einer im Oktober 2024 erhobenen repräsentativen Umfrage unter 5273 erwerbstätigen Erwachsenen veröffentlicht, die sich mit den Erfahrungen und Einschätzungen von Arbeitnehmenden in den USA mit Blick auf den Einsatz von künstlicher Intelligenz (KI) am Arbeitsplatz auseinandergesetzt hat. Einige Kernergebnisse:

  • 63 Prozent der Befragten gaben an, KI kaum oder nicht am Arbeitsplatz zu nutzen; 17 % haben noch nichts von KI-Nutzung am Arbeitsplatz gehört. Unter den 16% KI-Nutzenden sind die Altersgruppen unter 50 Jahren stärker vertreten.
  • Rund die Hälfte der Arbeitnehmenden gab an, sich Sorgen darüber zu machen, wie KI in Zukunft am Arbeitsplatz eingesetzt werden könnte; 32 Prozent der jüngeren Befragten zwischen 18 und 49 Jahren gaben an, dass sie sich über den künftigen Einsatz von KI am Arbeitsplatz freuen (50+: 24 Prozent).
  • Über alle Altersgruppen und Bildungsniveaus hinweg geht ein Drittel der Befragten davon aus, dass sich ihre Arbeitsaussichten durch KI schmälern; für ein Drittel macht das keinen Unterschied. Nur 6 Prozent (Postgraduierte: 9 Prozent) gehen davon aus, dass sich durch KI mehr Beschäftigungsoptionen ergeben.
  • Die häufigsten Verwendungszwecke für KI-Chatbots unter Arbeitnehmenden, die KI bei der Arbeit bereits nutzen, bestehen in dem Recherchieren von Informationen zu einem bestimmten Thema (57 Prozent), der Überarbeitung von Texten (52 Prozent) und dem Entwerfen von schriftlichen Inhalten (47 Prozent).
  • Unter den KI-Nutzenden gehen 40 Prozent der Befragten davon aus, dass KI-Chatbots eine schnellere Bewältigung von Arbeitsaufgaben ermöglichen; rund 30 Prozent vermuten, dass sich dadurch auch die Qualität ihrer Arbeit erhöht.

SOI Discussion Paper: Artificial Intelligence and Social Action

24. Februar 2025

In der Reihe Research Contributions to Organizational Sociology and Innovation Studies ist ein neues Discussion Paper mit dem Titel »Artificial Intelligence and Social Action. A techno-sociological contextualization« erschienen. Das Abstract:

This discussion paper contextualizes contemporary forms of artificial intelligence (AI) within the broader relationship between technology and society, and it compiles essential insights from the sociology of technology for interdisciplinary discourse. The paper begins with a concise overview of the history of artificial intelligence and situates AI within the co-evolution of technology and society. It then presents key perspectives on the interaction and distributed agency between humans and technology, identifying five fundamental levels of agency and relating these levels to the interplay of AI and social action. Throughout these considerations, it becomes evident that the expectations of human technology interaction, as well as the concepts of intelligent technology, are continually evolving and contingent upon social change. Consequently, the development and diffusion of AI should not be viewed as a primarily technology-driven phenomenon but rather as a genuine socio-technological transformation process.

Zum Discussion Paper (PDF) »


Digitale Technikutopien

4. Dezember 2024

Gerade ist der Band »Utopien im Unterricht. Theoretische Verortungen – Fächerperspektiven – praktische Beispiele« (herausgegeben von Heinrich Ammerer, Margot Anglmayer-Geelhaar, Robert Hummer und Markus Oppolzer, Open Access) erschienen: »Im ersten Teil des Bandes führen fachübergreifende Grundlagenbeiträge aus verschiedenen Disziplinen in den Themenkomplex ein und bieten sowohl Schlaglichter auf Erscheinungsformen des Utopischen in unterschiedlichen kulturellen Kontexten als auch grundlegende Definitionen zentraler Begriffe. Die anschließenden fachdidaktischen Beiträge loten den Beitrag der jeweiligen Disziplin zur Entwicklung eines reflektierten Umgangs mit Utopien aus und stellen methodische Zugänge für den Unterricht (inklusive eines Praxisbeispiels) vor.«

Mein Beitrag im Band setzt sich mit digitalen Technikutopien auseinander und kommt zu dem Schluss, dass sich im aktuellen Diskurs (z.B. unter dem Stichwort ›künstliche Intelligenz‹) »viele Erwartungen widerspiegeln, die bereits in früheren Phasen der Computerisierung, Datafizierung und Digitalisierung diskutiert worden sind – von der Angst vor einer Invasion der Privatsphäre bzw. einem Autonomieverlust des Menschen bis hin zu vielfältigen positiven Visionen einer technikbeförderten Lösung großer gesellschaftlicher Herausforderungen (z.B. Klimakrise) […]. Und ähnlich wie in früheren Phasen technologischen Umbruchs treten auch heute die Figuren des berauschten Evangelisten, des besorgten Apokalyptikers und des praktisch Integrierten auf […].« Den Sozialwissenschaften spricht der Beitrag gerade im gegenwärtigen Stadium eine zentrale Rolle zu:

»Aus ihrer kritisch-distanzierten Perspektive können sie zum ersten ein Gegengewicht zu der verbreiteten Überzeugung bieten, dass technische Strukturen per se die Lösung grundsätzlicher gesellschaftlicher Probleme einleiten könnten und blanke Zahlen bei einer hinreichend breiten Datenbasis für sich sprechen.

Weiterlesen »

Call for Papers: »Nachhaltige Technik, technisierte Nachhaltigkeit?«

21. November 2024

Am 26. und 27. Juni 2025 veranstalten die DGS-Sektionen Wissenschafts- und Technikforschung sowie Umwelt- und Nachhaltigkeitssoziologie eine gemeinsame Frühjahrstagung mit dem Titel »Nachhaltige Technik, technisierte Nachhaltigkeit?«. Aus dem Call for Papers (Deadline: 31.1.2025):

Gesellschaft, Technik und Natur sind in der Moderne untrennbar miteinander verwoben. Die Beziehungen zwischen Menschen und ihrer natürlichen Umwelt sind in einem hohen Maß durch Technik vermittelt. Mehr noch: Technik selbst lässt sich als ein Hybrid aus Natur und Gesellschaft beschreiben. Zum einen entsteht Technik aus sozialen Zusammenhängen heraus; zum anderen bilden biophysische Materialitäten und Stoffströme ihre naturbezogene Basis.

Dieses koevolutionäre Verhältnis zeigt sich heute in besonders krisenhafter Weise: Technikinnovationen haben das gesellschaftliche Leben in den letzten 150 Jahren beträchtlich erleichtert. Ihr Einsatz ist aber zugleich verantwortlich für weitreichende Umweltveränderungen und nicht zuletzt auch für den globalen Klimawandel. 

Die beschleunigte Entwicklung von Technik und ihre verbreitete Nutzung wird insofern in vielerlei Hinsicht als Treiber für die ökologischen Krisen unserer Zeit eingestuft. Andererseits werden Technikinnovationen unter Bezeichnungen wie »grüne Technologien« aber auch als maßgebliche Lösungselemente auf dem Weg zu nachhaltigeren Wirtschafts- und Gesellschaftsformen angesehen: Nicht nur in unternehmerischen Zusammenhängen, sondern auch in Wissenschaft und Politik wird prospektiven Technologien (z.B. weiterentwickelte künstliche Intelligenz, Kernfusion, »grüner Wasserstoff«, »E-Fuels«) und bereits anwendungsbereiten Techniklösungen (z.B. Elektroautos, Wärmepumpen) das Potenzial zugeschrieben, substanzielle Beiträge zur Bewältigung großer ökologischer Problemlagen leisten zu können. Zugleich stoßen solche als Lösung gerahmte Technologien bei anderen gesellschaftlichen Gruppen und Akteuren auf Skepsis oder gar Ablehnung und sind Gegenstand gesellschaftlicher Konflikte. […]

Weiterlesen »

Splitter: »The Aesthetics of Collective Agency«

24. Oktober 2024

In dieser Woche ist der Open-Access-Band »The Aesthetics of Collective Agency Corporations, Communities and Crowds in the Twenty-First Century« erschienen, der von Simone Knewitz und Stefanie Mueller herausgeben worden ist, und zu dem auch ich einen Beitrag leisten durfte (»Digital Technology and the Promise of Decentralization«). Der Klappentext:

Twenty-first-century Western culture is characterized by profound transformations in its forms of collective organization. While traditional institutions of Western liberal democracies still wield significant political power, new forms of collective agency – most visible in progressive social protest movements, but also in the global rise of populism – have increasingly put pressure on established systems of collective organization. The contributors to this volume explore the social, political, and aesthetic forms that collective agency takes in the twenty-first century across a variety of media, including social platforms such as TikTok, multiplayer video games, and contemporary lyric poetry.


Kurz notiert: »Die Praxis der digitalen Organisation«

4. Oktober 2024

Die sehr lesenswerte Dissertation des Organisations- und Techniksoziologen Moritz Becker ist nun unter dem Titel »Die Praxis der Digitalen Organisation« als Buch erschienen. Aus dem Klappentext:

»Dezentrale Autonome Organisationen (DAOs) sind ein neues Organisationsmodell, das auf der algorithmischen Festschreibung von Regeln in einem blockchainbasierten Softwareprogramm basiert. Ihr Versprechen: Eine alternative Art und Weise des Organisierens zu ermöglichen, die sich durch nichthierarchische (›dezentrale‹) Zusammenarbeit und umfassende technologische Koordination auszeichnet. Als Musterbeispiel der ›Governance durch Algorithmen‹ verdeutlichen DAOs, dass in der digitalisierten Gesellschaft immer häufiger Konstellationen auftreten, in denen algorithmische und menschliche Handlungsmacht aufeinandertreffen. In dem vorliegenden Buch wird vor diesem Hintergrund untersucht, wie algorithmische Governance der eingesetzten Softwareprogramme und die Autonomie menschlicher Handelnder in der Organisationspraxis von DAOs zusammenwirken.«

Die umfangreichen Untersuchungen kommen u.a. zu dem Schluss (Kapitel 10),

»[…] dass sich neue, vermeintlich ›digitale‹ Organisationsmodelle weniger als akzentuierter Bruch mit bisherigen Organisationsformen darstellen, als vielmehr zahlreiche Kontinuitätslinien mit bekannten Formen des Organisierens aufweisen. Dies wird am Fall der DAOs besonders deutlich, die sich anstelle einer klaren ›Maschinenhaftigkeit‹ und algorithmischer, bürokratischer Steuerung vielmehr zwischen derart klassisch ›modernen‹ und ›postmodernen‹ Prinzipien verorten lassen. Ihr wesentliches Charakteristikum besteht gerade darin, diese vermeintlich gegensätzlichen Organisationsprinzipien im Alltag zu vereinen.

[…] Diese Erkenntnisse bergen wichtige Implikationen für verschiedene aktuelle Forschungsdiskurse: Erstens relativieren sie die Versprechen einer Dezentralisierung von Einflusspotentialen und einer zwingenden Regelsetzung, die in der aktuellen Forschungsdiskussion mit DAOs und der Blockchain-Technologie verknüpft werden. […] Zweitens stellen sie erstmals eine soziologische Perspektive auf DAOs als algorithmischer Governance-Technologie bereit. […] Ihr spezifischer Beitrag liegt dabei gerade in der Verbindung einer abstrakten technischen Charakterisierung der Technologie mit empirischen Einsichten zu ihrem Einsatz in Organisationen.«