Splitter: »AI Search Has A Citation Problem« (Columbia Journalism Review)

11. März 2025

Das Columbia Journalism Review hat prominente KI-Chatbots mit einer einfachen Aufgabe auf die Probe gestellt: In der Studie (siehe auch: Daten auf GitHub) wurde jedem der System ein Zitat aus einem Artikel vorgelegt und der Chatbot wurde gebeten, den Artikel zu finden, einen Link dazu zu liefern und die Überschrift, die ursprünglich veröffentlichende Organisation und das Veröffentlichungsdatum zu nennen:

»We randomly selected ten articles from each publisher, then manually selected direct excerpts from those articles for use in our queries. After providing each chatbot with the selected excerpts, we asked it to identify the corresponding article’s headline, original publisher, publication date, and URL […]. We deliberately chose excerpts that, if pasted into a traditional Google search, returned the original source within the first three results. We ran sixteen hundred queries (twenty publishers times ten articles times eight chatbots) in total. We manually evaluated the chatbot responses based on three attributes: the retrieval of (1) the correct article, (2) the correct publisher, and (3) the correct URL.«

Getestet wurden OpenAI ChatGPT Search (4o), Perplexity, Perplexity Pro, DeepSeek-V3 Search, Microsoft Copilot, xAI Grok-2, xAI Grok-3 (beta) und Google Gemini (2.0 Flash). Verhältnismäßig am besten abgeschnitten haben Perplexity Pro, Perplexity und ChatGPT; fast nur inkorrekte Ergebnisse lieferten Grok und Gemini. Was laut der Studie überraschte, war das durch die Bank hohe Maß an vermittelter Sicherheit der Antworten der Chatbots, oft ohne auf mögliche Unzuverlässigkeiten hinzuweisen:

»Overall, the chatbots often failed to retrieve the correct articles. Collectively, they provided incorrect answers to more than 60 percent of queries. Across different platforms, the level of inaccuracy varied, with Perplexity answering 37 percent of the queries incorrectly, while Grok 3 had a much higher error rate, answering 94 percent of the queries incorrectly. Most of the tools we tested presented inaccurate answers with alarming confidence, rarely using qualifying phrases […], or acknowledging knowledge gaps […]. ChatGPT, for instance, incorrectly identified 134 articles, but signaled a lack of confidence just fifteen times out of its two hundred responses, and never declined to provide an answer. With the exception of Copilot—which declined more questions than it answered—all of the tools were consistently more likely to provide an incorrect answer than to acknowledge limitations.«


Querverweis: PEW-Studie zu KI am Arbeitsplatz

26. Februar 2025

Das Pew Research Center hat die Ergebnisse einer im Oktober 2024 erhobenen repräsentativen Umfrage unter 5273 erwerbstätigen Erwachsenen veröffentlicht, die sich mit den Erfahrungen und Einschätzungen von Arbeitnehmenden in den USA mit Blick auf den Einsatz von künstlicher Intelligenz (KI) am Arbeitsplatz auseinandergesetzt hat. Einige Kernergebnisse:

  • 63 Prozent der Befragten gaben an, KI kaum oder nicht am Arbeitsplatz zu nutzen; 17 % haben noch nichts von KI-Nutzung am Arbeitsplatz gehört. Unter den 16% KI-Nutzenden sind die Altersgruppen unter 50 Jahren stärker vertreten.
  • Rund die Hälfte der Arbeitnehmenden gab an, sich Sorgen darüber zu machen, wie KI in Zukunft am Arbeitsplatz eingesetzt werden könnte; 32 Prozent der jüngeren Befragten zwischen 18 und 49 Jahren gaben an, dass sie sich über den künftigen Einsatz von KI am Arbeitsplatz freuen (50+: 24 Prozent).
  • Über alle Altersgruppen und Bildungsniveaus hinweg geht ein Drittel der Befragten davon aus, dass sich ihre Arbeitsaussichten durch KI schmälern; für ein Drittel macht das keinen Unterschied. Nur 6 Prozent (Postgraduierte: 9 Prozent) gehen davon aus, dass sich durch KI mehr Beschäftigungsoptionen ergeben.
  • Die häufigsten Verwendungszwecke für KI-Chatbots unter Arbeitnehmenden, die KI bei der Arbeit bereits nutzen, bestehen in dem Recherchieren von Informationen zu einem bestimmten Thema (57 Prozent), der Überarbeitung von Texten (52 Prozent) und dem Entwerfen von schriftlichen Inhalten (47 Prozent).
  • Unter den KI-Nutzenden gehen 40 Prozent der Befragten davon aus, dass KI-Chatbots eine schnellere Bewältigung von Arbeitsaufgaben ermöglichen; rund 30 Prozent vermuten, dass sich dadurch auch die Qualität ihrer Arbeit erhöht.

SOI Discussion Paper: Artificial Intelligence and Social Action

24. Februar 2025

In der Reihe Research Contributions to Organizational Sociology and Innovation Studies ist ein neues Discussion Paper mit dem Titel »Artificial Intelligence and Social Action. A techno-sociological contextualization« erschienen. Das Abstract:

This discussion paper contextualizes contemporary forms of artificial intelligence (AI) within the broader relationship between technology and society, and it compiles essential insights from the sociology of technology for interdisciplinary discourse. The paper begins with a concise overview of the history of artificial intelligence and situates AI within the co-evolution of technology and society. It then presents key perspectives on the interaction and distributed agency between humans and technology, identifying five fundamental levels of agency and relating these levels to the interplay of AI and social action. Throughout these considerations, it becomes evident that the expectations of human technology interaction, as well as the concepts of intelligent technology, are continually evolving and contingent upon social change. Consequently, the development and diffusion of AI should not be viewed as a primarily technology-driven phenomenon but rather as a genuine socio-technological transformation process.

Zum Discussion Paper (PDF) »


Plattformmacht

21. Januar 2025

Künstliche Intelligenz ist ein zentrales Thema der Zukunft; der Einfluss der großen Social-Media-Plattformen und der dahinter stehenden Tech-Konzerne auf Politik, Öffentlichkeit und Alltagskommunikation (wie auch auf unser Verständnis von Wirklichkeit) ist schon lange eine der drängenden Herausforderungen der Gegenwart, auf die bislang – trotz Digital Markets Act und Digital Service Act in der EU – noch keine hinreichenden Antworten gefunden worden sind.

Mehr noch: Tech-Mogule wie Mark Zuckerberg (Meta) oder Elon Musk (X) verfügen nicht nur innerhalb ihrer Unternehmen über die entsprechende Machtfülle, um fundamentale Regulationsmuster auf den Plattformen nach ihren persönlichen Prioritäten umzugestalten, sondern inzwischen auch außerhalb ihrer Konzerne über die politische Kraft und die finanziellen Mittel, um ihre Interessen durchzusetzen – etwa mit Blick auf die staatliche Anwendung und Regulierung von KI (The Verge titelte in diesem Sinne jüngst: »Welcome to the era of gangster tech regulation. Our tech overlords all have problems, and they want to buy the solutions«).

Ulrich Dolata und ich haben uns in den letzten Jahren regelmäßig mit dem Einfluss digitaler Plattformen bzw. der dahinterstehenden Konzerne auf gesellschaftliche Koordinations- und Kommmunikationsprozesse beschäftigt (z.B. in Innovation, KZfSS) und die Machtdifferenziale zwischen den betreibenden Technologieunternehmen und den vielfältigen sozialen Akteuren herausgearbeitet, die sich in plattformbasierten Kommunikations- und Handlungsräumen bewegen – so zuletzt in dem Suhrkamp-Band »Theorien des digitalen Kapitalismus« (344–363). Einige Ausschnitte:

Weiterlesen »

Kurze Geschichte der künstlichen Intelligenz (1)

7. Dezember 2024

Die Geschichte der modernen KI (siehe Tabelle) beginnt mit dem Logiker, Analytiker und Mathematiker Alan Turing (1912–1954), der mit seinem »Turing-Test« die heutige Vorstellung von künstlicher Intelligenz maßgeblich geprägt hat. Er selbst nannte seinen Test »Imitation Game« und bezog ihn auf die Antworten einer Maschine im Dialog mit einem oder mehreren Menschen: Wenn das kommunikative Verhalten einer Maschine nicht mehr von menschlichem Verhalten unterscheidbar erscheint, sollte von maschineller Intelligenz gesprochen werden. Eine Maschine wäre aus dieser Perspektive folglich »intelligent«, sobald sie ihr Gegenüber erfolgreich täuschen kann.

Der Begriff »künstliche Intelligenz« tauchte erstmals in dem Förderantrag für die Dartmouth Conference auf. Dort erörterten zu dieser Zeit führende Mathematiker und Informatiker für mehrere Wochen, »how to make machines use language, form abstractions and concepts, solve kinds of problems now reserved for humans, and improve themselves« (McCarthy et al. 1955).

Einen ersten öffentlichen Hype erlebte das Thema ab 1966 mit dem von Joseph Weizenbaum entwickelten Computerprogramm ELIZA, das in einer textbasierten Unterhaltung unterschiedliche Gesprächspartner simulieren kann, indem es auf Schlüsselwörter reagiert, falls diese in seinem Thesaurus zu finden sind. In Presse, Funk und Fernsehen wurde vor allem die Rolle von ELIZA als Psychotherapeutin aufgegriffen. Auf die Eingabe »Ich habe ein Problem mit meiner Mutter« lautete eine Antwort zum Beispiel: »Erzählen Sie mir mehr über Ihre Familie«.

A conversation with Eliza (Wikipedia Commons)
Weiterlesen »

Digitale Technikutopien

4. Dezember 2024

Gerade ist der Band »Utopien im Unterricht. Theoretische Verortungen – Fächerperspektiven – praktische Beispiele« (herausgegeben von Heinrich Ammerer, Margot Anglmayer-Geelhaar, Robert Hummer und Markus Oppolzer, Open Access) erschienen: »Im ersten Teil des Bandes führen fachübergreifende Grundlagenbeiträge aus verschiedenen Disziplinen in den Themenkomplex ein und bieten sowohl Schlaglichter auf Erscheinungsformen des Utopischen in unterschiedlichen kulturellen Kontexten als auch grundlegende Definitionen zentraler Begriffe. Die anschließenden fachdidaktischen Beiträge loten den Beitrag der jeweiligen Disziplin zur Entwicklung eines reflektierten Umgangs mit Utopien aus und stellen methodische Zugänge für den Unterricht (inklusive eines Praxisbeispiels) vor.«

Mein Beitrag im Band setzt sich mit digitalen Technikutopien auseinander und kommt zu dem Schluss, dass sich im aktuellen Diskurs (z.B. unter dem Stichwort ›künstliche Intelligenz‹) »viele Erwartungen widerspiegeln, die bereits in früheren Phasen der Computerisierung, Datafizierung und Digitalisierung diskutiert worden sind – von der Angst vor einer Invasion der Privatsphäre bzw. einem Autonomieverlust des Menschen bis hin zu vielfältigen positiven Visionen einer technikbeförderten Lösung großer gesellschaftlicher Herausforderungen (z.B. Klimakrise) […]. Und ähnlich wie in früheren Phasen technologischen Umbruchs treten auch heute die Figuren des berauschten Evangelisten, des besorgten Apokalyptikers und des praktisch Integrierten auf […].« Den Sozialwissenschaften spricht der Beitrag gerade im gegenwärtigen Stadium eine zentrale Rolle zu:

»Aus ihrer kritisch-distanzierten Perspektive können sie zum ersten ein Gegengewicht zu der verbreiteten Überzeugung bieten, dass technische Strukturen per se die Lösung grundsätzlicher gesellschaftlicher Probleme einleiten könnten und blanke Zahlen bei einer hinreichend breiten Datenbasis für sich sprechen.

Weiterlesen »

Call for Papers: »Nachhaltige Technik, technisierte Nachhaltigkeit?«

21. November 2024

Am 26. und 27. Juni 2025 veranstalten die DGS-Sektionen Wissenschafts- und Technikforschung sowie Umwelt- und Nachhaltigkeitssoziologie eine gemeinsame Frühjahrstagung mit dem Titel »Nachhaltige Technik, technisierte Nachhaltigkeit?«. Aus dem Call for Papers (Deadline: 31.1.2025):

Gesellschaft, Technik und Natur sind in der Moderne untrennbar miteinander verwoben. Die Beziehungen zwischen Menschen und ihrer natürlichen Umwelt sind in einem hohen Maß durch Technik vermittelt. Mehr noch: Technik selbst lässt sich als ein Hybrid aus Natur und Gesellschaft beschreiben. Zum einen entsteht Technik aus sozialen Zusammenhängen heraus; zum anderen bilden biophysische Materialitäten und Stoffströme ihre naturbezogene Basis.

Dieses koevolutionäre Verhältnis zeigt sich heute in besonders krisenhafter Weise: Technikinnovationen haben das gesellschaftliche Leben in den letzten 150 Jahren beträchtlich erleichtert. Ihr Einsatz ist aber zugleich verantwortlich für weitreichende Umweltveränderungen und nicht zuletzt auch für den globalen Klimawandel. 

Die beschleunigte Entwicklung von Technik und ihre verbreitete Nutzung wird insofern in vielerlei Hinsicht als Treiber für die ökologischen Krisen unserer Zeit eingestuft. Andererseits werden Technikinnovationen unter Bezeichnungen wie »grüne Technologien« aber auch als maßgebliche Lösungselemente auf dem Weg zu nachhaltigeren Wirtschafts- und Gesellschaftsformen angesehen: Nicht nur in unternehmerischen Zusammenhängen, sondern auch in Wissenschaft und Politik wird prospektiven Technologien (z.B. weiterentwickelte künstliche Intelligenz, Kernfusion, »grüner Wasserstoff«, »E-Fuels«) und bereits anwendungsbereiten Techniklösungen (z.B. Elektroautos, Wärmepumpen) das Potenzial zugeschrieben, substanzielle Beiträge zur Bewältigung großer ökologischer Problemlagen leisten zu können. Zugleich stoßen solche als Lösung gerahmte Technologien bei anderen gesellschaftlichen Gruppen und Akteuren auf Skepsis oder gar Ablehnung und sind Gegenstand gesellschaftlicher Konflikte. […]

Weiterlesen »