Reise nach Jerusalem

Projekt- und Teamleiter von Musical Chairs: Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin und Yiting Huang (Matt Goisman/SEAS)

Lassen wir etwas zurück, wenn wir auf Stühlen sitzen? Erinnern sie sich an uns, wenn wir mit Objekten interagieren? Und wenn diese Objekte ihre Erinnerungen an uns zurücksenden könnten, wie würde es klingen?

Dies sind einige der Ideen, die Peggy Yin und ihre Studentenorganisation Conflux in „Musical Chairs“ untersucht haben, einem Trio aus Holzstühlen, die Audiosignale aufzeichnen und weiterleiten können und während der ARTS FIRST Week im Harvard Yard installiert wurden. Das Projekt kombinierte Elemente des maschinellen Lernens und der Informatik, musikalische Darbietung und Tischlerei, um eine Verschmelzung von Kunst und Technologie zu schaffen.

„Mein oberstes Ziel ist es, einen Raum zu schaffen, in dem Menschen natürliche Gespräche führen, hinterher aber auch darüber nachdenken können, wie ihre Worte und Ausdrücke andere Menschen beeinflussen können, und den Menschen die Zeit und den Raum zu geben, sich authentisch und ehrlich auszudrücken“, sagte Yin. Mitbegründer von Conflux und Student im zweiten Jahr, der Computational Neuroscience sowie Kunst- und Architekturgeschichte studiert. „Ich habe mich schon immer dafür interessiert, wie Technologie, insbesondere Medientechnologie, uns wirklich dabei helfen kann, Empathie und Verständnis zwischen Menschen aufzubauen, und wie sie unsere Fähigkeit zur Kommunikation und Interpretation der Kommunikationssignale anderer Menschen verbessern kann.“

Die Klanglandschaft der Musical Chairs erklingt, wenn Besucher des Harvard Yard Platz nehmen. (Zusammenfluss)

Jeder Stuhl spielt Harfenmusik, wenn spezielle Sensoren erkennen, dass jemand darauf sitzt. Mikrofone nehmen Gespräche auf, und Computer verwenden dann Algorithmen für maschinelles Lernen, um Audiodaten wie Frequenz und Tempo der Stimmen von Personen zu extrahieren. Vorab aufgenommene Stimmproben von Harvard-Studenten werden dann verwendet, um auf der Grundlage dieser Daten Musik zu komponieren, die dann an Wandler in den Armlehnen des Stuhls zurückgesendet wird. Legt man einen Ellbogen auf die Armlehne und ein Ohr an die Hand, kann man über die Knochenleitung die musikalische Klangkulisse vergangener Gespräche hören.

„Einige Leute, die vorhin vorbeikamen, setzten sich hin und unterhielten sich, und ich fand es wirklich toll, dass sie die Geräuschkulisse einfach passieren ließen“, sagte Yin. „Am Ende sagte einer von ihnen, es sei wirklich entspannend gewesen und sie wünschten, sie hätten eines bei sich zu Hause. Dass sie ein völlig normales Gespräch führten, während sie der Musik lauschten, und das dann hinterher sagten, zeigte mir wirklich, dass sie es zuließen.“ die Musik, um ihr Gespräch positiv zu unterstützen, ohne es zu stören.“

Peggy Yin, Projektleiterin bei Musical Chairs (Mitte), demonstriert die Knochenleitungstechnik vor den Teamleitern Tamar Sella und Jason Wang im Harvard Yard. (Matt Goisman/SEAS)

Beim Bau des Lehrstuhls waren Studenten der Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) federführend dabei, die Hardware und Software zum Laufen zu bringen. Suvin Sundararajan, ein Bioingenieur-Konzentrator, druckte die Sensoren in 3D und fungierte als Hardware-Leiter, während der Informatik- und Mathematikstudent Jason Wang die Algorithmen für maschinelles Lernen und das verteilte Computernetzwerk entwarf, die leistungsstark genug waren, um Audiodaten in Echtzeit zu extrahieren.

„Ich bin ein Typ, der maschinelles Lernen lernt, deshalb spiele ich wirklich gerne mit solchen Dingen herum“, sagte Wang. „Die größte Herausforderung bestand darin, herauszufinden, wie man Audiofunktionen in Echtzeit verarbeitet, da sie normalerweise viel Rechenleistung erfordern. Wir mussten drei MacBook Pros einbauen, um das in Echtzeit zum Laufen zu bringen und herauszufinden, wie wir diese Funktionen kommunizieren können.“ die Software, die die Musik macht.

Yins Projekt wurde für ein Public Arts-Stipendium des Harvard Office of the Arts ausgewählt. SEAS trug auch dazu bei, das Projekt zu verwirklichen, indem es über die Gruppe „Teaching and Learning“ Mittel für SEAS-angeschlossene Studentenorganisationen bereitstellte. Auch die Sensoren und Elektronik wurden bei SEAS entwickelt. Die Holz- und Tischlerarbeiten wurden inzwischen in der Holzwerkstatt für Kunst, Film und visuelle Studien abgeschlossen.

Ein Blick auf die zentrale Mikrofonbox, die Hardware und die Verkabelung, die die Klanglandschaft der Musical Chairs ermöglichen. (Matt Goisman/SEAS)

„Ich war mit der Knochenleitung durch Holz vertraut und war wirklich an der Idee eines Designs interessiert, das sowohl mit der Technologie als auch mit einer konzeptionellen Idee kompatibel ist und diese unterstützt, die durch Audio- und visuelle Erlebnisse zusammenkommt“, sagte Tamar Sella, eine Studentin im zweiten Jahr Er studierte vergleichende Literatur- und Kunstwissenschaft, Film- und Bildwissenschaften und leitete das Design- und Bauteam des Stuhls. „Jeder Teil des Stuhls hatte seine eigenen Probleme zu lösen, was viel Kommunikation zwischen dem Designteam erforderte und auch technologische Aspekte erforderte, die kompatibel sein mussten.“

Conflux wurde dieses Jahr von Yin und der Zweitklässlerin Alice Cai mitbegründet und hat bereits mehrere Projekte im Science and Engineer Complex gesponsert. Die Gruppe organisierte während der Wintersitzung eine interaktive Multimedia-Kunstinstallation mit dem Titel „Liminal Interfaces“ und schuf im vergangenen Herbst gemeinsam mit hAR/VRd das „Nervous Network“, das Herzmonitore, LED-Lichtstreifen und Virtual-Reality-Headsets kombinierte, um darzustellen, wie das Der menschliche Körper reagiert auf Angst.

„‚Musical Chairs‘ basiert auf der Idee, wie wir eine Umgebung schaffen, die Menschen dazu einlädt, sich hineinzulehnen, sich aber auch Zeit zum Nachdenken und Zurücklehnen zu nehmen“, sagte Yin. „Wir wollten ein Umfeld für den Diskurs schaffen.“

Themen:REEF Makerspace, KI / Maschinelles Lernen, Informatik, Elektrotechnik, Materialwissenschaft und Maschinenbau, Studentenorganisationen

Treten Sie der Harvard SEAS-Mailingliste bei.

Matt Goisman | [email protected]

Fakultätsmitglied für unübertroffene Betreuung und hoch bewertete Lehre geehrt

Auszeichnungen, Informatik

Bilder vom 372. Harvard Commencement am Donnerstag, 25. Mai

Akademiker, Angewandte Mathematik, Angewandte Physik, Bioingenieurwesen, Informatik, Elektrotechnik, Umweltwissenschaften und -technik, Materialwissenschaften und Maschinenbau

Walsh Lab wendet sich an örtliche Oberstufenschüler

Akademiker, Bioingenieurwesen, K-12, Materialwissenschaften und Maschinenbau