Kann und soll Linguistik angesichts multimodaler Kommunikation eine eigene Disziplin sein?

Zusammenfassung

Sprache tritt immer in multimodalen Kontexten auf. Doch durch zunehmende gesellschaftliche Komplexität und dank technischer Erfindungen wird das Zusammenspiel von Sprache und anderen Modi, insbesondere technisch erzeugten stehenden und bewegten Bildern, immer enger und wirksamer. Eine Linguistik, die Sprache, Äußerungen und Texte nicht nur (wie früher meistens) an und für sich selbst, sondern in ihrem multimodalen Gebrauchskontext untersuchen möchte, steht vor erheblichen methodischen Herausforderungen. Angesichts der Fülle und Vielfalt multimodaler Daten sollte Sprachwissenschaft sich auf die Frage konzentrieren, ob und in welcher Weise Sprache eine kommunikative Arbeitsteilung mit anderen Modalitäten eingeht und wie sie dadurch in ihrer Funktion und Form beeinflusst wird. In diesem Aufsatz wird an zwei unterschiedlichen Beispielen (einem Musikvideo und einem wissenschaftlichen Erklärvideo) untersucht, in welcher Weise Sprache bei dynamischen Sehflächen andere Formen annimmt und andere Funktionen erfüllt als sonst üblich. Beide Beispiele sind (wie vermutlich alle dynamischen Sehflächen) mehr oder weniger intensiv ästhetisch komponiert. Dabei zeigen beide Beispiele, dass der Wortlaut sprachlicher Texte (Lexik und Grammatik) in Videos sehr starkauf ihre multimodale Umgebung abgestimmt ist.

Language always occurs in multimodal contexts. However, due to increasing social complexity and thanks to technical inventions, the interplay between language and other modes, especially technically generated still and moving images, is becoming ever closer and more effective. A linguistics that wants to study language, utterances and texts not only (as was mostly the case in the past) in and of themselves, but in their multimodal context of use, faces considerable methodological challenges. In view of the abundance and diversity of multimodal data, linguistics should focus on the question of whether and how language enters into a communicative division of labor with other modalities and how this influences its function and form. This paper uses two different examples (a music video and a science explainer video) to examine the way in which language in dynamic visual surfaces takes on different forms and functions than usual elsewhere. Both examples (like presumably all dynamic visual surfaces) are more or less intensely aesthetically composed. Both examples show that the wording of linguistic texts (lexis and grammar) in videos is very closely matched to their multimodal environment.