Effects of pitch and duration in the automatic analysis of emotional expressions
Keywords:
prosody, phonetics, automatic analysisAbstract
Our purpose in this essay is to check if the change in expression of emotions through the prosody of Brazilian Portuguese may be restricted to intonation. We analyzed eight sound files classified as sadness or anger. For the automatic description done by the software ExProsodia, ten variables were defined and divided into two groups: one considering the ideal Middle Tom (TM) and other considering the duration. Quantitative analysis of this set of variables was performed with Cluster Analysis of multivariate statistics, with a confidence level of 0.05, for raw data. The dendrogram analysis showed that vertical variations of F0 are necessary for the automatic separation of files for the emotions assigned to it. However the same variations are not sufficient for a better separation correlated to the proposed emotional classification.
Downloads
References
ADOBE Systems Incorporated. Adobe Audition 3.0.1 build 8347.0 [Audition3.0]. San Jose, 2012.
ATENDIMENTO SAMU Juiz de Fora... Disponível em: <http://www.youtube.com/ watch?v=l8wVeVT3uDw>. Acesso em: 19 fev 2013
BÄNZIGER, T.; SCHERER, K.R. The role of intonation in emotional expressions. Speech Communication, n. 44, p. 252-267, 2005.
BATLINER, A. et alii. The automatic recognition of Emotions in Speech. In.: COWIE,R.; PELACHAUD, C.; PETTA, P. (Eds.) Emotion-oriented Systems. The Humaine Book. Berlin: Springer, 2011. p. 71-99.
BOEMIO, A.; FROMM, S.; BRAUN, A.; POEPPEL. D. Hierarchical an asymmetric temporal sensitivity in human auditory cortices. Nature Neuroscience, v. 8, n. 1, p. 389-395, 2005.
CLIENTE calminho. Disponível em: <http://www.youtube.com/watch?v=53j7lZrp2pM>. Acesso em: 19 fev. 2013.
COSTANZO, F. S.; MARKEL, N. N.; COSTANZO, P. R. Voice quality profile and perceived emotion. Journal of Counseling Psychology, v. 16, n. 3, 267-270, 1969.
DARWIN, C. A expressão das emoções no homem e nos animais. São Paulo: Companhia das Letras, 2000.
DILMA se emociona ao falar de tragédia... Disponível em: <http://www.youtube.com/watch?v=trfM5uMH0mY>. Acesso em: 19 fev. 2013.
ENTREVISTA com Ana Carolina. Disponível em: <http://www.youtube.com/watch?v=3B5eGuG0C8Q>. Acesso em: 19 fev. 2013.
FAIRBANKS, G.; HOAGLIN, L. W. An experimental study of the durational characteristics of the voice during the expression of emotion. Speech Monographs, v. 6, n. 1, p. 85-90, 1941.
FAIRBANKS, G.; PRONOVOST, W. Vocal pitch during simulated emotion. Science, v. 78, n. 2286, p. 382-383, 1938.
FAIRBANKS, G.; PRONOVOST, W. An experimental study of the pitch characteristics of the voice during the expression of emotion. Speech Monographs, v. 6, n. 1, p. 87-104, 1939.
FERREIRA NETTO, W. Decomposição da entoação frasal em componentes estruturadoras e em componentes semântico-funcionais. In: CONGRESSO NACIONAL DE FONÉTICA E FONOLOGIA / CONGRESSO INTERNACIONAL DE FONÉTICA E FONOLOGIA, 10/4., Niterói, 2008. Disponível em: <http://www.academia.edu/2272651/Decomposicao_da_entoacao_frasal_em_componentes_estruturadoras_e_semantico-funcionais > Acesso em: 22 jan. 2013
FERREIRA NETTO, W. ExProsodia. Revista da Propriedade Industrial – RPI , 2038, pág. 167, item 120, em 26/out/2010. Disponível em: <http://revistas.inpi.gov.br/pdf/PATENTES2038.pdf>
Acesso em: 22 jan. 2013.
FERREIRA NETTO, W. Variação de frequência e constituição da prosódia da língua portuguesa. Tese (Livre-Docência) – USP, 2006.
FERREIRA NETTO, W.; SOUZA, A. R.; VIEIRA, M. F.; PERES, D. O.; MARTINS, M. V. M. Desenvolvimento de análise automática da curva de frequência por meio de convoluções gaussianas do histograma de frequências. In: COLÓQUIO BRASILEIRO DE PROSÓDIA DA FALA-UFAL, 4., Maceió, Al, em 16 out. 2013.
FUZILEIRO naval – Toca terror na delegacia. Disponível em: <http://www.youtube.com/watch?v=UlaVqH6SsXs>. Acesso em: 19 fev. 2013.
HUCKVALE, M. A. Speech Filing System v.4.7/Windows SFSWin Version 1.7, em 17/02/2008. Disponível em: <http://www.phon.ucl.ac.uk/resource/sfs> . Acesso em: 22 jan. 2013.
MARKEL, N. N. The reliability of coding paralanguage: pitch, loudness, and tempo. Journal of Verbal Learning and Verbal Behavior, n. 4, p. 306-308, 1965.
MINISTRA Dilma. Disponível em <http://www.youtube.com/watch?v=z6-NjcE8t7g>. Acesso em: 19 fev. 2013.
MURRAY, I. R.; ARNOTT, J. L. Toward the simulation of emotion in synthetic speech: A review of the literature on human vocal emotion. Journal of Acoustical Society of Americas. v. 93, n. 2, p. 1097-1108, 1993.
NCH Software. Soundtap Streaming Audio Recorder v2.11. Greenwood Village, 2007. Disponível em: <http://www.nch.com.au/soundtap/index.html>. Acesso em: 19 fev. 2013.
PAIS de João Helio fazem depoimento emocionante. Disponível em: <http://www.youtube.com/watch?v=GNaf7qXDGVA>. Acesso em: 19 fev. 2013.
PERES, D. O.; CONSONI, F.; FERREIRA NETTO, W. Decomposição da entoação frasal em componentes estruturais e semântico-funcionais: um teste com análise da variação de gênero. In: OSUCHIL – The Ohio State University Congress on Hispanic and Lusophone Linguistics, 12, Ohio, 2009.
PERES, D.; CONSONI, F.; FERREIRA NETTO, W. A influência da cadeia segmental na percepção de variações tonais. LLJournal, v. 6, n. 1, 2011. Disponível em: <http://ojs.gc.cuny.edu/index.php/lljournal/article/view/652> Acesso em: 22 jan. 2013
SCHAEFFER, P. Traité des objets musicaux: essai interdisciplines. Paris: Seuil, 1966.
SCHERER, K. R. Vocal affect expression: a review and a model for futures research. Psychological Bulletin, v. 99, n. 2, p. 143-165, 1986.
SCHERER, K. R.; LADD, D. R.; SILVERMAN, K. E. A. Vocal cues to speaker affect: testing two models. Journal of Acoustical Society of Americas, v. 76, n. 5, p. 1346-1356, 1984.
SIERTSEMA, B. Timbre, pitch and intonation. Lingua, v. 11, p. 388-398, 1962.
SKINNER, E. R. A calibrated recording an analysis of the pitch, force and quality of vocal tones expressing happiness and sadness. Speech Monographs, v. 2, n. 2, p. 81-137, 1935.
SLANEY, M.; McROBERTS, G. Baby ears: a recognition system for affective vocalization. In : INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECHS AND SIGNAL PROCESSING, 1998, Seattle. Proceedings... Vol. II: Features for automatic speech recognition. Seattle: The Institute of Electrical and Electronic Engineers Signal Processing Society, 1998. p. 985-988.
SPENCER, H. The origin of music. Mind, v. 15, n. 60, p. 449-468, 1890.
VASSOLER, A. M. O. A Prosódia das Emoções: Um Exercício a partir da Fonologia Prosódica. In: BAIA, F. A. et alii. (Org.) Anais dos XII e XIII Encontros dos Alunos de Pós-Graduação em Linguística da USP. São Paulo: Paulistana, 2012. p. 1–12.
VASSOLER, A. M. O.; MARTINS, M. V. M. A entoação em falas teatrais: uma análise da raiva e da fala neutra. In: SEMINÁRIO DO GEL, 60., 2012, São Paulo. Seminário do GEL, 60. São Paulo, 2012a.
VASSOLER, A. M. O.; MARTINS, M. V. M. O estudo da variabilidade da frequência fundamental intra-sujeito na fala emotiva. In: ENCONTRO DO DINAFON, 5., 2012, Marília. Anais do 5o Encontro do Dinafon, 2012b.
WEAVER, A. T. Experimental studies in vocal expression. The Quarterly Journal of Speech Education, v. 10, n. 3, p. 199-204, 1924a.
WEAVER, A. T. Experimental studies in vocal expression. The Journal of Applied Psychology,
v. 8, n. 1, p. 23-51, 1924b.
WEAVER, A. T. Experimental studies in vocal expression. The Journal of Applied Psychology,
v. 8, n. 2, p. 159-186, 1924c.
WILLIAMS, C. E.; STEVENS, K. N. Emotions and speech: some acoustical correlates. Journal of the Acoustical Society of America, v. 52, n. 4, parte 2, p. 1238-1250, 1972.
WINCKEL, F. Music, sound and sensation. A modern exposition. New York: Dover Publications, 1967.
XU, Yi; WANG, Q. E. Component of intonation: what are linguistic, what are mechanical/physiological? Presented at International Conference on Voice Physiology and Biomechanics, Evanston Illinois, 1997.
YOSHIOKA, K. KyPlot, version 2.0 beta 15 (32 bit). [sl], 1997. Disponível em: <http://www.uv.es/piefisic/w3pie/castellano/serv/laboratorios/Kyp2b15.exe >. Acesso em: 19 de fev. 2013.
