Usando apenas ‘gravações cerebrais’ de pacientes, cientistas reconstroem uma música do Pink Floyd

Cientistas reconstroem música do Pink Floyd usando 'gravações cerebrais' de pacientes

As famosas letras do Pink Floyd emergem de um som turvo, mas musical:

“No final das contas, era apenas um tijolo na parede.”

Mas essa gravação em particular não veio do álbum de 1979 “The Wall” nem de um show do Pink Floyd.

Em vez disso, pesquisadores criaram-na a partir das ondas cerebrais reconstituídas de pessoas ouvindo a música “Another Brick in the Wall, Part 1”.

Essa é a primeira vez que pesquisadores reconstruíram uma música reconhecível apenas a partir de gravações cerebrais, de acordo com um novo relatório publicado em 15 de agosto no jornal PLOS Biology.

No final, a equipe de pesquisa espera que suas descobertas levem a uma fala mais natural por meio de interfaces cérebro-máquina que auxiliam a comunicação com pessoas que estão “presas” pela paralisia e incapazes de falar.

“No momento, quando fazemos apenas palavras, é robótico”, disse o pesquisador sênior Dr. Robert Knight, professor de psicologia e neurociência da Universidade da Califórnia, Berkeley.

Considere a fala computadorizada associada a um dos pacientes presos mais famosos do mundo, Stephen Hawking.

A fala humana é composta por palavras, mas também possui uma musicalidade, disse Knight, com as pessoas adicionando diferentes significados e emoções com base em conceitos musicais como entonação e ritmo.

“A música é universal. Provavelmente existia em culturas antes da linguagem”, disse Knight. “Gostaríamos de fundir esse sinal de extração musical com o sinal de extração de palavras, para criar uma interface mais humana”.

Elétrodos implantados nos cérebros dos pacientes captaram a atividade elétrica de regiões cerebrais conhecidas por processar atributos da música – tom, ritmo, harmonia e palavras – enquanto os pesquisadores tocavam um trecho de três minutos da música.

Essas gravações foram feitas em 29 pacientes em 2012 e 2013. Todos os pacientes sofriam de epilepsia, e os cirurgiões implantaram os elétrodos para ajudar a determinar a região cerebral precisa que causava as convulsões, explicou Knight.

“Enquanto eles estão no hospital esperando ter três convulsões [para determinar a localização das convulsões], podemos fazer experimentos como esses se os pacientes concordarem”, explicou Knight.

A partir de 2017, os pesquisadores começaram a alimentar essas ondas cerebrais gravadas em um computador programado para analisar os dados.

Eventualmente, o algoritmo se tornou inteligente o suficiente para decodificar a atividade cerebral em uma reprodução da música do Pink Floyd que os pacientes ouviram anos antes.

“Este estudo representa um avanço na compreensão da neuroanatomia da percepção musical”, disse o Dr. Alexander Pantelyat, neurologista de distúrbios do movimento, violinista e diretor do Centro de Música e Medicina da Johns Hopkins. Pantelyat não esteve envolvido na pesquisa.

“A precisão da detecção de som precisa ser melhorada no futuro, e não está claro se essas descobertas serão diretamente aplicáveis à decodificação dos elementos prosódicos da fala – tom, inflexão, humor”, disse Pantelyat.

“No entanto, essas descobertas iniciais oferecem esperança para melhorar a qualidade da detecção de sinal para interfaces cérebro-computador, direcionando o giro temporal superior”, acrescentou Pantelyat. “Isso oferece esperança para pacientes com desafios de comunicação devido a várias doenças neurológicas, como ELA [esclerose lateral amiotrófica] ou lesão cerebral traumática”.

De fato, os resultados mostraram que as regiões auditivas do cérebro podem ser um alvo melhor em termos de reprodução da fala, disse o pesquisador principal Ludovic Bellier, bolsista de pós-doutorado do Instituto de Neurociência Helen Wills na UC Berkeley.

Muitos esforços anteriores para reproduzir a fala a partir de ondas cerebrais se concentraram no córtex motor, a parte do cérebro que gera os movimentos da boca e das cordas vocais usados para criar a acústica da fala, disse Bellier.

“No momento, a tecnologia é mais como um teclado para a mente”, disse Bellier em um comunicado de imprensa. “Você não pode ler seus pensamentos a partir de um teclado. Você precisa pressionar os botões. E isso produz uma voz meio robótica; com certeza há menos do que eu chamo de liberdade expressiva”.

Bellier, ele próprio, é músico desde a infância, chegando a tocar em uma banda de heavy metal em um determinado momento.

Utilizando os registros cerebrais, Bellier e seus colegas conseguiram identificar também novas áreas do cérebro envolvidas na detecção de ritmo. Além disso, diferentes áreas da região auditiva responderam a diferentes sons, como notas de sintetizador versus vocais sustentados.

Os pesquisadores confirmaram que o lado direito do cérebro está mais sintonizado com a música do que o lado esquerdo, afirmou Knight.

Neste momento, a tecnologia ainda não está avançada o suficiente para que as pessoas possam reproduzir essa qualidade de fala usando leituras de EEG feitas no couro cabeludo, disse Knight. São necessários implantes de eletrodo, o que significa cirurgia invasiva.

APRESENTAÇÃO DE SLIDES

“O sinal que estamos registrando é chamado de atividade de alta frequência e é muito robusto no córtex, cerca de 10 microvolts”, disse Knight. “Mas há uma queda de 10 vezes quando chega ao couro cabeludo, o que significa que é um microvolt, que está no nível de ruído da atividade muscular do couro cabeludo”.

Eletrodos melhores também são necessários para permitir a reprodução de fala de qualidade, acrescentou Knight. Ele observou que os eletrodos usados estavam a 5 milímetros de distância um do outro, e sinais muito melhores podem ser obtidos se estiverem a 1,5 milímetros de distância.

“O que realmente precisamos são grades de densidade mais alta, porque para qualquer abordagem de aprendizado de máquina, é a quantidade de dados que você insere ao longo do tempo”, disse Knight. “Estávamos restritos a 64 pontos de dados ao longo de 3 minutos. Se tivéssemos 6.000 ao longo de 6 minutos, a qualidade da música seria, eu acredito, incrível”.

Knight disse que sua equipe acabou de receber uma bolsa de pesquisa para estudar pacientes com afasia de Broca, um tipo de distúrbio cerebral que interfere na capacidade de falar.

“Esses pacientes não conseguem falar, mas conseguem cantar”, disse Knight. O que foi aprendido neste estudo pode ajudar a equipe a entender melhor por que pessoas com essas lesões conseguem cantar o que não conseguem dizer.

Mais informações

O Cleveland Clinic tem mais informações sobre a síndrome do encarceramento.

FONTES: Robert Knight, MD, professor de psiquiatria e neurociência, Universidade da Califórnia, Berkeley; Alexander Pantelyat, MD, neurologista de distúrbios do movimento, violinista e diretor do Johns Hopkins Center for Music and Medicine, Baltimore; Ludovic Bellier, PhD, pesquisador pós-doutorado, Instituto de Neurociência Helen Wills, Universidade da Califórnia, Berkeley; PLOS Biology, 15 de agosto de 2023