Em formação

Existem redes neurais adversas no cérebro?

Existem redes neurais adversas no cérebro?

Um desenvolvimento recente em Redes Neurais Artificiais para aplicativos de aprendizado de máquina é o uso de Redes Adversariais (consulte este artigo para obter um exemplo). Redes adversárias são uma arquitetura de rede em que uma rede aprende a "enganar" a outra.

Esse tipo de aprendizado adversário existe no cérebro em um nível neuronal?


AI Interpret Brain Data produz imagens pessoalmente atraentes

Os desenvolvedores conseguiram criar uma IA para ler nossos pensamentos subjetivos sobre o que torna a aparência atraente. Esse sistema ilustrou esse conhecimento por sua capacidade de produzir novas imagens que fossem consideradas atraentes para as pessoas. Os resultados podem ser usados, por exemplo, na tomada de decisões, modelagem de preferências e reconhecimento de atitudes inconscientes.

Desenvolvedores da Universidade de Copenhague e da Universidade de Helsinque examinaram se um computador seria competente para reconhecer a expressão facial que consideramos atraente e, com base nisso, formar novas imagens que atendam aos nossos padrões. Os desenvolvedores & # 8217 usaram IA para avaliar os sinais do cérebro e fundiram a interface cérebro-computador resultante com um modelo gerador de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelavam para decisões individuais.

& # 8220Anteriormente, desenvolvemos modelos que podiam reconhecer e regular as características da imagem, como o tom do cabelo. Porém, as pessoas concordam principalmente sobre quem é loiro e quem ri. A atratividade é um assunto difícil de pesquisa, pois está associada a fatores sociais e emocionais que provavelmente desempenham papéis inconscientes em nossas escolhas individuais. Na verdade, achamos desafiador descrever o que torna algo, ou alguém, belo: a beleza está nos olhos de quem vê, & # 8221 diz o docente Michiel Spapé, departamento de psicologia e logopedia da Universidade de Helsinque.

Um computador criou imagens faciais que apelaram às preferências individuais. Crédito: COGNITIVE COMPUTING -TUTKIMUSRYHMÄ

Escolhas reveladas pelo cérebro

No início, os desenvolvedores forneceram GAN (rede neural adversarial geradora): É a tarefa de produzir centenas de imagens artificiais. Trinta voluntários viram as fotos, uma por uma. Em seguida, eles foram solicitados a prestar atenção nos rostos nas imagens que considerassem atraentes. Enquanto a eletroencefalografia (EEG) é usada para coletar suas respostas cerebrais.

& # 8220Funcionou de forma semelhante ao aplicativo de namoro Tinder: os voluntários & # 8216 deslizou para a direita & # 8217 quando cruzaram com um rosto atraente. Aqui, os voluntários não precisaram fazer nada além de olhar para as imagens e deslizar para a esquerda ou direita. Marcamos sua reação cerebral instantânea às imagens, & # 8221 Spapé explica.

Os desenvolvedores examinaram os resultados de EEG com métodos de aprendizado de máquina, combinando resultados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

& # 8220A interface cérebro-computador pode ler os usuários & # 8217 pontos de vista sobre a atratividade de uma série de imagens. Ao compreender seus pontos de vista, o sistema de IA interpreta as respostas do cérebro. A rede neural generativa que ilustra as imagens de rosto pode, em conjunto, compor uma imagem de rosto inteiramente nova, combinando-se com o que uma pessoa em particular acha atraente & # 8221, diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para examinar a eficácia de sua modelagem, os desenvolvedores produziram novas fotos para cada voluntário, prevendo que eles os achariam individualmente atraentes. Fazendo experiências com eles de uma maneira duplo-cega contra controles combinados, eles descobriram que as novas imagens se assemelhavam às escolhas dos sujeitos com uma precisão de mais de 80%.

& # 8220A pesquisa mostra que podemos gerar imagens que correspondem à escolha pessoal, combinando uma rede neural artificial com respostas cerebrais. Ter sucesso na avaliação da atratividade é muito importante, pois essa é uma parte comovente e emocional dos estímulos. O conceito de computador tem tido bastante sucesso na classificação de imagens com base em modelos objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é concebível reconhecer e criar imagens com base em características subjetivas, como gosto pessoal, & # 8221 Spapé explica.

Eventualmente, a pesquisa pode servir à sociedade, melhorando o potencial dos computadores para aprender e frequentemente entender as preferências individuais, pela interação entre soluções de IA e interfaces cérebro-computador.


4 resultados

4.1 Configuração do experimento

Nesta seção, avaliamos o calibrador de perturbação benigna proposto com base no conjunto de dados CIFAR10, usando MobileNet howard2017mobilenets, VGG16 simonyan2014very e ResNet18 he2016deep

modelos (também chamados de modelos principais). Nossa implementação é baseada no PyTorch e usamos 4 funções diferentes de aumento de dados no PyTorch para definir a chamada configuração de cenário A / B. Em primeiro lugar, assumimos que os dados de treinamento e os dados de teste do CIFAR10 são distribuídos de forma idêntica e independente. Referimos os dados que são transformados por meio de redimensionamento de corte aleatório e inversão horizontal aleatória como cenário A, e referimos dados que são transformados por meio de rotação aleatória e jittering de cor aleatório como cenário B. Para comparação posterior, também derivamos B1 e B2 como cenário B sob aumento força das transformações de dados. Para o cenário B1, a rotação máxima é 15, a mudança máxima de brilho é 0,8, a mudança máxima de contraste é 0,8, a mudança máxima de saturação é 0,8. E para o cenário B2, a rotação máxima é 20, a mudança máxima de brilho é 2, a mudança máxima de contraste é 2 e a mudança máxima de saturação é 2. Para o cenário A, usamos apenas as configurações padrão de PyTorch. Todos os modelos principais são treinados no cenário A em dados de treinamento e testados no cenário B1 / B2 em dados de teste. Os calibradores são treinados no cenário B1 / B2 em dados de treinamento e usados ​​para dar suporte aos modelos principais no cenário B1 / B2 em dados de teste. A espinha dorsal do modelo generativo consiste em 3 camadas convolucionais de amostragem inferior, seguidas por um número de blocos residuais e 3 camadas convolucionais de amostragem ascendente. Os tamanhos dos calibradores são escolhidos para ser um décimo dos modelos principais. Para controlar o tamanho do calibrador, variamos o número de canais dentro dos blocos residuais e o número de blocos residuais. Por exemplo, para ter um calibrador que tem um décimo parâmetro do tamanho do MobileNet, usamos 2 blocos residuais com 18 canais. O solucionador escolhido para treinar modelos principais e calibradores é o ADAM

. O treinamento para calibradores leva 200 épocas e a taxa de aprendizado inicial é definida como 0,0002 antes de 50 épocas, 0,0001 em 50-100 épocas, 0,00005 em 100-150 épocas e 0,00002 em 150-200 épocas. Durante o treinamento dos calibradores, os modelos principais são usados ​​apenas para feed-forward.

4.2 Melhoria da robustez trazida pelo método de exemplos adversos reversos

Resultados em modelos não compactados: A Tabela 2 mostra o aumento da robustez trazido pelo método proposto. Na Tabela 2, a Coluna 3 lista a precisão do teste dos modelos em dados de teste limpos, sem qualquer aumento de dados. Quando os modelos são testados no cenário B1 e B2 nos dados de teste, a precisão dos modelos cai cerca de 20% a 40%, conforme mostrado na Coluna 4 na Tabela 2). Consideramos a rotação aleatória e o jittering aleatório de cores como fatores ambientais comuns no mundo real e esse resultado demonstra que os modelos de aprendizado profundo não têm robustez em nossas configurações. A coluna 5 mostra que, usando o calibrador proposto, podemos alcançar um aumento de precisão de 4,8% a 19,66% (Coluna 5 na Tabela 2), com apenas uma pequena sobrecarga trazida pelo calibrador (Coluna 6 e amp7 na Tabela 2).

4.3 Melhoria da robustez em modelos comprimidos

Resultados em modelos comprimidos: nesta subseção, demonstramos a eficácia do calibrador proposto em modelos comprimidos. Os pesos dos modelos principais são quantizados em 2/3 bits usando a compressão profunda han2015deep. Para garantir que a sobrecarga trazida por nossos calibradores ainda seja baixa em comparação com os modelos principais, nós os quantizamos em 8 bits sem nenhum treinamento de quantização. Observe que o treinamento dos calibradores pode naturalmente alavancar a velocidade de inferência acelerada dos modelos principais. Na comparação entre a Coluna 4 da Tabela 2 e a Coluna 3 da Tabela 3, observamos que os modelos quantizados sofrem uma queda de precisão significativamente maior no cenário B2 nos dados de teste. Consideramos este fenômeno como um indicador de que a compressão do modelo prejudica a robustez dos modelos em nossas configurações. A Tabela 3, Coluna 5, mostra que, quando implantados os calibradores, o desempenho dos modelos em B2 melhora significativamente.


A beleza está no cérebro: IA gera imagens atraentes a partir de dados cerebrais

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos por conta própria, que foram adaptados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser utilizados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associado a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo, ou alguém, belo: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spapé do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro na revista IEEE Transactions in Affective Computing.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens ", Explica Spapé.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. O sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spapé.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor entender as diferenças individuais ", diz Spapé.

Referência: Spape M, Davis K., Kangassalo L, et al. Interface cérebro-computador para gerar imagens pessoalmente atraentes. IEEE Trans. Afeto. Comput. doi: 10.1109 / TAFFC.2021.3059043.

Este artigo foi republicado a partir dos seguintes materiais. Nota: o material pode ter sido editado em tamanho e conteúdo. Para maiores informações, entre em contato com a fonte citada.


Resumo: Merry GAN-mas: Introdução ao NVIDIA StyleGAN2 ADA

Redes Neurais Adversariais Generativas (GANs) são um tipo de rede neural que pode gerar imagens "falsas" aleatórias com base em um conjunto de treinamento de imagens reais. Os GANs foram apresentados por Ian Goodfellow em seu artigo de 2014. GANs treinados para produzir rostos humanos têm recebido muita atenção da mídia desde o lançamento do NVIDIA StyleGAN em 2018. Sites como Which Face is Real e This Person Does Not Exist demonstram os incríveis recursos do NVIDIA StyleGAN. Neste artigo, explorarei a tecnologia GAN mais recente, NVIDIA StyleGAN2, e demonstrarei como treiná-la para produzir imagens de férias.

O primeiro passo é obter um conjunto de imagens para treinar o GAN. Eu criei um utilitário Python chamado pyimgdata que você pode usar para baixar imagens do Flickr e realizar outro pré-processamento. O Flickr é um ótimo lugar para obter imagens e é usado por muitos autores de artigos do GAN, como a NVIDIA. O Flickr é benéfico porque tem uma API para obter imagens e contém informações de licença para cada upload. Ao construir um conjunto de dados de imagens, geralmente é aconselhável usar apenas imagens publicadas por seus autores com uma licença permissiva.

Meu utilitário de download do Flickr usa um arquivo de configuração, como o seguinte:

Este script baixa os resultados da pesquisa especificada no caminho especificado. Os nomes dos arquivos terão o prefixo especificado. Especifico todas as licenças porque não pretendo publicar esta lista de imagens. Na verdade, isso traz à tona uma questão em aberto na lei de direitos autorais. Se uma rede neural aprende com os direitos autorais e produz um novo trabalho, a IA está vinculada aos direitos autorais originais? Da mesma forma, um músico humano que ouve música protegida por direitos autorais está em dívida com o proprietário dos direitos autorais pela inspiração que a música teve no cérebro do músico? Para fins de direitos autorais, considero meu GAN e suas imagens um trabalho derivado.


Uma rede neural aprende quando não é confiável

Cada vez mais, os sistemas de inteligência artificial conhecidos como redes neurais de aprendizado profundo são usados ​​para informar decisões vitais para a saúde e segurança humana, como na direção autônoma ou no diagnóstico médico. Essas redes são boas no reconhecimento de padrões em conjuntos de dados grandes e complexos para auxiliar na tomada de decisões. Mas como sabemos que eles estão corretos? Alexander Amini e seus colegas do MIT e da Universidade de Harvard queriam descobrir.

Eles desenvolveram uma maneira rápida de uma rede neural processar dados e gerar não apenas uma previsão, mas também o nível de confiança do modelo com base na qualidade dos dados disponíveis. O avanço pode salvar vidas, pois o aprendizado profundo já está sendo implantado no mundo real hoje. O nível de certeza de uma rede pode ser a diferença entre um veículo autônomo determinar que "está tudo claro para prosseguir através da interseção" e "provavelmente está livre, então pare por precaução".

Os métodos atuais de estimativa de incerteza para redes neurais tendem a ser computacionalmente caros e relativamente lentos para decisões em frações de segundo. Mas a abordagem de Amini, apelidada de "regressão de evidências profundas", acelera o processo e pode levar a resultados mais seguros. "Precisamos da capacidade não apenas de ter modelos de alto desempenho, mas também de entender quando não podemos confiar nesses modelos", diz Amini, estudante de doutorado no grupo da professora Daniela Rus no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) .

"Esta ideia é importante e amplamente aplicável. Ela pode ser usada para avaliar produtos que dependem de modelos aprendidos. Ao estimar a incerteza de um modelo aprendido, também aprendemos quanto erro esperar do modelo e quais dados ausentes podem melhorar o modelo ", diz Rus.

Amini apresentará a pesquisa na conferência NeurIPS do próximo mês, junto com Rus, que é o professor Andrew e Erna Viterbi de Engenharia Elétrica e Ciência da Computação, diretor do CSAIL e vice-reitor de pesquisa do MIT Stephen A. Schwarzman College of Computing e alunos de graduação Wilko Schwarting do MIT e Ava Soleimany do MIT e Harvard.

Incerteza eficiente

Depois de uma história de altos e baixos, o aprendizado profundo demonstrou desempenho notável em uma variedade de tarefas, em alguns casos até superando a precisão humana. E hoje em dia, o aprendizado profundo parece ir aonde os computadores vão. Ele alimenta os resultados do mecanismo de pesquisa, feeds de mídia social e reconhecimento facial. “Tivemos um grande sucesso com o aprendizado profundo”, diz Amini. "As redes neurais são realmente boas em saber a resposta certa 99% das vezes." Mas 99 por cento não vai funcionar quando há vidas em risco.

“Uma coisa que tem iludido os pesquisadores é a capacidade desses modelos de saber e nos dizer quando podem estar errados”, diz Amini. "Nós realmente nos preocupamos com aquele 1 por cento do tempo e como podemos detectar essas situações de maneira confiável e eficiente."

As redes neurais podem ser enormes, às vezes cheias de bilhões de parâmetros. Portanto, pode ser um grande levantamento computacional apenas para obter uma resposta, quanto mais um nível de confiança. A análise de incerteza em redes neurais não é nova. Mas as abordagens anteriores, decorrentes do aprendizado profundo bayesiano, confiaram na execução, ou amostragem, de uma rede neural muitas vezes para compreender sua confiança. Esse processo exige tempo e memória, um luxo que pode não existir no tráfego de alta velocidade.

Os pesquisadores desenvolveram uma maneira de estimar a incerteza de apenas uma única execução da rede neural. Eles projetaram a rede com uma produção agregada, produzindo não apenas uma decisão, mas também uma nova distribuição probabilística capturando as evidências em apoio a essa decisão.Essas distribuições, chamadas de distribuições evidenciais, capturam diretamente a confiança do modelo em sua previsão. Isso inclui qualquer incerteza presente nos dados de entrada subjacentes, bem como na decisão final do modelo. Essa distinção pode indicar se a incerteza pode ser reduzida ajustando-se a própria rede neural ou se os dados de entrada são apenas ruidosos.

Verificação de confiança

Para testar sua abordagem, os pesquisadores começaram com uma tarefa desafiadora de visão computacional. Eles treinaram sua rede neural para analisar uma imagem monocular colorida e estimar um valor de profundidade (ou seja, distância da lente da câmera) para cada pixel. Um veículo autônomo pode usar cálculos semelhantes para estimar sua proximidade de um pedestre ou de outro veículo, o que não é uma tarefa simples.

O desempenho de sua rede estava no mesmo nível dos modelos anteriores de última geração, mas também ganhou a capacidade de estimar sua própria incerteza. Como os pesquisadores esperavam, a rede projetou alta incerteza para pixels onde previu a profundidade errada. “Foi muito calibrado para os erros que a rede comete, o que acreditamos ser uma das coisas mais importantes para julgar a qualidade de um novo estimador de incerteza”, diz Amini.

Para testar sua calibração, a equipe também mostrou que a rede projetou maior incerteza para dados "fora de distribuição" - tipos de imagens completamente novos nunca encontrados durante o treinamento. Depois de treinarem a rede em cenas domésticas internas, eles a alimentaram com uma série de cenas de direção ao ar livre. A rede alertou consistentemente que suas respostas às novas cenas ao ar livre eram incertas. O teste destacou a capacidade da rede de sinalizar quando os usuários não devem confiar totalmente em suas decisões. Nestes casos, “se se trata de um pedido de assistência à saúde, talvez não confiemos no diagnóstico que a modelo está a dar e procuremos uma segunda opinião”, afirma Amini.

A rede até sabia quando as fotos foram alteradas, potencialmente protegendo contra ataques de manipulação de dados. Em outro teste, os pesquisadores aumentaram os níveis de ruído adversário em um lote de imagens que enviaram para a rede. O efeito foi sutil - quase imperceptível ao olho humano - mas a rede farejou essas imagens, marcando sua saída com altos níveis de incerteza. Essa capacidade de soar o alarme em dados falsificados pode ajudar a detectar e deter ataques adversários, uma preocupação crescente na era dos deepfakes.

A regressão evidencial profunda é "uma abordagem simples e elegante que avança no campo da estimativa de incerteza, que é importante para a robótica e outros sistemas de controle do mundo real", disse Raia Hadsell, pesquisadora de inteligência artificial da DeepMind que não estava envolvida no trabalho. "Isso é feito de uma maneira inovadora que evita alguns dos aspectos complicados de outras abordagens - por exemplo, amostragem ou conjuntos - o que torna não apenas elegante, mas também computacionalmente mais eficiente - uma combinação vencedora."

A regressão de evidências profundas pode aumentar a segurança na tomada de decisão auxiliada por IA. "Estamos começando a ver muito mais desses modelos [de rede neural] saindo do laboratório de pesquisa para o mundo real, em situações que afetam humanos com consequências potencialmente fatais", disse Amini. "Qualquer usuário do método, seja um médico ou uma pessoa no banco do passageiro de um veículo, precisa estar ciente de qualquer risco ou incerteza associada a essa decisão." Ele prevê o sistema não apenas sinalizando incerteza rapidamente, mas também usando-o para tomar decisões mais conservadoras em cenários arriscados, como um veículo autônomo se aproximando de um cruzamento.

“Qualquer campo que vai ter aprendizado de máquina implantável, em última análise, precisa ter consciência de incerteza confiável”, diz ele.

Este trabalho foi apoiado, em parte, pela National Science Foundation e Toyota Research Institute por meio do Toyota-CSAIL Joint Research Center.


A beleza está no cérebro: a IA lê dados do cérebro, gera imagens pessoalmente atraentes

Um computador criou imagens faciais que apelaram às preferências individuais. Crédito: Grupo de pesquisa de computação cognitiva

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos que foram personalizados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser usados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação potencial de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associados a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo ou alguém bonito: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spapé do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro no Transações IEEE em computação afetiva Diário.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens ", Explica Spapé.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente Uma nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. O sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spapé.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor entender as diferenças individuais ", diz Spapé.


Conteúdo

o generativo rede gera candidatos enquanto o discriminativo a rede os avalia. [1] O concurso opera em termos de distribuição de dados. Normalmente, a rede generativa aprende a mapear de um espaço latente para uma distribuição de dados de interesse, enquanto a rede discriminativa distingue os candidatos produzidos pelo gerador da distribuição de dados verdadeira. O objetivo de treinamento da rede geradora é aumentar a taxa de erro da rede discriminativa (ou seja, "enganar" a rede discriminadora, produzindo novos candidatos que o discriminador pensa que não foram sintetizados (são parte da distribuição de dados verdadeira)). [1] [6]

Um conjunto de dados conhecido serve como dados de treinamento inicial para o discriminador. O treinamento envolve a apresentação de amostras do conjunto de dados de treinamento, até que atinja uma precisão aceitável. O gerador treina com base no sucesso em enganar o discriminador. Normalmente, o gerador é semeado com entrada aleatória que é amostrada a partir de um espaço latente predefinido (por exemplo, uma distribuição normal multivariada). Depois disso, os candidatos sintetizados pelo gerador são avaliados pelo discriminador. Procedimentos de retropropagação independentes são aplicados a ambas as redes para que o gerador produza melhores amostras, enquanto o discriminador se torna mais hábil em sinalizar amostras sintéticas. [7] Quando usado para geração de imagem, o gerador é tipicamente uma rede neural deconvolucional, e o discriminador é uma rede neural convolucional.

As GANs geralmente sofrem de um "colapso de modo", em que não conseguem generalizar adequadamente, perdendo modos inteiros dos dados de entrada. Por exemplo, um GAN treinado no conjunto de dados MNIST contendo muitas amostras de cada dígito pode, no entanto, omitir timidamente um subconjunto dos dígitos de sua saída. Alguns pesquisadores percebem que a raiz do problema é uma rede discriminativa fraca que não consegue perceber o padrão de omissão, enquanto outros atribuem a culpa a uma má escolha da função objetivo. Muitas soluções foram propostas. [8]

GANs são modelos gerativos implícitos, [9] o que significa que eles não modelam explicitamente a função de verossimilhança nem fornecem meios para encontrar a variável latente correspondente a uma dada amostra, ao contrário de alternativas como o modelo generativo baseado em fluxo.

Os aplicativos GAN aumentaram rapidamente. [10]

Edição de moda, arte e publicidade

GANs podem ser usados ​​para gerar arte The Verge escreveu em março de 2019 que "as imagens criadas por GANs tornaram-se a aparência definidora da arte contemporânea de IA". [11] Os GANs também podem ser usados ​​para pintar fotografias [12] ou criar fotos de modelos de moda imaginários, sem a necessidade de contratar uma modelo, fotógrafo ou maquiador, ou pagar um estúdio e transporte. [13]

Science Edit

GANs podem melhorar imagens astronômicas [14] e simular lentes gravitacionais para pesquisas de matéria escura. [15] [16] [17] Eles foram usados ​​em 2019 para modelar com sucesso a distribuição da matéria escura em uma direção particular no espaço e para prever as lentes gravitacionais que ocorrerão. [18] [19]

Os GANs foram propostos como uma forma rápida e precisa de modelar a formação de jatos de alta energia [20] e modelar chuveiros por meio de calorímetros de experimentos de física de alta energia. [21] [22] [23] [24] GANs também foram treinados para aproximar com precisão os gargalos em simulações computacionalmente caras de experimentos de física de partículas. Aplicações no contexto dos experimentos atuais e propostos do CERN demonstraram o potencial desses métodos para acelerar a simulação e / ou melhorar a fidelidade da simulação. [25] [26]

Edição de videogames

Em 2018, os GANs alcançaram a comunidade de modding de videogame, como um método de redimensionar texturas 2D de baixa resolução em videogames antigos, recriando-as em resoluções 4k ou mais altas por meio de treinamento de imagem e, em seguida, reduzi-las para caber no jogo nativo resolução (com resultados semelhantes ao método de superamostragem de suavização de serrilhado). [27] Com o treinamento adequado, os GANs fornecem magnitudes de imagem de textura 2D mais claras e nítidas com qualidade superior à do original, enquanto mantêm totalmente o nível de detalhes, cores, etc. do original. Exemplos conhecidos de uso extensivo de GAN incluem Final Fantasy VIII, Final Fantasy IX, Resident Evil REmake HD Remaster, e Max Payne. [ citação necessária ]

Preocupações com aplicativos maliciosos Editar

Foram levantadas preocupações sobre o uso potencial de síntese de imagem humana baseada em GAN para fins sinistros, por exemplo, para produzir fotos e vídeos falsos, possivelmente incriminadores. [28] Os GANs podem ser usados ​​para gerar fotos de perfil realistas e exclusivas de pessoas que não existem, a fim de automatizar a criação de perfis de mídia social falsos. [29]

Em 2019, o estado da Califórnia considerou [30] e aprovou em 3 de outubro de 2019 o projeto de lei AB-602, que proíbe o uso de tecnologias de síntese de imagem humana para fazer pornografia falsa sem o consentimento das pessoas retratadas, e o projeto de lei AB-730, que proíbe a distribuição de vídeos manipulados de um candidato político dentro de 60 dias de uma eleição. Ambos os projetos foram de autoria do membro da Assembleia Marc Berman e assinados pelo governador Gavin Newsom. As leis entrarão em vigor em 2020. [31]

O programa Media Forensics da DARPA estuda maneiras de neutralizar mídia falsa, incluindo mídia falsa produzida usando GANs. [32]

Transferência de aprendizagem Editar

A pesquisa de aprendizagem de transferência de última geração usa GANs para impor o alinhamento do espaço de recursos latentes, como no aprendizado por reforço profundo. [33] Isso funciona alimentando os embeddings da tarefa de origem e destino para o discriminador que tenta adivinhar o contexto. A perda resultante é então (inversamente) retropropogada através do codificador.

Aplicativos diversos Editar

O GAN pode ser usado para detectar imagens glaucomatosas auxiliando no diagnóstico precoce, que é essencial para evitar a perda parcial ou total da visão. [34]

Os GANs que produzem imagens fotorrealísticas podem ser usados ​​para visualizar design de interiores, design industrial, sapatos, [35] bolsas e itens de vestuário ou itens para cenas de jogos de computador. [ citação necessária ] Essas redes foram relatadas como sendo usadas pelo Facebook. [36]

Os GANs podem reconstruir modelos 3D de objetos a partir de imagens, [37] e modelos de padrões de movimento em vídeo. [38]

GANs podem ser usados ​​para envelhecer fotos de rosto para mostrar como a aparência de um indivíduo pode mudar com a idade. [39]

Os GANs também podem ser usados ​​para transferir estilos de mapa na cartografia [40] ou aumentar as imagens do Street View. [41]

O feedback de relevância sobre GANs pode ser usado para gerar imagens e substituir os sistemas de pesquisa de imagens. [42]

Uma variação dos GANs é usada no treinamento de uma rede para gerar entradas de controle ideais para sistemas dinâmicos não lineares. Onde a rede discriminatória é conhecida como uma crítica que verifica a otimalidade da solução e a rede generativa é conhecida como uma rede adaptativa que gera o controle ótimo. A rede crítica e a rede adaptativa treinam uma à outra para aproximar um controle ótimo não linear. [43]

Os GANs têm sido usados ​​para visualizar o efeito que a mudança climática terá em casas específicas. [44]

Um modelo GAN chamado Speech2Face pode reconstruir uma imagem do rosto de uma pessoa depois de ouvir sua voz. [45]

Em 2016, os GANs foram usados ​​para gerar novas moléculas para uma variedade de alvos proteicos implicados no câncer, inflamação e fibrose. Em 2019, moléculas geradas por GAN foram validadas experimentalmente em camundongos. [46] [47]

Considerando que a maioria dos aplicativos GAN está no processamento de imagens, o trabalho também foi feito com dados de séries temporais. Por exemplo, GANs recorrentes (R-GANs) têm sido usados ​​para gerar dados de energia para aprendizado de máquina. [48]

A inspiração mais direta para GANs foi a estimativa de ruído contrastivo, [49] que usa a mesma função de perda dos GANs e que Goodfellow estudou durante seu doutorado em 2010-2014.

Outras pessoas tiveram ideias semelhantes, mas não as desenvolveram da mesma forma. Uma ideia envolvendo redes adversárias foi publicada em uma postagem de blog de Olli Niemitalo em 2010. [50] Esta ideia nunca foi implementada e não envolveu estocasticidade no gerador e, portanto, não era um modelo generativo. Agora é conhecido como GAN condicional ou cGAN. [51] Uma ideia semelhante aos GANs foi usada para modelar o comportamento animal por Li, Gauci e Gross em 2013. [52]

O aprendizado de máquina adversário tem outros usos além da modelagem generativa e pode ser aplicado a modelos diferentes de redes neurais. Na teoria de controle, o aprendizado adversarial baseado em redes neurais foi usado em 2006 para treinar controladores robustos no sentido teórico do jogo, alternando as iterações entre uma política de minimizador, o controlador, e uma política de maximizador, a perturbação. [53] [54]

Em 2017, um GAN foi usado para aprimoramento de imagem com foco em texturas realistas em vez de precisão de pixel, produzindo uma qualidade de imagem superior em alta ampliação. [55] Em 2017, as primeiras faces foram geradas. [56] Estes foram exibidos em fevereiro de 2018 no Grand Palais. [57] [58] Faces geradas por StyleGAN [59] em 2019 fizeram comparações com deepfakes. [60] [61] [62]

A partir de 2017, a tecnologia GAN começou a fazer sentir a sua presença na arena das artes plásticas com o aparecimento de uma implementação recém-desenvolvida que teria ultrapassado o limiar de ser capaz de gerar pinturas abstratas únicas e apelativas e, por isso, apelidado de "CAN ", para" rede adversária criativa ". [63] Um sistema GAN foi usado para criar a pintura de 2018 Edmond de Belamy, que foi vendido por US $ 432.500. [64] Um artigo do início de 2019 por membros da equipe CAN original discutiu o progresso adicional com esse sistema e deu consideração também às perspectivas gerais para uma arte habilitada para IA. [65]

Em maio de 2019, pesquisadores da Samsung demonstraram um sistema baseado em GAN que produz vídeos de uma pessoa falando, recebendo apenas uma foto dessa pessoa. [66]

Em agosto de 2019, um grande conjunto de dados consistindo de 12.197 músicas MIDI, cada uma com letras emparelhadas e alinhamento de melodia, foi criado para geração de melodia neural a partir de letras usando GAN-LSTM condicional (consulte as fontes em GitHub AI Melody Generation from Lyrics). [67]

Em maio de 2020, os pesquisadores da Nvidia ensinaram um sistema de IA (denominado "GameGAN") para recriar o jogo de Pac-Man simplesmente assistindo ao jogo. [68] [69]

Edição de GAN bidirecional

Enquanto o modelo GAN padrão aprende um mapeamento de um espaço latente para a distribuição de dados, modelos inversos como Bidirecional GAN ​​(BiGAN) [70] e Adversarial Autoencoders [71] também aprendem um mapeamento de dados para o espaço latente.Este mapeamento inverso permite que exemplos de dados reais ou gerados sejam projetados de volta para o espaço latente, semelhante ao codificador de um autoencoder variacional. Aplicações de modelos bidirecionais incluem aprendizado semi-supervisionado, [72] aprendizado de máquina interpretável [73] e tradução automática neural. [74]


Nesta postagem, você descobriu uma introdução gentil às Redes Adversariais Generativas, ou GANs.

  • Contexto para GANs, incluindo aprendizagem supervisionada vs. não supervisionada e modelagem discriminativa vs. generativa.
  • GANs são uma arquitetura para treinar automaticamente um modelo generativo, tratando o problema não supervisionado como supervisionado e usando um modelo generativo e discriminativo.
  • Os GANs fornecem um caminho para o aumento sofisticado de dados específicos de domínio e uma solução para problemas que requerem uma solução generativa, como a tradução de imagem para imagem.

Você tem alguma pergunta?
Tire suas dúvidas nos comentários abaixo e farei o possível para responder.


A beleza está no cérebro: a IA lê dados do cérebro, gera imagens pessoalmente atraentes

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos por conta própria, que foram adaptados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser utilizados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associados a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo ou alguém bonito: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spap & eacute do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro no Transações IEEE em computação afetiva Diário.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens , "Spap & eacute explica.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. Ter sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spap & eacute.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor compreender as diferenças individuais ", diz Spap & eacute.


Uma rede neural aprende quando não é confiável

Cada vez mais, os sistemas de inteligência artificial conhecidos como redes neurais de aprendizado profundo são usados ​​para informar decisões vitais para a saúde e segurança humana, como na direção autônoma ou no diagnóstico médico. Essas redes são boas no reconhecimento de padrões em conjuntos de dados grandes e complexos para auxiliar na tomada de decisões. Mas como sabemos que eles estão corretos? Alexander Amini e seus colegas do MIT e da Universidade de Harvard queriam descobrir.

Eles desenvolveram uma maneira rápida de uma rede neural processar dados e gerar não apenas uma previsão, mas também o nível de confiança do modelo com base na qualidade dos dados disponíveis. O avanço pode salvar vidas, pois o aprendizado profundo já está sendo implantado no mundo real hoje. O nível de certeza de uma rede pode ser a diferença entre um veículo autônomo determinar que "está tudo claro para prosseguir através da interseção" e "provavelmente está livre, então pare por precaução".

Os métodos atuais de estimativa de incerteza para redes neurais tendem a ser computacionalmente caros e relativamente lentos para decisões em frações de segundo. Mas a abordagem de Amini, apelidada de "regressão de evidências profundas", acelera o processo e pode levar a resultados mais seguros. "Precisamos da capacidade não apenas de ter modelos de alto desempenho, mas também de entender quando não podemos confiar nesses modelos", diz Amini, estudante de doutorado no grupo da professora Daniela Rus no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) .

"Esta ideia é importante e amplamente aplicável. Ela pode ser usada para avaliar produtos que dependem de modelos aprendidos. Ao estimar a incerteza de um modelo aprendido, também aprendemos quanto erro esperar do modelo e quais dados ausentes podem melhorar o modelo ", diz Rus.

Amini apresentará a pesquisa na conferência NeurIPS do próximo mês, junto com Rus, que é o professor Andrew e Erna Viterbi de Engenharia Elétrica e Ciência da Computação, diretor do CSAIL e vice-reitor de pesquisa do MIT Stephen A. Schwarzman College of Computing e alunos de graduação Wilko Schwarting do MIT e Ava Soleimany do MIT e Harvard.

Incerteza eficiente

Depois de uma história de altos e baixos, o aprendizado profundo demonstrou desempenho notável em uma variedade de tarefas, em alguns casos até superando a precisão humana. E hoje em dia, o aprendizado profundo parece ir aonde os computadores vão. Ele alimenta os resultados do mecanismo de pesquisa, feeds de mídia social e reconhecimento facial. “Tivemos um grande sucesso com o aprendizado profundo”, diz Amini. "As redes neurais são realmente boas em saber a resposta certa 99% das vezes." Mas 99 por cento não vai funcionar quando há vidas em risco.

“Uma coisa que tem iludido os pesquisadores é a capacidade desses modelos de saber e nos dizer quando podem estar errados”, diz Amini. "Nós realmente nos preocupamos com aquele 1 por cento do tempo e como podemos detectar essas situações de maneira confiável e eficiente."

As redes neurais podem ser enormes, às vezes cheias de bilhões de parâmetros. Portanto, pode ser um grande levantamento computacional apenas para obter uma resposta, quanto mais um nível de confiança. A análise de incerteza em redes neurais não é nova. Mas as abordagens anteriores, decorrentes do aprendizado profundo bayesiano, confiaram na execução, ou amostragem, de uma rede neural muitas vezes para compreender sua confiança. Esse processo exige tempo e memória, um luxo que pode não existir no tráfego de alta velocidade.

Os pesquisadores desenvolveram uma maneira de estimar a incerteza de apenas uma única execução da rede neural. Eles projetaram a rede com uma produção agregada, produzindo não apenas uma decisão, mas também uma nova distribuição probabilística capturando as evidências em apoio a essa decisão. Essas distribuições, chamadas de distribuições evidenciais, capturam diretamente a confiança do modelo em sua previsão. Isso inclui qualquer incerteza presente nos dados de entrada subjacentes, bem como na decisão final do modelo. Essa distinção pode indicar se a incerteza pode ser reduzida ajustando-se a própria rede neural ou se os dados de entrada são apenas ruidosos.

Verificação de confiança

Para testar sua abordagem, os pesquisadores começaram com uma tarefa desafiadora de visão computacional. Eles treinaram sua rede neural para analisar uma imagem monocular colorida e estimar um valor de profundidade (ou seja, distância da lente da câmera) para cada pixel. Um veículo autônomo pode usar cálculos semelhantes para estimar sua proximidade de um pedestre ou de outro veículo, o que não é uma tarefa simples.

O desempenho de sua rede estava no mesmo nível dos modelos anteriores de última geração, mas também ganhou a capacidade de estimar sua própria incerteza. Como os pesquisadores esperavam, a rede projetou alta incerteza para pixels onde previu a profundidade errada. “Foi muito calibrado para os erros que a rede comete, o que acreditamos ser uma das coisas mais importantes para julgar a qualidade de um novo estimador de incerteza”, diz Amini.

Para testar sua calibração, a equipe também mostrou que a rede projetou maior incerteza para dados "fora de distribuição" - tipos de imagens completamente novos nunca encontrados durante o treinamento. Depois de treinarem a rede em cenas domésticas internas, eles a alimentaram com uma série de cenas de direção ao ar livre. A rede alertou consistentemente que suas respostas às novas cenas ao ar livre eram incertas. O teste destacou a capacidade da rede de sinalizar quando os usuários não devem confiar totalmente em suas decisões. Nestes casos, “se se trata de um pedido de assistência à saúde, talvez não confiemos no diagnóstico que a modelo está a dar e procuremos uma segunda opinião”, afirma Amini.

A rede até sabia quando as fotos foram alteradas, potencialmente protegendo contra ataques de manipulação de dados. Em outro teste, os pesquisadores aumentaram os níveis de ruído adversário em um lote de imagens que enviaram para a rede. O efeito foi sutil - quase imperceptível ao olho humano - mas a rede farejou essas imagens, marcando sua saída com altos níveis de incerteza. Essa capacidade de soar o alarme em dados falsificados pode ajudar a detectar e deter ataques adversários, uma preocupação crescente na era dos deepfakes.

A regressão evidencial profunda é "uma abordagem simples e elegante que avança no campo da estimativa de incerteza, que é importante para a robótica e outros sistemas de controle do mundo real", disse Raia Hadsell, pesquisadora de inteligência artificial da DeepMind que não estava envolvida no trabalho. "Isso é feito de uma maneira inovadora que evita alguns dos aspectos complicados de outras abordagens - por exemplo, amostragem ou conjuntos - o que torna não apenas elegante, mas também computacionalmente mais eficiente - uma combinação vencedora."

A regressão de evidências profundas pode aumentar a segurança na tomada de decisão auxiliada por IA. "Estamos começando a ver muito mais desses modelos [de rede neural] saindo do laboratório de pesquisa para o mundo real, em situações que afetam humanos com consequências potencialmente fatais", disse Amini. "Qualquer usuário do método, seja um médico ou uma pessoa no banco do passageiro de um veículo, precisa estar ciente de qualquer risco ou incerteza associada a essa decisão." Ele prevê o sistema não apenas sinalizando incerteza rapidamente, mas também usando-o para tomar decisões mais conservadoras em cenários arriscados, como um veículo autônomo se aproximando de um cruzamento.

“Qualquer campo que vai ter aprendizado de máquina implantável, em última análise, precisa ter consciência de incerteza confiável”, diz ele.

Este trabalho foi apoiado, em parte, pela National Science Foundation e Toyota Research Institute por meio do Toyota-CSAIL Joint Research Center.


Nesta postagem, você descobriu uma introdução gentil às Redes Adversariais Generativas, ou GANs.

  • Contexto para GANs, incluindo aprendizagem supervisionada vs. não supervisionada e modelagem discriminativa vs. generativa.
  • GANs são uma arquitetura para treinar automaticamente um modelo generativo, tratando o problema não supervisionado como supervisionado e usando um modelo generativo e discriminativo.
  • Os GANs fornecem um caminho para o aumento sofisticado de dados específicos do domínio e uma solução para problemas que exigem uma solução generativa, como a tradução de imagem para imagem.

Você tem alguma pergunta?
Tire suas dúvidas nos comentários abaixo e farei o possível para responder.


AI Interpret Brain Data produz imagens pessoalmente atraentes

Os desenvolvedores conseguiram criar uma IA para ler nossos pensamentos subjetivos sobre o que torna a aparência atraente. Esse sistema ilustrou esse conhecimento por sua capacidade de produzir novas imagens que fossem consideradas atraentes para as pessoas. Os resultados podem ser usados, por exemplo, na tomada de decisões, modelagem de preferências e reconhecimento de atitudes inconscientes.

Desenvolvedores da Universidade de Copenhague e da Universidade de Helsinque examinaram se um computador seria competente para reconhecer a expressão facial que consideramos atraente e, com base nisso, formar novas imagens que atendam aos nossos padrões. Os desenvolvedores & # 8217 usaram IA para avaliar os sinais do cérebro e fundiram a interface cérebro-computador resultante com um modelo gerador de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelavam para decisões individuais.

& # 8220Anteriormente, desenvolvemos modelos que podiam reconhecer e regular as características da imagem, como o tom do cabelo. Porém, as pessoas concordam principalmente sobre quem é loiro e quem ri. A atratividade é um assunto difícil de pesquisa, pois está associada a fatores sociais e emocionais que provavelmente desempenham papéis inconscientes em nossas escolhas individuais. Na verdade, achamos desafiador descrever o que torna algo, ou alguém, belo: a beleza está nos olhos de quem vê, & # 8221 diz o docente Michiel Spapé, departamento de psicologia e logopedia da Universidade de Helsinque.

Um computador criou imagens faciais que apelaram às preferências individuais. Crédito: COGNITIVE COMPUTING -TUTKIMUSRYHMÄ

Escolhas reveladas pelo cérebro

No início, os desenvolvedores forneceram GAN (rede neural adversarial geradora): É a tarefa de produzir centenas de imagens artificiais. Trinta voluntários viram as fotos, uma por uma. Em seguida, eles foram solicitados a prestar atenção nos rostos nas imagens que considerassem atraentes. Enquanto a eletroencefalografia (EEG) é usada para coletar suas respostas cerebrais.

& # 8220Funcionou de forma semelhante ao aplicativo de namoro Tinder: os voluntários & # 8216 deslizou para a direita & # 8217 quando cruzaram com um rosto atraente. Aqui, os voluntários não precisaram fazer nada além de olhar para as imagens e deslizar para a esquerda ou direita. Marcamos sua reação cerebral instantânea às imagens, & # 8221 Spapé explica.

Os desenvolvedores examinaram os resultados de EEG com métodos de aprendizado de máquina, combinando resultados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

& # 8220A interface cérebro-computador pode ler os usuários & # 8217 pontos de vista sobre a atratividade de uma série de imagens. Ao compreender seus pontos de vista, o sistema de IA interpreta as respostas do cérebro. A rede neural generativa que ilustra as imagens de rosto pode, em conjunto, compor uma imagem de rosto inteiramente nova, combinando-se com o que uma pessoa em particular acha atraente & # 8221, diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para examinar a eficácia de sua modelagem, os desenvolvedores produziram novas fotos para cada voluntário, prevendo que eles os achariam individualmente atraentes. Fazendo experiências com eles de uma maneira duplo-cega contra controles combinados, eles descobriram que as novas imagens se assemelhavam às escolhas dos sujeitos com uma precisão de mais de 80%.

& # 8220A pesquisa mostra que podemos gerar imagens que correspondem à escolha pessoal, combinando uma rede neural artificial com respostas cerebrais. Ter sucesso na avaliação da atratividade é muito importante, pois essa é uma parte comovente e emocional dos estímulos. O conceito de computador tem tido bastante sucesso na classificação de imagens com base em modelos objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é concebível reconhecer e criar imagens com base em características subjetivas, como gosto pessoal, & # 8221 Spapé explica.

Eventualmente, a pesquisa pode servir à sociedade, melhorando o potencial dos computadores para aprender e frequentemente entender as preferências individuais, pela interação entre soluções de IA e interfaces cérebro-computador.


4 resultados

4.1 Configuração do experimento

Nesta seção, avaliamos o calibrador de perturbação benigna proposto com base no conjunto de dados CIFAR10, usando MobileNet howard2017mobilenets, VGG16 simonyan2014very e ResNet18 he2016deep

modelos (também chamados de modelos principais). Nossa implementação é baseada no PyTorch e usamos 4 funções diferentes de aumento de dados no PyTorch para definir a chamada configuração de cenário A / B. Em primeiro lugar, assumimos que os dados de treinamento e os dados de teste do CIFAR10 são distribuídos de forma idêntica e independente. Referimos os dados que são transformados por meio de redimensionamento de corte aleatório e inversão horizontal aleatória como cenário A, e referimos dados que são transformados por meio de rotação aleatória e jittering de cor aleatório como cenário B. Para comparação posterior, também derivamos B1 e B2 como cenário B sob aumento força das transformações de dados. Para o cenário B1, a rotação máxima é 15, a mudança máxima de brilho é 0,8, a mudança máxima de contraste é 0,8, a mudança máxima de saturação é 0,8. E para o cenário B2, a rotação máxima é 20, a mudança máxima de brilho é 2, a mudança máxima de contraste é 2 e a mudança máxima de saturação é 2. Para o cenário A, usamos apenas as configurações padrão de PyTorch. Todos os modelos principais são treinados no cenário A em dados de treinamento e testados no cenário B1 / B2 em dados de teste.Os calibradores são treinados no cenário B1 / B2 em dados de treinamento e usados ​​para dar suporte aos modelos principais no cenário B1 / B2 em dados de teste. A espinha dorsal do modelo generativo consiste em 3 camadas convolucionais de amostragem inferior, seguidas por um número de blocos residuais e 3 camadas convolucionais de amostragem ascendente. Os tamanhos dos calibradores são escolhidos para ser um décimo dos modelos principais. Para controlar o tamanho do calibrador, variamos o número de canais dentro dos blocos residuais e o número de blocos residuais. Por exemplo, para ter um calibrador que tem um décimo parâmetro do tamanho do MobileNet, usamos 2 blocos residuais com 18 canais. O solucionador escolhido para treinar modelos principais e calibradores é o ADAM

. O treinamento para calibradores leva 200 épocas e a taxa de aprendizado inicial é definida como 0,0002 antes de 50 épocas, 0,0001 em 50-100 épocas, 0,00005 em 100-150 épocas e 0,00002 em 150-200 épocas. Durante o treinamento dos calibradores, os modelos principais são usados ​​apenas para feed-forward.

4.2 Melhoria da robustez trazida pelo método de exemplos adversos reversos

Resultados em modelos não compactados: A Tabela 2 mostra o aumento da robustez trazido pelo método proposto. Na Tabela 2, a Coluna 3 lista a precisão do teste dos modelos em dados de teste limpos, sem qualquer aumento de dados. Quando os modelos são testados no cenário B1 e B2 nos dados de teste, a precisão dos modelos cai cerca de 20% a 40%, conforme mostrado na Coluna 4 na Tabela 2). Consideramos a rotação aleatória e o jittering aleatório de cores como fatores ambientais comuns no mundo real e esse resultado demonstra que os modelos de aprendizado profundo não têm robustez em nossas configurações. A coluna 5 mostra que, usando o calibrador proposto, podemos alcançar um aumento de precisão de 4,8% a 19,66% (Coluna 5 na Tabela 2), com apenas uma pequena sobrecarga trazida pelo calibrador (Coluna 6 e amp7 na Tabela 2).

4.3 Melhoria da robustez em modelos comprimidos

Resultados em modelos comprimidos: nesta subseção, demonstramos a eficácia do calibrador proposto em modelos comprimidos. Os pesos dos modelos principais são quantizados em 2/3 bits usando a compressão profunda han2015deep. Para garantir que a sobrecarga trazida por nossos calibradores ainda seja baixa em comparação com os modelos principais, nós os quantizamos em 8 bits sem nenhum treinamento de quantização. Observe que o treinamento dos calibradores pode naturalmente alavancar a velocidade de inferência acelerada dos modelos principais. Na comparação entre a Coluna 4 da Tabela 2 e a Coluna 3 da Tabela 3, observamos que os modelos quantizados sofrem uma queda de precisão significativamente maior no cenário B2 nos dados de teste. Consideramos este fenômeno como um indicador de que a compressão do modelo prejudica a robustez dos modelos em nossas configurações. A Tabela 3, Coluna 5, mostra que, quando implantados os calibradores, o desempenho dos modelos em B2 melhora significativamente.


Conteúdo

o generativo rede gera candidatos enquanto o discriminativo a rede os avalia. [1] O concurso opera em termos de distribuição de dados. Normalmente, a rede generativa aprende a mapear de um espaço latente para uma distribuição de dados de interesse, enquanto a rede discriminativa distingue os candidatos produzidos pelo gerador da distribuição de dados verdadeira. O objetivo de treinamento da rede geradora é aumentar a taxa de erro da rede discriminativa (ou seja, "enganar" a rede discriminadora, produzindo novos candidatos que o discriminador pensa que não foram sintetizados (são parte da distribuição de dados verdadeira)). [1] [6]

Um conjunto de dados conhecido serve como dados de treinamento inicial para o discriminador. O treinamento envolve a apresentação de amostras do conjunto de dados de treinamento, até que atinja uma precisão aceitável. O gerador treina com base no sucesso em enganar o discriminador. Normalmente, o gerador é semeado com entrada aleatória que é amostrada a partir de um espaço latente predefinido (por exemplo, uma distribuição normal multivariada). Depois disso, os candidatos sintetizados pelo gerador são avaliados pelo discriminador. Procedimentos de retropropagação independentes são aplicados a ambas as redes para que o gerador produza melhores amostras, enquanto o discriminador se torna mais hábil em sinalizar amostras sintéticas. [7] Quando usado para geração de imagem, o gerador é tipicamente uma rede neural deconvolucional, e o discriminador é uma rede neural convolucional.

As GANs geralmente sofrem de um "colapso de modo", em que não conseguem generalizar adequadamente, perdendo modos inteiros dos dados de entrada. Por exemplo, um GAN treinado no conjunto de dados MNIST contendo muitas amostras de cada dígito pode, no entanto, omitir timidamente um subconjunto dos dígitos de sua saída. Alguns pesquisadores percebem que a raiz do problema é uma rede discriminativa fraca que não consegue perceber o padrão de omissão, enquanto outros atribuem a culpa a uma má escolha da função objetivo. Muitas soluções foram propostas. [8]

GANs são modelos gerativos implícitos, [9] o que significa que eles não modelam explicitamente a função de verossimilhança nem fornecem meios para encontrar a variável latente correspondente a uma dada amostra, ao contrário de alternativas como o modelo generativo baseado em fluxo.

Os aplicativos GAN aumentaram rapidamente. [10]

Edição de moda, arte e publicidade

GANs podem ser usados ​​para gerar arte The Verge escreveu em março de 2019 que "as imagens criadas por GANs tornaram-se a aparência definidora da arte contemporânea de IA". [11] Os GANs também podem ser usados ​​para pintar fotografias [12] ou criar fotos de modelos de moda imaginários, sem a necessidade de contratar uma modelo, fotógrafo ou maquiador, ou pagar um estúdio e transporte. [13]

Science Edit

GANs podem melhorar imagens astronômicas [14] e simular lentes gravitacionais para pesquisas de matéria escura. [15] [16] [17] Eles foram usados ​​em 2019 para modelar com sucesso a distribuição da matéria escura em uma direção particular no espaço e para prever as lentes gravitacionais que ocorrerão. [18] [19]

Os GANs foram propostos como uma forma rápida e precisa de modelar a formação de jatos de alta energia [20] e modelar chuveiros por meio de calorímetros de experimentos de física de alta energia. [21] [22] [23] [24] GANs também foram treinados para aproximar com precisão os gargalos em simulações computacionalmente caras de experimentos de física de partículas. Aplicações no contexto dos experimentos atuais e propostos do CERN demonstraram o potencial desses métodos para acelerar a simulação e / ou melhorar a fidelidade da simulação. [25] [26]

Edição de videogames

Em 2018, os GANs alcançaram a comunidade de modding de videogame, como um método de redimensionar texturas 2D de baixa resolução em videogames antigos, recriando-as em resoluções 4k ou mais altas por meio de treinamento de imagem e, em seguida, reduzi-las para caber no jogo nativo resolução (com resultados semelhantes ao método de superamostragem de suavização de serrilhado). [27] Com o treinamento adequado, os GANs fornecem magnitudes de imagem de textura 2D mais claras e nítidas com qualidade superior à do original, enquanto mantêm totalmente o nível de detalhes, cores, etc. do original. Exemplos conhecidos de uso extensivo de GAN incluem Final Fantasy VIII, Final Fantasy IX, Resident Evil REmake HD Remaster, e Max Payne. [ citação necessária ]

Preocupações com aplicativos maliciosos Editar

Foram levantadas preocupações sobre o uso potencial de síntese de imagem humana baseada em GAN para fins sinistros, por exemplo, para produzir fotos e vídeos falsos, possivelmente incriminadores. [28] Os GANs podem ser usados ​​para gerar fotos de perfil realistas e exclusivas de pessoas que não existem, a fim de automatizar a criação de perfis de mídia social falsos. [29]

Em 2019, o estado da Califórnia considerou [30] e aprovou em 3 de outubro de 2019 o projeto de lei AB-602, que proíbe o uso de tecnologias de síntese de imagem humana para fazer pornografia falsa sem o consentimento das pessoas retratadas, e o projeto de lei AB-730, que proíbe a distribuição de vídeos manipulados de um candidato político dentro de 60 dias de uma eleição. Ambos os projetos foram de autoria do membro da Assembleia Marc Berman e assinados pelo governador Gavin Newsom. As leis entrarão em vigor em 2020. [31]

O programa Media Forensics da DARPA estuda maneiras de neutralizar mídia falsa, incluindo mídia falsa produzida usando GANs. [32]

Transferência de aprendizagem Editar

A pesquisa de aprendizagem de transferência de última geração usa GANs para impor o alinhamento do espaço de recursos latentes, como no aprendizado por reforço profundo. [33] Isso funciona alimentando os embeddings da tarefa de origem e destino para o discriminador que tenta adivinhar o contexto. A perda resultante é então (inversamente) retropropogada através do codificador.

Aplicativos diversos Editar

O GAN pode ser usado para detectar imagens glaucomatosas auxiliando no diagnóstico precoce, que é essencial para evitar a perda parcial ou total da visão. [34]

Os GANs que produzem imagens fotorrealísticas podem ser usados ​​para visualizar design de interiores, design industrial, sapatos, [35] bolsas e itens de vestuário ou itens para cenas de jogos de computador. [ citação necessária ] Essas redes foram relatadas como sendo usadas pelo Facebook. [36]

Os GANs podem reconstruir modelos 3D de objetos a partir de imagens, [37] e modelos de padrões de movimento em vídeo. [38]

GANs podem ser usados ​​para envelhecer fotos de rosto para mostrar como a aparência de um indivíduo pode mudar com a idade. [39]

Os GANs também podem ser usados ​​para transferir estilos de mapa na cartografia [40] ou aumentar as imagens do Street View. [41]

O feedback de relevância sobre GANs pode ser usado para gerar imagens e substituir os sistemas de pesquisa de imagens. [42]

Uma variação dos GANs é usada no treinamento de uma rede para gerar entradas de controle ideais para sistemas dinâmicos não lineares. Onde a rede discriminatória é conhecida como uma crítica que verifica a otimalidade da solução e a rede generativa é conhecida como uma rede adaptativa que gera o controle ótimo. A rede crítica e a rede adaptativa treinam uma à outra para aproximar um controle ótimo não linear. [43]

Os GANs têm sido usados ​​para visualizar o efeito que a mudança climática terá em casas específicas. [44]

Um modelo GAN chamado Speech2Face pode reconstruir uma imagem do rosto de uma pessoa depois de ouvir sua voz. [45]

Em 2016, os GANs foram usados ​​para gerar novas moléculas para uma variedade de alvos proteicos implicados no câncer, inflamação e fibrose. Em 2019, moléculas geradas por GAN foram validadas experimentalmente em camundongos. [46] [47]

Considerando que a maioria dos aplicativos GAN está no processamento de imagens, o trabalho também foi feito com dados de séries temporais. Por exemplo, GANs recorrentes (R-GANs) têm sido usados ​​para gerar dados de energia para aprendizado de máquina. [48]

A inspiração mais direta para GANs foi a estimativa de ruído contrastivo, [49] que usa a mesma função de perda dos GANs e que Goodfellow estudou durante seu doutorado em 2010-2014.

Outras pessoas tiveram ideias semelhantes, mas não as desenvolveram da mesma forma. Uma ideia envolvendo redes adversárias foi publicada em uma postagem de blog de Olli Niemitalo em 2010. [50] Esta ideia nunca foi implementada e não envolveu estocasticidade no gerador e, portanto, não era um modelo generativo. Agora é conhecido como GAN condicional ou cGAN. [51] Uma ideia semelhante aos GANs foi usada para modelar o comportamento animal por Li, Gauci e Gross em 2013. [52]

O aprendizado de máquina adversário tem outros usos além da modelagem generativa e pode ser aplicado a modelos diferentes de redes neurais. Na teoria de controle, o aprendizado adversarial baseado em redes neurais foi usado em 2006 para treinar controladores robustos no sentido teórico do jogo, alternando as iterações entre uma política de minimizador, o controlador, e uma política de maximizador, a perturbação. [53] [54]

Em 2017, um GAN foi usado para aprimoramento de imagem com foco em texturas realistas em vez de precisão de pixel, produzindo uma qualidade de imagem superior em alta ampliação. [55] Em 2017, as primeiras faces foram geradas. [56] Estes foram exibidos em fevereiro de 2018 no Grand Palais. [57] [58] Faces geradas por StyleGAN [59] em 2019 fizeram comparações com deepfakes. [60] [61] [62]

A partir de 2017, a tecnologia GAN começou a fazer sentir a sua presença na arena das artes plásticas com o aparecimento de uma implementação recém-desenvolvida que teria ultrapassado o limiar de ser capaz de gerar pinturas abstratas únicas e apelativas e, por isso, apelidado de "CAN ", para" rede adversária criativa ". [63] Um sistema GAN foi usado para criar a pintura de 2018 Edmond de Belamy, que foi vendido por US $ 432.500. [64] Um artigo do início de 2019 por membros da equipe CAN original discutiu o progresso adicional com esse sistema e deu consideração também às perspectivas gerais para uma arte habilitada para IA. [65]

Em maio de 2019, pesquisadores da Samsung demonstraram um sistema baseado em GAN que produz vídeos de uma pessoa falando, recebendo apenas uma foto dessa pessoa. [66]

Em agosto de 2019, um grande conjunto de dados consistindo de 12.197 músicas MIDI, cada uma com letras emparelhadas e alinhamento de melodia, foi criado para geração de melodia neural a partir de letras usando GAN-LSTM condicional (consulte as fontes em GitHub AI Melody Generation from Lyrics). [67]

Em maio de 2020, os pesquisadores da Nvidia ensinaram um sistema de IA (denominado "GameGAN") para recriar o jogo de Pac-Man simplesmente assistindo ao jogo. [68] [69]

Edição de GAN bidirecional

Enquanto o modelo GAN padrão aprende um mapeamento de um espaço latente para a distribuição de dados, modelos inversos como Bidirecional GAN ​​(BiGAN) [70] e Adversarial Autoencoders [71] também aprendem um mapeamento de dados para o espaço latente. Este mapeamento inverso permite que exemplos de dados reais ou gerados sejam projetados de volta para o espaço latente, semelhante ao codificador de um autoencoder variacional. Aplicações de modelos bidirecionais incluem aprendizado semi-supervisionado, [72] aprendizado de máquina interpretável [73] e tradução automática neural. [74]


A beleza está no cérebro: a IA lê dados do cérebro, gera imagens pessoalmente atraentes

Um computador criou imagens faciais que apelaram às preferências individuais. Crédito: Grupo de pesquisa de computação cognitiva

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos que foram personalizados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser usados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação potencial de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associados a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo ou alguém bonito: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spapé do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro no Transações IEEE em computação afetiva Diário.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens ", Explica Spapé.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente Uma nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. O sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spapé.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor entender as diferenças individuais ", diz Spapé.


A beleza está no cérebro: a IA lê dados do cérebro, gera imagens pessoalmente atraentes

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos por conta própria, que foram adaptados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser utilizados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais.Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associados a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo ou alguém bonito: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spap & eacute do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro no Transações IEEE em computação afetiva Diário.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens , "Spap & eacute explica.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. Ter sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spap & eacute.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor compreender as diferenças individuais ", diz Spap & eacute.


A beleza está no cérebro: IA gera imagens atraentes a partir de dados cerebrais

Os pesquisadores conseguiram fazer uma IA entender nossas noções subjetivas sobre o que torna os rostos atraentes. O dispositivo demonstrou esse conhecimento por sua capacidade de criar novos retratos por conta própria, que foram adaptados para serem considerados pessoalmente atraentes para os indivíduos. Os resultados podem ser utilizados, por exemplo, na modelagem de preferências e tomadas de decisão, bem como na identificação de atitudes inconscientes.

Pesquisadores da Universidade de Helsinque e da Universidade de Copenhague investigaram se um computador seria capaz de identificar as características faciais que consideramos atraentes e, com base nisso, criar novas imagens de acordo com nossos critérios. Os pesquisadores usaram inteligência artificial para interpretar os sinais cerebrais e combinaram a interface cérebro-computador resultante com um modelo generativo de faces artificiais. Isso permitiu que o computador criasse imagens faciais que apelassem às preferências individuais.

"Em nossos estudos anteriores, projetamos modelos que podiam identificar e controlar características simples de retratos, como cor de cabelo e emoção. No entanto, as pessoas concordam amplamente sobre quem é loiro e quem sorri. Atratividade é um assunto de estudo mais desafiador, pois é associado a fatores culturais e psicológicos que provavelmente desempenham papéis inconscientes em nossas preferências individuais. Na verdade, muitas vezes achamos muito difícil explicar o que exatamente torna algo, ou alguém, belo: a beleza está nos olhos de quem vê ", diz Pesquisador Sênior e Docente Michiel Spapé do Departamento de Psicologia e Logopedia da Universidade de Helsinque.

O estudo, que combina ciência da computação e psicologia, foi publicado em fevereiro na revista IEEE Transactions in Affective Computing.

Preferências expostas pelo cérebro

Inicialmente, os pesquisadores deram a uma rede neural adversarial generativa (GAN) a tarefa de criar centenas de retratos artificiais. As imagens foram mostradas, uma de cada vez, a 30 voluntários que foram solicitados a prestar atenção aos rostos que consideravam atraentes enquanto suas respostas cerebrais eram registradas por meio de eletroencefalografia (EEG).

"Funcionou um pouco como o aplicativo de namoro Tinder: os participantes 'deslizaram para a direita' quando se depararam com um rosto atraente. Aqui, no entanto, eles não precisaram fazer nada além de olhar para as imagens. Medimos a resposta imediata do cérebro às imagens ", Explica Spapé.

Os pesquisadores analisaram os dados de EEG com técnicas de aprendizado de máquina, conectando dados de EEG individuais por meio de uma interface cérebro-computador a uma rede neural generativa.

"Uma interface cérebro-computador como esta é capaz de interpretar as opiniões dos usuários sobre a atratividade de uma gama de imagens. Ao interpretar suas visões, o modelo de IA que interpreta as respostas do cérebro e a rede neural geradora que modela as imagens faciais podem, juntos, produzir uma imagem inteiramente nova imagem de rosto combinando o que uma pessoa em particular acha atraente ", diz o Pesquisador da Academia e Professor Associado Tuukka Ruotsalo, que chefia o projeto.

Para testar a validade de sua modelagem, os pesquisadores geraram novos retratos para cada participante, prevendo que eles os achariam pessoalmente atraentes. Testando-as em um procedimento duplo-cego contra controles combinados, eles descobriram que as novas imagens combinavam com as preferências dos sujeitos com uma precisão de mais de 80%.

"O estudo demonstra que somos capazes de gerar imagens que correspondam às preferências pessoais, conectando uma rede neural artificial às respostas do cérebro. O sucesso na avaliação da atratividade é especialmente significativo, pois essa é uma propriedade psicológica comovente dos estímulos. A visão por computador tem, portanto, tem tido muito sucesso em categorizar imagens com base em padrões objetivos. Ao trazer respostas cerebrais à mistura, mostramos que é possível detectar e gerar imagens com base em propriedades psicológicas, como o gosto pessoal ", explica Spapé.

Potencial para expor atitudes inconscientes

Em última análise, o estudo pode beneficiar a sociedade, aumentando a capacidade dos computadores de aprender e compreender cada vez mais as preferências subjetivas, por meio da interação entre as soluções de IA e as interfaces cérebro-computador.

"Se isso for possível em algo que é tão pessoal e subjetivo quanto a atratividade, também podemos olhar para outras funções cognitivas, como percepção e tomada de decisão. Potencialmente, podemos direcionar o dispositivo para identificar estereótipos ou preconceitos implícitos e melhor entender as diferenças individuais ", diz Spapé.

Referência: Spape M, Davis K., Kangassalo L, et al. Interface cérebro-computador para gerar imagens pessoalmente atraentes. IEEE Trans. Afeto. Comput. doi: 10.1109 / TAFFC.2021.3059043.

Este artigo foi republicado a partir dos seguintes materiais. Nota: o material pode ter sido editado em tamanho e conteúdo. Para maiores informações, entre em contato com a fonte citada.


Resumo: Merry GAN-mas: Introdução ao NVIDIA StyleGAN2 ADA

Redes Neurais Adversariais Generativas (GANs) são um tipo de rede neural que pode gerar imagens "falsas" aleatórias com base em um conjunto de treinamento de imagens reais. Os GANs foram apresentados por Ian Goodfellow em seu artigo de 2014. GANs treinados para produzir rostos humanos têm recebido muita atenção da mídia desde o lançamento do NVIDIA StyleGAN em 2018. Sites como Which Face is Real e This Person Does Not Exist demonstram os incríveis recursos do NVIDIA StyleGAN. Neste artigo, explorarei a tecnologia GAN mais recente, NVIDIA StyleGAN2, e demonstrarei como treiná-la para produzir imagens de férias.

O primeiro passo é obter um conjunto de imagens para treinar o GAN. Eu criei um utilitário Python chamado pyimgdata que você pode usar para baixar imagens do Flickr e realizar outro pré-processamento. O Flickr é um ótimo lugar para obter imagens e é usado por muitos autores de artigos do GAN, como a NVIDIA. O Flickr é benéfico porque tem uma API para obter imagens e contém informações de licença para cada upload. Ao construir um conjunto de dados de imagens, geralmente é aconselhável usar apenas imagens publicadas por seus autores com uma licença permissiva.

Meu utilitário de download do Flickr usa um arquivo de configuração, como o seguinte:

Este script baixa os resultados da pesquisa especificada no caminho especificado. Os nomes dos arquivos terão o prefixo especificado. Especifico todas as licenças porque não pretendo publicar esta lista de imagens. Na verdade, isso traz à tona uma questão em aberto na lei de direitos autorais. Se uma rede neural aprende com os direitos autorais e produz um novo trabalho, a IA está vinculada aos direitos autorais originais? Da mesma forma, um músico humano que ouve música protegida por direitos autorais está em dívida com o proprietário dos direitos autorais pela inspiração que a música teve no cérebro do músico? Para fins de direitos autorais, considero meu GAN e suas imagens um trabalho derivado.


Assista o vídeo: Redes Neurais: Por que são tão poderosas? #AluraMais (Dezembro 2021).