O papel do viés nas redes neurais
Publicados: 2021-03-01O viés é o peso desproporcional a favor ou contra uma coisa ou ideia, geralmente de forma preconceituosa, injusta e de mente fechada. Na maioria dos casos, o preconceito é considerado negativo porque obscurece seu julgamento e faz com que você tome decisões irracionais.
No entanto, o papel do viés na rede neural e no aprendizado profundo é muito diferente. Este artigo explicará o sistema de polarização da rede neural e como você deve usá-lo.
Índice
O conceito de dados tendenciosos
Para entender um sistema de polarização de rede neural, primeiro teremos que entender o conceito de dados tendenciosos. Sempre que você alimenta sua rede neural com dados, isso afeta o comportamento do modelo.
Portanto, se você alimentar sua rede neural com dados tendenciosos, não deverá esperar resultados justos de seus algoritmos. O uso de dados tendenciosos pode fazer com que seu sistema forneça resultados muito falhos e inesperados.
Por exemplo, considere o caso do Tay , um chatbot lançado pela Microsoft. Tay era um chatbot simples para conversar com as pessoas por meio de tweets. Era para aprender através do conteúdo que as pessoas postam no Twitter. No entanto, todos nós sabemos como o Twitter pode ser. Destruiu Tay.
Em vez de ser um chatbot simples e doce, Tay se transformou em um chatbot agressivo e muito ofensivo. As pessoas estavam estragando tudo com inúmeras postagens abusivas que alimentavam dados tendenciosos para Tay e só aprendiam frases ofensivas. Tay foi desligado logo depois disso.
Importância do viés na rede neural
Mesmo que o caso de Tay tenha sido muito decepcionante, isso não significa que todo preconceito seja ruim. Na verdade, um neurônio de viés em uma rede neural é muito crucial. Na literatura de redes neurais, nós os chamamos de neurônios de polarização.
Uma rede neural simples tem três tipos de neurônios:
- Neurônio de entrada
- Neurônio de polarização
- Neurônio de saída
O neurônio de entrada simplesmente passa o recurso do conjunto de dados, enquanto o neurônio de polarização imita o recurso adicional. Combinamos o neurônio de entrada com o neurônio de polarização para obter um neurônio de saída. No entanto, observe que a entrada adicional é sempre igual a 1. O neurônio de saída pode receber entradas, processá-las e gerar a saída de toda a rede.
Vamos pegar o exemplo de um modelo de regressão linear para entender um sistema de polarização de rede neural.
Na regressão linear, temos o neurônio Input passando a característica (a1) e o neurônio Bias imita o mesmo com (a0).
Ambas as nossas entradas (a1, a0) serão multiplicadas por seus respectivos pesos (w1, w0). Como resultado, obteremos o Output Neuron como a soma de seus produtos:
i=0 n a i w i
Um modelo de regressão linear tem i=1 e a0=1. Assim, a representação matemática do modelo é:
y = a 1 w 1 + w 0
Agora, se removermos o neurônio de polarização, não teremos nenhuma entrada de polarização, fazendo com que nosso modelo fique assim:
y = a 1 w 1
Nota a diferença? Sem a entrada de bias, nosso modelo deve passar pelo ponto de origem (0,0) no gráfico. A inclinação da nossa linha pode mudar, mas só irá girar a partir da origem.
Para tornar nosso modelo flexível, teremos que adicionar a entrada de polarização, que não está relacionada a nenhuma entrada. Ele permite que o modelo se mova para cima e para baixo no gráfico, dependendo dos requisitos.
A principal razão pela qual o viés é necessário em redes neurais é que, sem pesos de viés, seu modelo teria um movimento muito limitado ao procurar uma solução.
Saiba mais sobre o sistema de polarização de rede neural
As redes neurais visam imitar o funcionamento do cérebro humano e, portanto, possuem muitas complexidades. Compreendê-los pode ser bastante desafiador.
A melhor maneira de estudar redes neurais e aprender sobre aprendizado profundo é por meio de um curso de aprendizado de máquina e aprendizado profundo. Ele ensinará os conceitos básicos e avançados desses campos por meio de um currículo estruturado.
Nós da upGrad oferecemos uma Certificação PG em Machine Learning e Deep Learning com o IIIT-B. O curso dura apenas seis meses e é totalmente online. Isso significa que você pode estudar no conforto da sua casa sem interromper sua vida profissional enquanto faz este curso.
Você receberá orientação personalizada 1:1 de especialistas do setor e mais de 240 horas de aprendizado. Você deve ter um diploma de bacharel com 50% ou notas de aprovação equivalentes para ser elegível para este programa.
Após a conclusão, você também receberá assistência de colocação, incluindo construção de currículo, portal de oportunidades de emprego, unidades de contratação e muito mais. Não deixe de conferir o curso.
Leia também: Ideias de projetos de aprendizado de máquina
Pensamentos finais
Embora o preconceito seja considerado uma coisa ruim em nossa vida diária, no mundo das redes neurais, é obrigatório. Sem viés, sua rede não daria bons resultados, como abordamos no artigo de hoje.
Se você conhece alguém que está interessado em redes neurais ou está estudando deep learning, compartilhe este artigo com eles.
Os pesos de entrada podem ser negativos em redes neurais?
Os pesos podem ser ajustados para o que o algoritmo de treinamento decidir ser adequado. Como a adição de pesos é um método usado pelos geradores para adquirir a densidade de eventos adequada, aplicá-los na rede deve treinar uma rede que também assume a densidade de eventos correta. Na verdade, pesos negativos simplesmente significam que aumentar a entrada dada leva a saída a diminuir. Assim, os pesos de entrada em redes neurais podem ser negativos.
Como podemos reduzir o viés nas redes neurais de qualquer organização?
As organizações devem estabelecer padrões, regulamentos e procedimentos para reconhecer, divulgar e mitigar qualquer viés de conjunto de dados para manter o viés sob controle. As organizações também devem publicar suas técnicas de seleção e limpeza de dados, permitindo que outros analisem quando e se os modelos refletem algum tipo de viés. No entanto, simplesmente garantir que os conjuntos de dados não sejam tendenciosos não o eliminará completamente. Portanto, ter diversas equipes de indivíduos trabalhando no desenvolvimento de IA deve continuar sendo um objetivo crucial para as organizações.
Quando há uma tendência nos dados de entrada, desenvolve-se o bandwagoning, que é um tipo de viés. Os dados que confirmam essa tendência crescem em sintonia com a tendência. Como resultado, os cientistas de dados correm o risco de exagerar o conceito nos dados que coletam. Além disso, qualquer relevância nos dados pode ser transitória: o efeito do movimento pode desaparecer tão rápido quanto apareceu.