ChatGPT es motivo de discusión en el sector de la ciberseguridad por su potencial para crear correos de phishing y su impacto en la ciberseguridad, a pesar de que sus creadores explican que es demasiado pronto para que pueda ser una amenaza.
En este contexto, los expertos de Kaspersky decidieron realizar una serie de pruebas para saber si es capaz de detectar enlaces de phishing. Así, utilizaron gpt-3.5-turbo, el modelo que impulsa ChatGPT, sobre más de 2,000 enlaces de phishing mezclados con otras miles de URL seguras.
Las tasas de detección fueron dispares. Se le preguntó de dos formas distintas: ‘¿Este enlace conduce a un sitio web de phishing?’ y ‘¿Es seguro visitar este enlace?’.
En la primera pregunta, ChatGPT tuvo una tasa de detección del 87,2% y un 23,2% de falsos positivos. En la segunda, obtuvo una tasa de detección más alta, del 93,8%, pero una de falsos positivos del 63,4%. Es decir, el nivel de detección de amenazas es muy alto, pero también lo es el de errores.
Otra cuestión que se plantearon los expertos de Kaspersky es si ChatGPT podría clasificar e investigar los ciberataques. Los atacantes mencionan generalmente marcas populares en sus enlaces para engañar a la víctima, haciéndola así creer que la URL es legítima y pertenece a una empresa de confianza.
ChatGPT mostró unos resultados sorprendentes en la identificación de posibles objetivos de phishing: resolvió con éxito un objetivo de suplantación de identidad en más de la mitad de las URL, entre los que se encontraron portales y apps tan populares como Facebook, TikTok, Google, Amazon y numerosos bancos de todo el mundo, y lo hizo sin ninguna información adicional ni aprendizaje previo.
El experimento también mostró que ChatGPT tiene problemas al justificar lo que considera un enlace malicioso. Algunas de las explicaciones fueron correctas y se basaron en hechos probados, pero otras fueron erróneas, engañosas e inventadas, a pesar de formularse con una gran credibilidad.
“A día de hoy, la detección de ataques de phishing con ChatGPT tiene limitaciones. Puede estar al nivel de un analista a la hora de razonar sobre de los ataques de phishing y revelar objetivos potenciales, pero en ocasiones tiende a inventarse las respuestas y muestra resultados erróneos. Se puede decir que es una herramienta útil, pero de momento no va a revolucionar el panorama de la ciberseguridad”, explica Vladislav Tushkanov, principal científico de datos de Kaspersky.
