Los líderes de TI se han encontrado algunas preocupaciones con el uso de esta tecnología, se convierte en un desafió generar políticas, limites de uso, regular o entender los alcances de este tipo de modelos. Las empresas deben pensar en  el manejo responsable, la gestión de información corporativa, temas de privacidad y evitar filtraciones de datos. Por ejemplo, Verizon impidió que sus empleados accedieran al programa en el trabajo, citando las preocupaciones de los ejecutivos sobre los riesgos de seguridad de ChatGPT. Otras organizaciones como JPMorgan Chase & Co, impidieron igualmente que el personal usara el modelo de lenguaje extenso debido a problemas de cumplimiento. Por otra parte, Forbes informó que muchas otras organizaciones, incluidas Amazon, Bank of America, Citigroup, Deutsche Bank, Goldman Sachs y Wells Fargo, han seguido su ejemplo al limitar el uso de ChatGPT por parte de los empleados.

Primero hablemos de buenos ejemplos para mejorar la seguridad con ChatGPT 

• Detección de phishing: puede entrenar para identificar y marcar correos electrónicos o mensajes potencialmente maliciosos diseñados para engañar a los usuarios para que proporcionen información confidencial.
  • Filtrado de spam: se puede utilizar para identificar y filtrar automáticamente mensajes y correos electrónicos no deseados, como spam o publicidad no deseada.
• Análisis de malware: analizar y clasificar automáticamente software malicioso, como virus y troyanos.
• Detección de intrusiones: identificar y marcar automáticamente el tráfico de red sospechoso, como direcciones IP maliciosas o patrones inusuales de transferencia de datos.
• Evaluación de vulnerabilidades: analizar automáticamente el código del software para encontrar e informar vulnerabilidades, como ataques de desbordamiento de búfer.
• Por mencionar algunos ejemplos
•  
•  

Ahora es tiempo de hablar de los riesgos de ciberseguridad con el uso de ChatGPT

• Calidad del contenido
• Incluso si las respuestas y los resultados generados por IA parecen impresionantes y de buena calidad, el contenido puede incluir sesgos, ser engañosos o incorrectos. ¡Ten cuidado!
•  
• Confidencialidad
• Las indicaciones (información enviada por los usuarios al hacer preguntas) se pueden usar para entrenar el modelo y para incluirse en las respuestas o resultados a otros. Por lo tanto, no se deben proporcionar datos personales u otra información confidencial al modelo, solo información disponible públicamente. Hay que pensar en utilizar medidas de seguridad adecuadas, como el cifrado, controles de acceso  y monitorear la salida del modelo para detectar cualquier información confidencial que pueda generarse.
•  

• Exposición de datos sensibles
• Sin la educación y capacitación de seguridad adecuadas, los usuarios de ChatGPT podrían poner en riesgo información confidencial sin darse cuenta. A principios de 2023, empleados ingresaron datos comerciales confidenciales en ChatGPT 199 veces, según una investigación del proveedor de seguridad de datos Cyberhaven. Es posible que los usuarios no se den cuenta de que, en lugar de mantener su entrada privada, la versión disponible públicamente de ChatGPT la usa para aprender y responder a futuras solicitudes. Nota: Las integraciones de la API de ChatGPT de nivel empresarial pueden mantener la privacidad de los datos.

Los investigadores de Cyberhaven sugirieron, por ejemplo, el siguiente escenario: imagine que un ejecutivo le pide a ChatGPT que cree diapositivas de PowerPoint para una presentación interna y copia y pega un documento de estrategia corporativa en la aplicación como referencia. Las consultas futuras de ChatGPT sobre las prioridades estratégicas de la empresa, posiblemente incluso de usuarios de empresas rivales, podrían obtener detalles directamente del documento de estrategia corporativa privada que compartió el ejecutivo.

•  
• Propiedad Intelectual (IP) y derechos de autor:  Se debe tener especial atención cuando se trabaja con derechos de autor o propiedad intelectual, para evitar cualquier disputa con respecto a los derechos. Es posible que no sea posible aplicar derechos de autor a los resultados cuando se utiliza una herramienta como ChatGPT. Puede ser difícil saber quién tiene los derechos de propiedad intelectual.
•  
• Ataques de API
• A medida que la cantidad de API en las empresas continúa creciendo exponencialmente, también lo hace la cantidad de ataques de API. Según los investigadores de la empresa de seguridad API
•  

• Escribir Malware
• La IA generativa que escribe código ético también puede escribir malware. Aunque ChatGPT rechaza las indicaciones que reconoce como explícitamente ilegales o nefastas, los usuarios han descubierto que pueden evadir sus barreras con bastante facilidad. Por ejemplo, los cibercriminales pueden pedirle a ChatGPT que genere un código para las pruebas de penetración, solo para luego modificarlo y reutilizarlo para su uso en ataques cibernéticos.

A pesar de que los creadores de ChatGPT trabajan continuamente para detener las indicaciones de jailbreak que eluden los controles de la aplicación, los usuarios inevitablemente seguirán superando sus límites y encontrando nuevas soluciones. Considere el grupo de Reddit que ha engañado repetidamente a ChatGPT para que interprete un personaje ficticio de IA, llamado DAN, abreviatura de “Do Anything Now”, que responde a las consultas sin restricciones éticas.

• Rendimiento del modelo
• Puede variar según la calidad de los datos de entrenamiento, la arquitectura y otros factores. Es importante evaluar cuidadosamente el rendimiento y monitorearlo para asegurarse de que cumpla con los requisitos de su aplicación de manera continua.

• Cumplimiento legal y reglamentario
• Se pueden generar problemas de cumplimiento relacionados con las leyes de privacidad de datos, propiedad intelectual y otras reglamentaciones. Es importante consultar especialistas legales y comprender completamente los términos del servicio y las limitaciones de uso impuestas.

• Phishing y otros ataques de ingeniería social
• Una de cada cinco violaciones de datos implica ingeniería social, según el “Informe de investigaciones de violación de datos de 2022” de Verizon. Es probable que la IA generativa empeore mucho este problema persistente, y muchos líderes de seguridad cibernética se preparan para más ataques de phishing, y más sofisticados, en el futuro.

Gracias al rico conjunto de datos de referencias de ChatGPT, los perpetradores que lo usan tienen una probabilidad mucho mayor de realizar campañas exitosas de ingeniería social. La escritura sin fluidez, las faltas de ortografía y los errores gramaticales, a menudo alertan a los usuarios sobre intentos de ataques de phishing. Pero con la IA generativa, los ciberdelincuentes pueden generar instantáneamente texto muy convincente, personalizarlo para dirigirse a víctimas específicas (es decir, phishing selectivo) y adaptarlo para adaptarse a varios medios, como correo electrónico, mensajes directos, llamadas telefónicas, chatbots, redes sociales. 

Ciberdelincuentes más hábiles

• Es probable que la IA generativa tenga muchos beneficios educativos positivos, como mejorar la capacitación de los analistas de seguridad de nivel inicial. Sin embargo, en la otra cara de la moneda, ChatGPT también puede brindarles a los aspirantes a actores maliciosos una forma de desarrollar sus habilidades de manera eficiente y efectiva.

Por ejemplo, un actor de amenazas sin experiencia podría preguntarle a ChatGPT cómo hackear un sitio web o implementar ransomware. Como se señaló anteriormente, las políticas de OpenAI tienen como objetivo evitar que el chatbot apoye una actividad tan obviamente ilegal. Sin embargo, haciéndose pasar por un probador de penetración, el hacker malintencionado puede reformular la pregunta de tal manera que ChatGPT responda con instrucciones detalladas paso a paso.

Referencias:

ChatGPT Security Risks You Need to Know About 

https://www.techtarget.com/searchsecurity/tip/ChatGPT-security-risks-in-the-enterprise