What is AI Security?
인공지능(AI)은 최근 몇 년 동안 빠르게 성장하고 성숙해 왔습니다. AI 개념은 수십 년 동안 존재해 왔지만, 지난 몇 년 동안 AI 개발과 제너레이티브 AI의 도입에 큰 진전이 있었습니다. 이에 따라 모든 산업 분야의 기업들은 AI를 가장 효과적으로 활용할 수 있는 방법을 모색하고 있습니다.
이러한 AI 사용의 급증은 사이버 보안에 긍정적인 영향과 부정적인 영향을 모두 미칩니다. 한편으로 AI는 민감한 기업 및 고객 데이터에 중대한 새로운 보안 위험을 초래합니다. 한편, AI 사이버 보안은 기업의 사이버 보안을 강화할 수 있는 기능도 제공합니다.
Understanding AI’s Role in Modern Cybersecurity
Traditional cybersecurity systems concentrated on preserving a network’s or device’s operational state.
현대의 위협은 그러나 거의 중단을 일으키려 하지 않지만, 대신 다음을 목표로 합니다:
- Steal valuable corporate data
- Deploy complex strains of malware behind perimeter defenses
To bring defenses in line with these goals, security staff are required to monitor more pieces of data.
The Rise of SIEM & EDR
This changing goal can be tracked in the security tools that have become popular over time – the rise of Security Information and Event Management (SIEM) tools in the early 2010s saw a push toward ingesting and analyzing large quantities of log files.
Since then, the amount of data being ingested has increased.
Endpoint Detection and Response (EDR), for instance, continuously monitors the internal activities of every company laptop, phone, and PC, while firewalls do the same for network-level activity. These individual pieces of data are created faster than can be manually investigated.
(but they still need to be turned into actionable intel.)
This is where AI, such as Machine Learning, has made significant strides.
AI 도입
It works by training algorithms on large datasets, from which it organizes network or malware data into recognizable patterns. These patterns can then be applied across new sets of data, allowing anomalies to be recognized automatically, such as:
- 비정상적인 로그인 시도
- Data access patterns
Over time, the ML models adapt and improve their accuracy by continuously learning from new data.
It’s just one way in which AI allows human cybersecurity teams to work faster, more efficiently, and assess wider swathes of threat intelligence than is possible with just human eyes.
How Criminals Are Using AI
Check Point’s AI Security Report unveils how cybercriminals are tightly following the rise of mainstream AI adoption, particularly with each new release of a large language model (LLM). As soon as a new model becomes publicly available, threat actors in underground forums rapidly assess its capabilities and potential avenues for misuse.
While this would be of little operational concern, it’s evolving further with the emergence of open-source or outright maliciously-built models like DeepSeek or WormGPT. These illicit models are deliberately stripped of ethical safeguards and are openly marketed as tools for hacking and exploitation.
Plus, they’re accessible at very low cost, making the attack ROI even higher.
As a result, AI is driving both:
- 피싱 공격 성공률
- Aaster malware development lifecycle
From crafting ransomware scripts and phishing kits to engineering info-stealers and generating deepfakes, cybercriminals are using AI to streamline every phase of their operations.
AI 보안 위험
AI는 다양한 산업 분야에서 상당한 잠재력과 잠재적 이점을 가지고 있지만, 다음과 같은 보안 위험을 초래할 수도 있습니다:
- 데이터 유출: AI 모델에는 학습을 위해 대량의 데이터가 필요합니다. 이러한 대규모 데이터 세트를 수집하고 사용하면 공격자에 의해 침해될 수 있는 잠재적 위험이 있습니다.
- 적대적 공격: 다양한 프로세스에 AI가 통합되면서 사이버 공격자가 AI를 표적으로 삼을 위험이 커졌습니다. 예를 들어, 공격자는 학습 데이터를 손상시키거나 적대적인 AI 시스템을 학습시켜 AI 모델의 오류를 식별하여 이를 우회하거나 악용할 수 있도록 할 수 있습니다.
- 편견과 차별: AI 모델은 레이블이 지정된 학습 데이터를 기반으로 구축됩니다. 해당 데이터에 특정 인구 통계 그룹의 이미지가 주로 포함되어 있는 등 편향성이 있는 경우 AI 모델도 동일한 편향성을 학습하게 됩니다.
- 투명성 부족: AI는 추세를 파악하고 복잡한 관계를 감지할 수 있습니다. 그러나 이 모델은 투명하거나 해석이 불가능하여 최종 모델에서 오류나 편향을 식별하는 것이 불가능합니다.
How Can AI Help Prevent Cyber Attacks?
The proliferation of high-powered AI is a driving force behind tighter and more accurate security controls and workflows. Because AI can be implemented in drastically different formats according to the data it’s trained on, the following use cases are grouped according to the security tools implementing the AI.
AI In Network Security
AI’s implementation in network security can run the gamut from identifying suspicious external connections to implementing tighter network segmentation.
Automated Identity Discovery
Role-Based Access Control (RBAC) is a way of implementing network security according to the principle of least privilege.
Instead of assigning blanket permissions to static groups of individuals – which is highly time- and resource-demanding – RBAC links specific roles to the permissions that reflect their job responsibilities. Users are then assigned to these roles – automatically inheriting the associated permissions.
For instance, a new employee may be linked to the role of ’database admin’: the permissions involved would be:
- 데이터베이스 생성 및 삭제
- 데이터 백업 및 복원
These explicit permissions would look completely different from those in an ‘accountant’ role.
AI is accelerating RBAC adoption thanks to its ability to discover identities automatically. New network security tools may scan logins, file access, and application usage across departments, to then build a profile of what real employees are accessing day-to-day.
Should it detect that a specific group regularly accesses accounting software, handles payroll data, and runs monthly reports, it’s able to automatically suggest a “Finance Analyst” role. New employees with similar job functions can then be automatically assigned this role, streamlining RBAC onboarding.
실시간 위협 분류
Network security is dominated by the stateful firewall. A tried-and-tested approach that monitors the incoming and outbound connections between enterprise devices and the public Internet, they remain a bastion of security since Check Point invented them in 1993.
With AI, however, firewalls are able to automate far more of the threat detection workflow: this can be applied to both incoming traffic and when assessing the legitimacy of external sites.
For instance, AI-supported firewalls are pre-trained on labeled traffic network data.
Since the AI model becomes highly adept at recognizing and labelling malicious network activity, the firewall can link disparate policy violations into the wider picture of a real-life attack.
차세대 방화벽
Next-generation firewalls take this capability beyond alert labels, and offer automated response capabilities according to the suspected attack type. This could include:
- Automated updating of internal traffic policies
- Isolating communications to an infected subnet
Last-resort response capabilities, such as moving traffic over to dedicated failover servers, must be manually added to the firewall via playbooks, to ensure business continuity.
It’s not just internal traffic that firewall AI can assess: depending on your firewall provider, some also offer URL categorization. This uses Natural Language Processing (NLP) AI to categorize URLs according to their safety.
Dangerous or inappropriate sites can be blocked at the firewall level, leading to maximum security.
Zero Day Attack Prevention
While the vast majority of attacks rely on pre-established attack vectors, there is a highly lucrative black market for zero day vulnerabilities. These are so valuable precisely because these vulnerabilities do not yet have patches.
(And when levied against firewalls, can represent a major security concern.)
An AI-enhanced firewall is able to defend against zero days by establishing a baseline of normal network activity. For instance, it’s able to plot a typical data’s worth of transfer volumes for each user role. If the firewall detects a sudden spike in data transfer to an external server at an unusual hour, it flags or blocks the activity as potentially malicious.
This same technique can also protect otherwise unpatched applications.
AI in Endpoint Security
Secure Endpoints are now an integral component to enterprise security. At its core, Endpoint Detection and Response (EDR) collects detailed telemetry from these endpoints, such as:
- 프로세스 실행
- 부모-자식 프로세스 관계
- 파일 생성, 수정, 삭제와 같은 파일 상호 작용
This data is rich but complex, making it ideal for AI analysis.
엔드포인트 기반 행동 분석
AI enables predictive threat detection by learning what normal behavior looks like and spotting subtle anomalies that may indicate malicious activity.
This makes it particularly adept at spotting complex or tightly-engineered malware that employs obfuscation techniques like process hollowing – or even when a malicious process is named something legitimate-looking. Since EDR monitors which process is interacting with which file, its AI can then spot when a background process is accessing sensitive files it normally wouldn’t.
This deviation allows an alarm to be raised far before a successful attack is deployed.
예측 분석
Because different strains of malware act in different ways, an EDR AI is able to identify trending patterns within an ongoing attack, and predict which systems or users are likely to be targeted next. For instance, if account takeover is the suspected root cause of an attack, it’s able to examine which databases the account may have access to.
If the EDR is integrated with the firewall, this can be turned automatically into corresponding firewall policy changes.
사이버 보안에서 AI는 어떻게 사용되나요?
AI는 대량의 데이터를 분석하고 트렌드나 이상 징후를 추출하는 데 탁월합니다. 사이버 보안에 AI를 적용할 수 있는 몇 가지 잠재적인 분야는 다음과 같습니다:
- 위협 탐지 및 대응: 트렌드와 이상 징후를 식별하는 AI의 능력은 잠재적인 사이버 보안 위협을 탐지하는 데 매우 적합합니다. 예를 들어, AI는 네트워크 트래픽을 모니터링하여 DDoS 공격이나 멀웨어에 의한 측면 이동을 나타낼 수 있는 트래픽 급증 또는 비정상적인 통신 패턴을 찾아낼 수 있습니다.
- 사용자 행동 분석: AI를 사용하여 사용자 행동에 대한 모델링 및 이상 징후 탐지를 수행할 수도 있습니다. AI는 사용자 계정에서 비정상적인 활동을 식별함으로써 계정이 손상되거나 사용자의 권한이 남용되는 것을 감지하는 데 도움을 줄 수 있습니다.
- 취약성 평가: 취약성 관리 및 패치 관리는 소프트웨어 취약성이 점점 더 많아짐에 따라 복잡해지고 있는 문제입니다. AI는 자동으로 취약성 검사를 수행하고, 결과를 분류하며, 식별된 보안 격차를 해소하기 위한 개선 권장 사항을 개발할 수 있습니다.
- 보안 자동화: AI 지원 보안 도구는 플레이북을 기반으로 일반적이고 반복적인 보안 작업을 자동화할 수 있습니다. 이를 통해 침입이 확인된 후 대규모 사이버 공격에 신속하게 대응할 수 있습니다.
AI in Security Team Workflows
A security team is only as good as the workflows they rely on day-to-day. While AI has already begun to see real changes in the tooling space, there are further changes occurring at the interface level.
Multifaceted Risk Analysis
AI aids security analysts by automating the integration and analysis of threat data.
Since AI can ingest vast swathes of different unstructured data – from logs and network traffic to user activity, endpoint behavior, and threat intelligence feeds – they’re given an immediate picture into the scope of a new threat.
Instead of manually sifting through disparate data sets, AI correlates events across systems to identify patterns, anomalies, and potential threats.
For instance, AI can piece together these actions and generate a high risk of a possible attack:
- If a user logs in from an unusual location
- Accesses sensitive files at odd hours
- Initiates outbound connections to unfamiliar domains
This risk assessment can inform the analysts on the case, and whether it should be prioritized over other demands. Because machine learning models can weigh the severity of each event based on historical data, organizational context, and threat indicators, analysts are able to start their investigations one step ahead.
In larger teams, this can even extend to which analysts or managers are assigned to an incident – analysts with a specialty in specific Linux or Microsoft devices, for instance, can be prioritized in attacks that exploit their field of expertise.
AI Tool Assistant
Making the most of your security team demands that routine security tasks be handled as efficiently as possible. To support this, some security tool providers also provide an NLP-based AI that acts as an assistant.
Loaded with your organization’s policies, access rules, and product documentation, security analysts are able to cut the time needed for security tasks.
보안에 AI 기술 활용의 이점
AI는 기업 사이버 보안에 다음과 같은 상당한 잠재적 이점을 제공합니다:
- 향상된 위협 탐지: AI는 대량의 보안 경고를 분석하여 실제 위협을 정확하게 식별할 수 있습니다. 이를 통해 보안팀은 잠재적인 침입을 더욱 신속하게 탐지하고 대응할 수 있습니다.
- 신속한 인시던트 수정: 보안 인시던트가 식별된 후 AI는 플레이북을 기반으로 자동화된 문제 해결을 수행할 수 있습니다. 이를 통해 사고 대응 프로세스를 신속하고 간소화하여 공격자가 조직에 피해를 입힐 수 있는 가능성을 줄일 수 있습니다.
- 보안 가시성 향상: AI는 대량의 데이터를 분석하여 유용한 인사이트와 위협 인텔리전스를 추출할 수 있습니다. 이를 통해 조직은 IT 및 보안 인프라의 현재 상태에 대한 가시성을 높일 수 있습니다.
- 효율성 향상: AI는 많은 반복적이고 낮은 수준의 IT 작업을 자동화할 수 있습니다. 이렇게 하면 IT 담당자의 업무 부담이 줄어들어 효율성이 향상될 뿐만 아니라 이러한 작업이 정기적으로 올바르게 수행될 수 있습니다.
- 지속적인 학습: AI는 작동 중에도 지속적으로 모델을 학습하고 업데이트할 수 있습니다. 이를 통해 최신 사이버 위협 캠페인을 탐지하고 대응하는 방법을 학습할 수 있습니다.
AI 보안 프레임워크
잠재적인 보안 위험을 관리하기 위해 개발된 일부 AI 보안 프레임워크에는 다음이 포함됩니다:
- LLM을 위한 OWASP 톱 10: 다른 OWASP 상위 10개 목록과 마찬가지로, 이 목록은 LLM의 가장 중요한 보안 위험과 이를 관리하기 위한 모범 사례를 식별합니다.
- Google의 보안 AI 프레임워크(SAIF): AI 시스템 구현 및 사용과 관련된 일반적인 문제를 극복하기 위한 6단계 프로세스를 정의합니다.
AI 보안 권장 사항 및 모범 사례
AI 구현을 위한 몇 가지 보안 모범 사례는 다음과 같습니다:
- 학습 데이터 품질 보장: AI는 학습 데이터만큼 정확하고 효과적입니다. AI 시스템과 모델을 구축할 때는 레이블이 지정된 학습 데이터의 정확성을 보장하는 것이 중요합니다.
- 윤리적 영향에 대처하세요: AI 사용은 학습을 위한 개인 데이터의 편향 또는 오용 가능성으로 인해 윤리적 영향을 미칠 수 있습니다. 교육 데이터가 완전하고 필요한 동의를 받았는지 확인하기 위한 안전장치가 마련되어 있는지 확인합니다.
- 정기적인 테스트 및 업데이트를 수행합니다: AI 모델은 시간이 지남에 따라 오류가 발생하거나 구식이 될 수 있습니다. AI 모델의 정확성과 유용성을 보장하기 위해서는 정기적인 테스트와 업데이트가 필수적입니다.
- AI 보안 정책을 구현하세요: 사이버 위협 행위자는 공격에서 AI 시스템을 표적으로 삼을 수 있습니다. 보안 정책과 제어 기능을 구현하여 잠재적인 악용으로부터 AI 학습 데이터와 모델을 보호하세요.
Explore AI Security with Check Point
Check Point is no stranger to the advancements being made in AI security.
As a market leader, our ThreatCloud AI collects and analyzes vast amounts of telemetry and millions of indicators of compromise (IoCs) daily. It’s the driving force behind many AI deployments, including Check Point’s own Infinity and CloudGuard platforms.
AI can represent a paradigm shift for data-heavy cybersecurity tools.
But, it’s vital to maintain complete control over the ways in which AI is being deployed within your organization. Not only did the Check Point’s AI Security Report discover the increasing use of AI tools by attackers for attacks, but mis-implemented AI tools also represent a security risk in and of themselves. As important as AI is, it’s vital to retain visibility and control into how different AI tools are being deployed.
This is where Check Point GenAI Protect plays a role.
By integrating alongside your current network, it’s able to discover the AI services currently being used across the entirety of your organization. Protect brings all AI use cases into a central control plane, whether it’s:
- ChatGPT를 정기적으로 사용하는 최종 사용자들
- More niche GenAI tools deployed within the CI/CD pipeline
From there, secure how users are interacting with AI, and gain full visibility into what data an AI app’s corresponding APIs have access to. This contextual awareness reaches into the prompts being used by individuals, too; for instance, GenAI Protect can ensure that management personnel are not exposing corporate data to ChatGPT by detecting any classified conversational data within prompts.
Ultimately, GenAI Protect allows organizations to retain their regulatory security requirements even while exploring the full scope of AI’s newfound capabilities.
Explore more about GenAI Protect, and keep security at pace with enterprise development.
