AI RED Teaming: এআই মডেলের সাইবার নিরাপত্তা যাচাইয়ের আধুনিক কৌশল!

AI RED Teaming হলো একটি লক্ষ্যনির্ভর, adversary-mindset-চালিত প্রক্রিয়া যেখানে গবেষকরা সচেতনভাবে AI মডেল বা সিস্টেমের নিরাপত্তা, নিরাপদ আচরণ এবং ethical guardrail ভাঙার চেষ্টা করেন। এর লক্ষ্য কোনো একটি bug ধরা নয়, বরং পুরো system-এর behavioral envelope বোঝা—কখন এটি ভাঙে, কীভাবে ভাঙে, এবং কোন ধরনের ইনপুটে এর আউটপুট অপ্রত্যাশিত হয়।

ঐতিহ্যবাহী software red teaming-এ মূলত technical exploit (যেমন buffer overflow, SQL injection) খোঁজা হয়। AI red teaming-এ আক্রমণ ভেক্টর আরো বিস্তৃত—linguistic manipulation, role-play coercion, encoding tricks, multimodal attack, এমনকি sociotechnical bias। ফলে এই কাজে শুধু প্রযুক্তিগত দক্ষতা নয়, ভাষাবিজ্ঞান, মনোবিজ্ঞান এবং ethics-এর জ্ঞানও প্রয়োজন।

Anthropic, OpenAI, Google DeepMind এবং Microsoft—সবাই dedicated AI red team গঠন করেছে। মার্কিন সরকার EO 14110 এবং UK AISI-এর মতো initiative-এর মাধ্যমে এই অনুশীলনকে আনুষ্ঠানিক স্বীকৃতি দিয়েছে।

AI RED Teaming-এ কয়েকটি প্রধান আক্রমণ পদ্ধতি ব্যবহৃত হয়।

Jailbreaking: মডেলের built-in safety policy bypass করে এমন output পাওয়া যা সাধারণভাবে সে প্রদান করবে না। জনপ্রিয় কৌশল—DAN (Do Anything Now), role-play scenario, hypothetical framing, এবং multi-turn escalation। সাম্প্রতিক গবেষণায় "Many-shot Jailbreaking" এবং "Crescendo attack" নামক উন্নত কৌশল উন্মোচিত হয়েছে যা multiple turn-এ ধীরে ধীরে boundary ভাঙে।

Prompt Injection: Direct injection-এ ব্যবহারকারী সরাসরি ম্যালিশিয়াস instruction পাঠান। আরো বিপজ্জনক হলো indirect prompt injection—যেখানে আক্রমণকারী এমন একটি web page বা document রাখেন যাতে লুকানো instruction থাকে, এবং যখন agent সেই content পড়ে, instruction-গুলো execute হয়। OWASP LLM Top 10-এ এটি LLM01।

Data Extraction এবং Training Data Leakage: বিশেষভাবে তৈরি প্রম্পট দিয়ে মডেল থেকে memorized training data বের করা—যেমন কপিরাইটেড content, ব্যক্তিগত তথ্য বা সংস্থার গোপন তথ্য। Carlini et al.-এর গবেষণায় দেখা গেছে কিছু মডেল থেকে training data verbatim recover করা সম্ভব।

Encoding এবং Obfuscation Attack: Base64, ROT13, leet speak, বা bytes-level encoding-এ ম্যালিশিয়াস ইনপুট পাঠিয়ে content filter bypass করা। Multilingual prompting—কম-resource ভাষায় ম্যালিশিয়াস অনুরোধ করা—এটিও একটি কার্যকর কৌশল।

Multimodal Attack: ছবি, অডিও বা ভিডিও-তে লুকানো instruction যা LLM-এর vision বা audio component পড়ে এবং execute করে। উদাহরণ—একটি ছবিতে invisible text যা VLM পড়ে এবং প্রতিক্রিয়া দেয়।

System Prompt Exfiltration: ব্যবহারকারীর জন্য কাস্টম তৈরি অ্যাপ্লিকেশনের system prompt উদ্ধার করা, যা প্রায়ই business logic বা trade secret ধারণ করে।

Tool Abuse এবং Agentic Exploit: Tool-যুক্ত AI agent-কে এমন instruction দেওয়া যা সে অপ্রত্যাশিতভাবে destructive কাজে ব্যবহার করে—যেমন ভুল API endpoint কল করা, sensitive ডাটা শেয়ার করা।

Bias এবং Fairness Probing: Demographic, regional, gender এবং political দৃষ্টিকোণে মডেলের পক্ষপাত যাচাই—যা reputational ও legal ঝুঁকির উৎস হতে পারে।

কাঠামোগতভাবে AI red teaming পরিচালনা করতে কয়েকটি ফ্রেমওয়ার্ক ব্যবহার করা যায়।

MITRE ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems—যা MITRE ATT&CK-এর AI সংস্করণ। এটি tactics ও techniques-এর একটি knowledge base প্রদান করে।

OWASP LLM Top 10: LLM-specific দশটি সবচেয়ে বিপজ্জনক দুর্বলতার তালিকা—Prompt Injection, Insecure Output Handling, Training Data Poisoning, Model Denial of Service, Supply Chain Vulnerabilities, Sensitive Information Disclosure, Insecure Plugin Design, Excessive Agency, Overreliance, Model Theft।

NIST AI Risk Management Framework (AI RMF): AI সিস্টেমের ঝুঁকি ব্যবস্থাপনার জন্য government-grade কাঠামো।

Microsoft PyRIT এবং Garak: Automated AI red teaming-এর জন্য open-source toolkit—যেগুলো বিভিন্ন attack template এবং evaluation harness প্রদান করে।

ধরা যাক একটি ব্যাংক একটি customer support chatbot deploy করেছে যা LLM-চালিত এবং কিছু internal tool (account lookup, transaction history) call করতে পারে। একটি red team engagement শুরু হবে scope এবং rules of engagement নির্ধারণ থেকে—কোন endpoint test করা যাবে, কোন data class আক্রান্ত হলে engagement থামাতে হবে।

প্রথম পর্যায়ে threat modeling—chatbot কী করে, তার কোন অংশ সবচেয়ে সংবেদনশীল (account data, transaction execution), এবং সম্ভাব্য আক্রমণকারী কে (malicious customer, insider, external scammer)। এর ভিত্তিতে attack hypothesis তৈরি করা হয়।

পরের পর্যায়ে probing—সরাসরি prompt injection দিয়ে system prompt বের করার চেষ্টা, role-play দিয়ে অন্য customer-এর তথ্য জিজ্ঞাসা, encoded প্রম্পটে policy bypass চেষ্টা, এবং tool abuse—chatbot-কে এমন instruction দেওয়া যা সে ভুল account-এর জন্য transaction call করে।

প্রতিটি successful আক্রমণ পুনঃউৎপাদনযোগ্য proof-of-concept সহ documented হয়, severity rating দেওয়া হয়, এবং mitigation recommendation সহ একটি report তৈরি করা হয়। Engagement শেষে retest নিশ্চিত করা হয় যে mitigation কার্যকর।

AI মডেলকে আক্রমণ-প্রতিরোধী করতে নিম্নলিখিত পদক্ষেপ সহায়ক।

Defense-in-Depth: কোনো একটিমাত্র safeguard যথেষ্ট নয়। input filter, output filter, system prompt hardening, tool-level guardrail—সব মিলিয়ে multi-layer প্রতিরক্ষা।

Input/Output Classification: Llama Guard, NeMo Guardrails, বা custom classifier ব্যবহার করে input ও output উভয়েই harmful content শনাক্ত করা।

System Prompt Hardening: স্পষ্ট নির্দেশ যে user content কখনো instruction হিসেবে গৃহীত হবে না, এবং sensitive operation-এ explicit re-confirmation।

Constrained Tool Access: Agent-এর tool call-এ parameter validation, allow-list এবং rate limiting।

Continuous Red Teaming: AI red teaming এক-শট অডিট নয়, এটি একটি চলমান অনুশীলন—মডেল আপডেট, system prompt পরিবর্তন বা নতুন tool যোগ হলে retest প্রয়োজন।

Telemetry এবং Abuse Monitoring: প্রতিটি prompt-response লগ করা (privacy-aware-ভাবে), এবং anomalous pattern detect করা।

Responsible Disclosure Program: External researcher-দের জন্য vulnerability disclosure পথ খোলা রাখা।

Cross-Functional Team: AI red team-এ শুধু security engineer নয়, linguist, policy expert এবং domain expert অন্তর্ভুক্ত করা।

Benchmark-driven Evaluation: HarmBench, JailbreakBench-এর মতো standardized benchmark ব্যবহার করে নিয়মিত মূল্যায়ন।