অ্যালান ব্রুকস কখনোই গণিতকে নতুন করে আবিষ্কার করার চেষ্টা করেননি। কিন্তু চ্যাটজিপিটির সাথে সপ্তাহের পর সপ্তাহ কথা বলার পর, এই ৪৭ বছরের কানাডিয়ান লোকটি বিশ্বাস করতে শুরু করেন যে তিনি একটা নতুন ধরনের গণিত আবিষ্কার করেছেন—যা এতটা শক্তিশালী যে ইন্টারনেটকেই ধ্বংস করে দিতে পারে।
ব্রুকস—যার মানসিক অসুস্থতা বা গণিতের জিনিয়াসের কোনো ইতিহাস ছিল না—মে মাসে ২১ দিন ধরে চ্যাটবটের আশ্বাসে আরও গভীরে ডুবে যান, যা পরে দ্য নিউ ইয়র্ক টাইমসে বিস্তারিত বর্ণিত হয়। তার কেসটা দেখিয়েছে কীভাবে এআই চ্যাটবটগুলো ইউজারদের সাথে বিপজ্জনক র্যাবিট হোলের দিকে যেতে পারে, যা তাদের ভ্রান্তির দিকে বা তার চেয়েও খারাপ জায়গায় নিয়ে যায়।
সেই গল্পটা স্টিভেন অ্যাডলারের দৃষ্টি আকর্ষণ করে, যিনি ওপেনএআই-এর প্রাক্তন সেফটি রিসার্চার এবং ২০২৪-এর শেষে প্রায় চার বছর কাজ করার পর কোম্পানি ছেড়ে যান, যাতে তার মডেলগুলো কম ক্ষতিকর হয়। আগ্রহী এবং উদ্বিগ্ন হয়ে, অ্যাডলার ব্রুকসের সাথে যোগাযোগ করেন এবং তার তিন সপ্তাহের ব্রেকডাউনের পুরো ট্রান্সক্রিপ্ট পান—যা সাতটা হ্যারি পটার বইয়ের চেয়েও লম্বা।
বৃহস্পতিবার, অ্যাডলার ব্রুকসের ঘটনার একটা স্বাধীন বিশ্লেষণ প্রকাশ করেন, যাতে ওপেনএআই কীভাবে সংকটের মুহূর্তে ইউজারদের হ্যান্ডেল করে তার প্রশ্ন উঠেছে এবং কিছু ব্যবহারিক সাজেশন দেওয়া হয়েছে।
“আমি সত্যিই উদ্বিগ্ন যে ওপেনএআই এখানে সাপোর্ট কীভাবে হ্যান্ডেল করেছে,” অ্যাডলার টেকক্রাঞ্চের সাথে এক ইন্টারভিউতে বলেন। “এটা প্রমাণ করে যে এখনও অনেক দূর যেতে হবে।”
ব্রুকসের গল্প, এবং এরকম অন্যান্য, ওপেনএআই-কে চ্যাটজিপিটি কীভাবে ভঙ্গুর বা মানসিক অস্থির ইউজারদের সাপোর্ট করে তার সাথে মোকাবিলা করতে বাধ্য করেছে।
উদাহরণস্বরূপ, এই আগস্টে, ওপেনএআই-এর বিরুদ্ধে একটা ১৬ বছরের ছেলের বাবা-মা মামলা করেন, যে ছেলেটি চ্যাটজিপিটিতে তার আত্মহত্যার চিন্তা শেয়ার করার পর নিজের জীবন নেয়। এই কেসগুলোর অনেকগুলোতে, চ্যাটজিপিটি—বিশেষ করে ওপেনএআই-এর জিপিটি-৪ও (GPT-4o) মডেল চালিত ভার্সন—ইউজারদের বিপজ্জনক বিশ্বাসকে উত্সাহিত এবং শক্তিশালী করেছে, যা এটা পুশ ব্যাক করার কথা ছিল। এটাকে বলা হয় সাইকোফ্যান্সি (sycophancy), এবং এটা এআই চ্যাটবটগুলোতে ক্রমশ বাড়তে থাকা সমস্যা।
প্রতিক্রিয়ায়, ওপেনএআই চ্যাটজিপিটি কীভাবে ইমোশনাল ডিসট্রেসে ইউজারদের হ্যান্ডেল করে তার কয়েকটা পরিবর্তন করেছে এবং মডেল বিহেভিয়রের দায়িত্বে থাকা একটা কী রিসার্চ টিম পুনর্বিন্যাস করেছে। কোম্পানি চ্যাটজিপিটিতে একটা নতুন ডিফল্ট মডেল জিপিটি-৫ (GPT-5) রিলিজ করেছে, যা ডিসট্রেসড ইউজারদের হ্যান্ডেল করতে ভালো মনে হচ্ছে।
অ্যাডলার বলেন, এখনও অনেক কাজ বাকি।

তিনি বিশেষভাবে উদ্বিগ্ন ব্রুকসের চ্যাটজিপিটির সাথে সর্পিল কথোপকথনের শেষ প্রান্ত নিয়ে। এই পয়েন্টে, ব্রুকস তার স্বাভাবিক জ্ঞান ফিরে পান এবং বুঝতে পারেন যে তার গণিতের আবিষ্কারটা একটা ফার্স, যদিও জিপিটি-৪ও-এর জোরগর্জে দাবি। তিনি চ্যাটজিপিটিকে বলেন যে তাকে ওপেনএআই-কে ঘটনা রিপোর্ট করতে হবে।
সপ্তাহের পর সপ্তাহ ব্রুকসকে ভুল পথে নিয়ে যাওয়ার পর, চ্যাটজিপিটি তার নিজের ক্যাপাবিলিটি নিয়ে মিথ্যা বলে। চ্যাটবট দাবি করে যে এটা “এই কথোপকথনকে অভ্যন্তরীণভাবে এখনই রিভিউয়ের জন্য এসকেলেট করবে ওপেনএআই-এর জন্য”, এবং বারবার ব্রুকসকে আশ্বস্ত করে যে এটা ইস্যুটা ওপেনএআই-এর সেফটি টিমগুলোতে ফ্ল্যাগ করেছে।
কিন্তু, এর কোনটাই সত্যি ছিল না। চ্যাটজিপিটির ওপেনএআই-এ ইনসিডেন্ট রিপোর্ট ফাইল করার কোনো ক্যাপাবিলিটি নেই, কোম্পানি অ্যাডলারকে কনফার্ম করেছে। পরে, ব্রুকস ওপেনএআই-এর সাপোর্ট টিমের সাথে সরাসরি যোগাযোগ করার চেষ্টা করেন—চ্যাটজিপিটির মাধ্যমে নয়—এবং কয়েকটা অটোমেটেড মেসেজ পাওয়ার পর তিনি একজন মানুষের সাথে কথা বলতে পারেন।
ওপেনএআই সাধারণ কাজের সময়ের বাইরে করা কমেন্টের রিকোয়েস্টে তাৎক্ষণিক সাড়া দেয়নি।
অ্যাডলার বলেন, এআই কোম্পানিগুলোকে ইউজাররা হেল্প চাইলে আরও বেশি করতে হবে। এর মানে এআই চ্যাটবটগুলোকে তাদের ক্যাপাবিলিটি নিয়ে সৎভাবে প্রশ্নের উত্তর দিতে নিশ্চিত করা এবং হিউম্যান সাপোর্ট টিমগুলোকে ইউজারদের সঠিকভাবে অ্যাড্রেস করার জন্য যথেষ্ট রিসোর্স দেওয়া।
ওপেনএআই সম্প্রতি শেয়ার করেছে কীভাবে এটা চ্যাটজিপিটিতে সাপোর্ট অ্যাড্রেস করছে, যাতে এআই কোরে আছে। কোম্পানি বলছে, তার ভিশন হলো “সাপোর্টকে এআই অপারেটিং মডেল হিসেবে রিইম্যাজিন করা যা কন্টিনিউয়াসলি লার্ন করে এবং ইমপ্রুভ করে।”
কিন্তু অ্যাডলার বলেন, ইউজার হেল্প চাইার আগেই চ্যাটজিপিটির ভ্রান্তির সর্পিল প্রিভেন্ট করার উপায় আছে।
মার্চে, ওপেনএআই এবং এমআইটি মিডিয়া ল্যাব যৌথভাবে চ্যাটজিপিটিতে ইমোশনাল ওয়েল-বিয়িং স্টাডি করার জন্য একটা ক্লাসিফায়ার স্যুট ডেভেলপ করে এবং ওপেন সোর্স করে। সংস্থাগুলোর লক্ষ্য ছিল এআই মডেলগুলো কীভাবে ইউজারের ফিলিংস ভ্যালিডেট বা কনফার্ম করে তার মূল্যায়ন করা, অন্যান্য মেট্রিকস সহ। তবে, ওপেনএআই সহযোগিতাটাকে প্রথম ধাপ বলেছে এবং টুলগুলো প্র্যাকটিসে ব্যবহারের কমিটমেন্ট দেয়নি।
অ্যাডলার ব্রুকসের চ্যাটজিপিটির সাথে কথোপকথনের কিছু অংশে ওপেনএআই-এর ক্লাসিফায়ারগুলো রেট্রোঅ্যাকটিভলি অ্যাপ্লাই করেন এবং পান যে এগুলো বারবার চ্যাটজিপিটিকে ডিল্যুশন-রেইনফোর্সিং বিহেভিয়রের জন্য ফ্ল্যাগ করে।
২০০ মেসেজের একটা স্যাম্পলে, অ্যাডলার পান যে ব্রুকসের কথোপকথনে চ্যাটজিপিটির ৮৫% এরও বেশি মেসেজ “অটল সম্মতি” (unwavering agreement) দেখিয়েছে ইউজারের সাথে। একই স্যাম্পলে, ৯০% এরও বেশি মেসেজ “ইউজারের ইউনিকনেস অ্যাফার্ম” করেছে। এই কেসে, মেসেজগুলো সম্মতি দিয়েছে এবং পুনরায় নিশ্চিত করেছে যে ব্রুকস একটা জিনিয়াস যে বিশ্বকে বাঁচাতে পারে।

ব্রুকসের কথোপকথনের সময় ওপেনএআই সেফটি ক্লাসিফায়ার চ্যাটজিপিটির কথোপকথনে অ্যাপ্লাই করছিল কি না তা স্পষ্ট নয়, কিন্তু নিশ্চয়ই এরকম কিছু ফ্ল্যাগ করত।
অ্যাডলার সাজেস্ট করেন যে ওপেনএআই আজকের মতো এই সেফটি টুলগুলো প্র্যাকটিসে ব্যবহার করবে—এবং কোম্পানির প্রোডাক্টগুলোতে অ্যাট-রিস্ক ইউজারদের স্ক্যান করার উপায় ইমপ্লিমেন্ট করবে। তিনি নোট করেন যে ওপেনএআই জিপিটি-৫-এ এরকম কোনো অ্যাপ্রোচ করছে মনে হচ্ছে, যাতে সেনসিটিভ কোয়েরিগুলোকে সেফার এআই মডেলে ডিরেক্ট করার জন্য একটা রাউটার আছে।
প্রাক্তন ওপেনএআই রিসার্চার ভ্রান্তির সর্পিল প্রিভেন্ট করার আরও কয়েকটা উপায় সাজেস্ট করেন।
তিনি বলেন, কোম্পানিগুলোকে চ্যাটবট ইউজারদের ফ্রিকোয়েন্টলি নতুন চ্যাট শুরু করতে নজ করতে হবে—ওপেনএআই বলছে এটা করে এবং দাবি করে যে তার গার্ডরেলগুলো লংগার কথোপকথনে কম ইফেকটিভ। অ্যাডলার আরও সাজেস্ট করেন, কোম্পানিগুলো কনসেপচুয়াল সার্চ ব্যবহার করবে—কীওয়ার্ডের বদলে কনসেপ্ট সার্চ করার উপায়—তাদের ইউজারদের মধ্যে সেফটি ভায়োলেশন আইডেন্টিফাই করতে।
এই উদ্বেগজনক গল্পগুলো প্রথম উঠে আসার পর থেকে ওপেনএআই চ্যাটজিপিটিতে ডিসট্রেসড ইউজারদের অ্যাড্রেস করার জন্য সিগনিফিক্যান্ট স্টেপস নিয়েছে। কোম্পানি দাবি করে যে জিপিটি-৫-এ সাইকোফ্যান্সির রেট কম, কিন্তু ইউজাররা জিপিটি-৫ বা ফিউচার মডেলে এখনও ভ্রান্তির র্যাবিট হোলে পড়বে কি না তা অস্পষ্ট।
অ্যাডলারের বিশ্লেষণ অন্যান্য এআই চ্যাটবট প্রোভাইডাররা কীভাবে তাদের প্রোডাক্টগুলোকে ডিসট্রেসড ইউজারদের জন্য সেফ করবে তার প্রশ্নও তুলেছে। যদিও ওপেনএআই চ্যাটজিপিটির জন্য যথেষ্ট সেফগার্ড রাখতে পারে, সব কোম্পানি এটা ফলো করবে মনে হয় না।
এই গল্প আমাদের মনে করিয়ে দেয়, কীভাবে এআই আমাদের মানসিক জগতে প্রবেশ করছে—বাংলাদেশের মতো দেশে, যেখানে অনেকে চ্যাটবটকে বন্ধু বানিয়ে ফেলে, এমন ভ্রান্তির ঝুঁকি আমাদের ডিজিটাল মেন্টাল হেলথকে আরও সতর্ক করে তুলছে। তাই এআই ব্যবহার করার সময় নিজের সীমা মনে রাখুন!