წარმოიდგინეთ, რომ ექიმს თქვენი ტკივილის შესახებ უყვებით, ექიმის მზერა კი თქვენგან ეკრანისკენ ინაცვლებს. ეკრანი ამბობს, რომ დაბალი რისკის ქვეშ ხართ. თქვენი სხეული კი საპირისპიროს გეუბნებათ. ექიმს ამ ორს შორის ერთ-ერთის დაჯერება უწევს.
მთელ მსოფლიოში საავადმყოფოები ეჯიბრებიან ერთმანეთს, რათა კლინიკებში მრავალრიცხოვანი ალგორითმები დანერგონ — სიმპტომების შემმოწმებელი ინსტრუმენტებიდან (რომლებიც პაციენტებს პრიორიტეტულობის მიხედვით ანაწილებენ) დიაგნოსტიკის მხარდამჭერ ხელოვნური ინტელექტის სისტემებამდე. მიზანი ეფექტიანობა, კოორდინაცია და მეტი სიზუსტეა.
თუმცა ეს სისტემები აკეთებენ კიდევ ერთ რამეს, რაზეც ბროშურებში იშვიათად საუბრობენ: ისინი ჩუმად წყვეტენ, ვისი ინფორმაციაა სანდო, რომელი სიმპტომებია მნიშვნელოვანი და როგორ უნდა იქნას განმარტებული პაციენტის ნათქვამი.
მე ამას დინამიკურ ალგორითმულ მანიპულაციას ვუწოდებ.
მანიპულაცია მანიპულატორის გარეშე
„სამედიცინო მანიპულაცია“ აღწერს პაციენტებს, რომელთა სიმპტომებსაც კლინიცისტები, ხშირად სქესის, რასის ან ქრონიკული დაავადებების საფუძველზე, უგულებელყოფენ ან ხელახლა განმარტავენ.
კრიტიკოსები მიიჩნევენ, რომ ეს სიტყვა არაზუსტად გამოიყენება, რადგან მანიპულაცია განზრახ მოტყუებას გულისხმობს, ექიმების უმრავლესობას კი მსგავსი გეგმა არ ამოძრავებს. ექიმები მოქმედებენ გაუცნობიერებელი წინასწარგანწყობებით, ინსტიტუციური რუტინითა და დამკვიდრებული ექსპერტული იერარქიებით.
თუმცა მიყენებული ზიანი რაიმე მოტივაციით არ განისაზღვრება. ზიანი განისაზღვრება იმით, თუ რა ემართება პაციენტს, რომელიც ეჭვქვეშ აყენებს საკუთარ აღქმას და მოკლებულია სიტყვებს, რომლებიც საკუთარი გამოცდილების ასახსნელად სჭირდება.
ალგორითმები ამ საკითხის უგულებელყოფას შეუძლებელს ხდის. პროგრამულ უზრუნველყოფას არ გააჩნია განზრახვა. მას არ შეუძლია შეთქმულების მოწყობა ან მოტყუება.
მიუხედავად ამისა, საკუთარი ავტორიტეტით ამ ალგორითმებს შეუძლიათ გააბათილონ პაციენტის ნათქვამი, მისი განცდები მკაცრ კატეგორიებში მოაქციონ და პაციენტს შეუქმნან განცდა, რომ მისი საკუთარი გამოცდილება არასანდოა.
ეს არის მანიპულაცია მანიპულატორის გარეშე.
პირველი არის მონაცემთა ძალადობა. სამედიცინო მონაცემთა ბაზები, როგორც წესი, გადახრილია თეთრკანიანი, მამრობითი სქესის და სოციო-ეკონომიკურად უპირატეს მდგომარეობაში მყოფი პოპულაციებისკენ. ამ ჩარჩოს მიღმა მყოფი პაციენტები სტატისტიკურად უხილავები ხდებიან.
მაგალითად, გულმკერდის ტკივილი ქალებში განსხვავებულად ვლინდება, ვიდრე მამაკაცებში, თუმცა გულ-სისხლძარღვთა მონაცემები არაპროპორციულად ასახავს მამაკაცთა პროფილებს.
პულსოქსიმეტრებმა, რომლებიც ძირითადად ღია ფერის კანის მქონე პაციენტებზეა მორგებული, მუქკანიან პაციენტებში შესაძლოა სისხლში ჟანგბადის დონე რეალურზე მაღალი აჩვენოს და საშიშად დაბალი მაჩვენებლები დამალოს. თუ ტრიაჟის ინსტრუმენტები ამ გაზომვებს აბსოლუტურ ჭეშმარიტებად მიიღებს, შეცდომა სისტემის შემდგომ ეტაპებსაც გადაეცემა.
მეორე პრობლემა გაუმჭვირვალობაა. შეგიძლიათ ექიმის მსჯელობის ლოგიკა ეჭვქვეშ დააყენოთ, მაგრამ ვერ შეედავებით შეფასების სისტემას, რომლის შექმნის პრინციპიც დაფარულია როგორც თქვენთვის, ისე ხშირად თავად ექიმისთვისაც.
ავიღოთ აშშ-ის ასობით საავადმყოფოში გამოყენებული სპეციალური გამაფრთხილებელი სისტემა — Epic Sepsis Model-ი. (Epic Sepsis Model-ი არის ხელოვნურ ინტელექტსა და მონაცემთა ანალიტიკაზე დაფუძნებული ადრეული გაფრთხილების ინსტრუმენტი, რომელიც ინტეგრირებულია ჯანმრთელობის ელექტრონულ ბარათებში, რათა წინასწარ განსაზღვროს პაციენტებში სეფსისის (სისხლის მოწამვლის) რისკი).
დამოუკიდებელმა კვლევამ აჩვენა, რომ ეს სისტემა შემქმნელის მიერ გაცხადებულზე ბევრად უარესად მუშაობდა: მან სეფსისის შემთხვევების მხოლოდ ერთი მესამედის დაფიქსირება შეძლო, სამაგიეროდ ხშირად იძლეოდა ცრუ განგაშს. ვერც ჯანდაცვის სპეციალისტებმა და ვერც პაციენტებმა ვერ დაინახეს ამ გაფრთხილებების მიღმა არსებული ლოგიკა.
მესამე პრობლემა ავტომატიზებული ავტორიტეტია. როდესაც ალგორითმი „საპირისპიროს ამბობს“, პაციენტები ზეწოლას განიცდიან და საკუთარ გამოცდილებაში ეჭვი ეპარებათ, ხოლო ჯანდაცვის სპეციალისტებს ერიდებათ ეგრეთ წოდებული ობიექტური რეკომენდაციის უგულებელყოფა.
ასეთმა ავტორიტეტმა შეიძლება რეალურ მტკიცებულებებსაც კი გადააჭარბოს. მოგვიანებით გასაჯაროებულმა შიდა დოკუმენტებმა აჩვენა, რომ IBM Watson for Oncology, რომელიც მთელ მსოფლიოში სანდო, ხელოვნურ ინტელექტზე დაფუძნებულ სისტემად იყიდებოდა, სახიფათო და მცდარ სამკურნალო რეკომენდაციებს გასცემდა და, თანაც, ძირითადად ჰიპოთეტურ შემთხვევებზე იყო გაწვრთნილი.
მეოთხე პრობლემა უკუკავშირის ციკლია. პაციენტები და კლინიცისტები სწავლობენ, თუ რომელი აღწერილობები აღიქმება სისტემის მიერ „შემთხვევად“ და საკუთარი გამოხატვის ფორმებს ამას არგებენ. ასე შეცვლილი განსაზღვრებები იქცევა ახალ მონაცემებად, რაც კიდევ უფრო აძლიერებს იმ კატეგორიებს, რომლებმაც თავიდანვე ვერ შეძლეს პაციენტის სწორად ამოცნობა.
დროთა განმავლობაში ადამიანები სიმპტომების აღწერას იწყებენ არა ისე, როგორც მათ რეალურად განიცდიან, არამედ ისე, როგორც ეს მანქანისთვის იქნება „გასაგები“.
რატომ არ განიხილება ეს „შეცდომად“ (ტექნიკურ ხარვეზად)?
შესაძლოა მაცდურად მოგვეჩვენოს ამ ყველაფრის განხილვა ტექნიკურ ხარვეზად, რომლის გამოსწორებაც უკეთესი საინჟინრო მუშაობითაა შესაძლებელი. თუმცა ეს სტატია ამტკიცებს, რომ საქმე ასე არ არის.
ალგორითმები თავისით არ ჩნდება. მათ გამოყენებას საავადმყოფოები და ჯანდაცვის სისტემები ირჩევენ. ეფექტიანობის, იურიდიული პასუხისმგებლობისა და მასშტაბირებადობის მიზეზების გამო, ისინი რთული ადამიანური ნარატივების ნაცვლად სტანდარტიზებულ, შემთხვევებზე დაფუძნებულ მონაცემებს ანიჭებენ უპირატესობას.
ეს ღრმად ფესვგადგმული ადმინისტრაციული ინსტინქტია. ინსტიტუტები ყოველთვის ამჯობინებდნენ იმას, რისი წაკითხვა, დათვლა და კონტროლიც შეუძლიათ, ვიდრე იმას, რასაც ვერ კითხულობენ, ვერ ითვლიან და ვერ აკონტროლებენ. ის, რაც სისტემისთვის „წაუკითხავია“ (გაუგებარია), სისტემის მიერ სრულფასოვნად ვერც იმართება.
ამდენად, განზრახვა პროცესის დასაწყისშივე იჩენს თავს. სულაც არ არის აუცილებელი, ვინმეს კონკრეტული პაციენტის მონათხრობის უარყოფის მიზანი ამოძრავებდეს. თუმცა პაციენტის პირადი ნათქვამის სტანდარტიზებული მონაცემებით ჩანაცვლების გადაწყვეტილება გააზრებული საპროექტო არჩევანია, და ამაზე საბოლოოდ ვიღაც აგებს პასუხს.
რა უნდა შეიცვალოს?
გამოსავალი მედიცინაში ხელოვნური ინტელექტის აკრძალვა არ არის. ეს ნიშნავს, რომ შევწყვიტოთ პაციენტების აღქმა მონაცემთა წყაროდ და მათ მივუდგეთ როგორც ცოდნის მქონე ინდივიდებს.
ეს, პირველ რიგში, ნიშნავს პაციენტებისთვის არა მხოლოდ ალტერნატიული სამედიცინო აზრის მიღების, არამედ ალგორითმული დასკვნის გასაჩივრების უფლების მინიჭებასაც.
პაციენტებს უნდა შეეძლოთ ამ შედეგების მიღმა არსებული კატეგორიების, გამოყენებული ინდიკატორებისა და ღირებულებითი შეფასებების ეჭვქვეშ დაყენება. ამას გარდა, მათ უნდა მიიღონ არა მხოლოდ ტექნიკური დასკვნა, არამედ საკუთარ გამოცდილებასთან დაკავშირებული განმარტებები.
მეორე — სისტემებში უნდა ჩაიდოს ეპისტემური სამართლიანობა. ეს გულისხმობს სასწავლო მონაცემებისა და შედეგების დამოუკიდებელ აუდიტს, რომელშიც ეთიკის სპეციალისტები და პაციენტთა უფლებების დამცველებიც იქნებიან ჩართულნი.
აღნიშნული სამართლიანობა გულისხმობს იმ პირების ჩართვას უკვე დიზაინის ეტაპზე (და არა პროგრამის არქიტექტურის საბოლოოდ ჩამოყალიბების შემდეგ), რომელთა არასწორად გაგების ალბათობაც ყველაზე მაღალია. ასევე, შესყიდვის ეტაპზე იმის შეფასებას, ითვალისწინებს თუ არა ინსტრუმენტი პაციენტის ნაამბობს, თუ მას უბრალოდ ფორმალური თანხმობის გამცემ ობიექტამდე ამცირებს.
მესამე — პასუხისმგებლობა უნდა განაწილდეს. პროგრამის შემქმნელებმა დოკუმენტურად უნდა აღწერონ სისტემის შეზღუდვები და ისე დააპროექტონ, რომ შესაძლებელი იყოს მისი გადახედვა და განხილვა.
სამედიცინო პერსონალმა ალგორითმული შედეგები პაციენტის ნათქვამთან უნდა შეადაროს. დაწესებულებებმა უნდა შექმნან განყოფილებები, რომლებიც დააკვირდებიან გამოყენების პროცესს და მოაგვარებენ უთანხმოებებს. კანონმდებლებმა კი ინფორმაციული სამართლიანობა სამედიცინო მომსახურების სტანდარტებში უნდა ასახონ.
ამ ეტაპზე აუცილებელია ერთი გაფრთხილების გაკეთება.
აქ მოყვანილი არგუმენტი კონცეპტუალური და ეთიკურია. ის არ აცხადებს პრეტენზიას იმაზე, რომ გაზომოს, რამდენად ხშირად ხდება მსგავსი ზიანი; ამისთვის ემპირიული კვლევებია საჭირო. თუმცა პრობლემა, რომელსაც სახელსაც კი ვერ არქმევთ, ისეთი პრობლემაა, რომელსაც ვერც გამოიკვლევთ.
კითხვა აღარ მდგომარეობს იმაში, ექნება თუ არა ჯანდაცვას ციფრული შუამავლობა. ეს საბოლოოდ აუცილებლად მოხდება.
კითხვა იმაშია, გააფართოებს თუ შეავიწროებს ეს შუამავალი სისტემები სივრცეს, სადაც პაციენტებს ნამდვილად უგებენ.
ჯანდაცვის სისტემა, რომელსაც მის წინ მდგომი ადამიანის არ სჯერა, აღარ არის ჯანდაცვის სისტემა. მედიცინა ნდობას ემყარება და, რაც არ უნდა ზუსტი იყოს, ვერცერთი მოდელი ვერ შეცვლის პაციენტის ხმას.
