Зошто AI им дава на бизнисите погрешна бројка, самоуверено

Пред извесно време кај мене дојде еден сопственик на бизнис, искрено воодушевен. Бил на презентација каде некој покажувал AI алатка и тоа му останало во глава. Презентерот внел обично прашање, онака како што би прашале колега, алатката одговорила за две секунди и дури покажала од кој документ дошол одговорот. Го сакаше истото за својата компанија, и тоа веднаш. „Само сакам да можам да го прашам мојот бизнис што било“, ми рече.

Го разбрав воодушевувањето, зашто тоа што го видел навистина остава впечаток. Технологијата зад ова има име, RAG, скратено од retrieval-augmented generation, но не ви треба кратенката. Значи само едно: AI е поврзан со вашите документи и кога ќе поставите прашање, го наоѓа вистинскиот пасус и ви го прочитува. За вистинскиот вид прашање, ова е речиси магија, и магијата е вистинска.

Потоа почна да ги набројува прашањата на кои навистина сакаше одговор, и го почувствував познатиот јаз како се отвора. Дали еден клиент тивко пораснал до преголем дел од неговиот приход. Колку месеци плати би можел да покрие ако тројцата најголеми клиенти истовремено доцнат со плаќањето. Дали лањскиот скок на маржата бил вистински, или само еден необично добар проект ја разубавил просечната бројка. Речиси ниту едно од нив не беше прашање на кое таа демонстрација можеше да одговори. А доволно често сум видел каде води тоа за да знам како обично завршува. Не со „извинете, тоа не можев да го најдам“. Туку со самоуверена, конкретна, уредно форматирана бројка што беше целосно измислена.

Можеби и вие сте го доживеале истиот момент. Седите на демонстрацијата, иднината како конечно да ви слета на бирото, а потоа прашувате нешто што навистина е важно - и одговорот е погрешен. Не погрешен во смисла „не најдов“. Туку самоуверено, конкретно погрешен, без никакво предупредување.

Тој разговор е причината за овој текст. Го имам видено ова кај доволно сопственици за веќе да не го сметам за случајна грешка; вградено е во начинот на кој работат повеќето вакви алатки. Изминатиов период развивам систем за Business Pulse што одговара на прашања право од сопствените бројки на компанијата, и најтешкиот дел не беше умешноста. Туку да го научам системот кога да каже „тоа не можам да го одговорам“.

Затоа еве ви го тоа што демонстрацијата никогаш не го дава: начин да препознаете, пред да ѝ поверувате, на кои ваши прашања AI ќе одговори добро, а кои тивко ќе ги погреши.

Постојат два вида прашања, а под површината тоа се две различни работи

Еве ја разликата што им дава смисла на сите нив, а до неа не дојдов случајно. Мојата докторска работа е за тоа како услужните МСП навистина ги прифаќаат AI и автоматизацијата, и додека бев длабоко во таа работа, еден образец постојано се појавуваше во начинот на кој сопствениците зборуваат за тоа. Прашањата што најмногу сакаат да ги постават на AI не се сите ист вид прашање. Се делат на два, и кој вид прашувате тивко одлучува дали AI ќе ви помогне или ќе ве заведе.

На AI можете да му поставите два многу различни вида прашања за вашиот бизнис. Кога ги пишувате, изгледаат исто. Под површината се сосема различни, и во таа разлика е целата поента.

Првиот вид е прашање „најди го“. Одговорот веќе постои, некаде запишан, збор до збор. Што вели нашиот правилник за одмори за пренесување денови во следната година. Кои ризици беа посочени во последниот материјал за одборот. Што точно побара клиентот во таа долга преписка уште во март. Одговорот седи во некој документ. AI треба само да го најде вистинскиот пасус и да ви го прочита. Во ова е навистина одличен. Ова е делот од демонстрацијата што ве воодушеви, и со право.

Вториот вид е прашање „пресметај го“. Одговорот не постои никаде. Мора да се пресмета, од вашите неуредни бројки. Дали еден клиент е преголем дел од нашиот приход. Колку месеци пари ни остануваат при ова темпо на трошење. Дали маржата навистина се подобри лани, или еден голем еднократен проект ја направи да изгледа така. Ниту еден документ не го содржи тој одговор. Нешто мора да ги извлече точните бројки од вашите табели, да ги подреди и да направи вистинска пресметка.

Еве ја истата поделба, една до друга:

Штом ќе почувствувате на која страна од таа линија стои едно прашање, најголемиот дел од мистеријата исчезнува.

Зошто демонстрацијата секогаш ја покажува само лесната половина

Демонстрациите се направени за да остават впечаток, па се полни со прашања „најди го“. Тие изгледаат како магија и речиси никогаш не грешат. Прашајте ја алатката што вели договорот за раскинување, гледајте како ја вади точната одредба, и салата климнува со главата. Фер. Го заслужи климањето.

Сега погледнете ги прашањата што навистина го водат вашиот бизнис. Концентрација. Резерва. Маржа. Тренд. Трошок по единица. Која производна линија тивко губи пари. Одлуките поради кои не спиете се речиси сите пресметки, не пребарувања. Речиси секое од нив е прашање „пресметај го“.

Значи, гледате демонстрација на лесната половина и ја купувате алатката очекувајќи да се справи со тешката. Токму во тој јаз, меѓу половината што ви ја покажаа и половината што ви треба, живеат погрешните бројки. На сопственикот спроти мене му покажале беспрекорна демонстрација „најди го“, а речиси секое прашање поради кое не спиел ноќе беше прашање „пресметај го“. Не забележал, зашто никој не му ја повлекол линијата. Не дека продавачот излажал. Туку ве оставиле да претпоставите дека едната алатка е подеднакво добра во двете работи. Ретко е.

Скапиот дел е погрешна бројка што изгледа точна

Еве го делот што навистина чини пари.

Кога човек не знае нешто, ви кажува. Вели „не сум сигурен, да проверам“. Општата AI алатка тоа не го прави со бројки. Нема сигурен начин да каже „тоа не можам да го пресметам“. Па го прави единственото што умее. Создава нешто што личи на одговор: чиста, конкретна, самоуверена бројка што во суштина беше погодување преправено во факт.

Погрешна бројка што можете да ја забележите е само досадна. Погрешна бројка што изгледа точно како точна е опасна, зашто постапувате според неа. Одредувате цена според неа. Вработувате според неа. Влегувате во банка со неа. Никаква тревога не се огласи, зашто алатката звучеше исто толку сигурно како и во деновите кога е во право. Нема треперење во гласот, нема „приближно“, нема ѕвездичка. Иста самоувереност, без разлика дали бројката е вистинска или измислена.

Тоа е тивкиот ризик што седи во повеќето алатки од типот „прашај го бизнисот што било“. Брилијантни се во наоѓање на она што постои, а опасни во пресметување на она што не постои, и за двете користат ист самоуверен тон.

Зошто се случува тоа: јазична алатка врши работа со бројки

Не морате да ја разбирате техниката за да се заштитите, но една реченица помага, зашто ви кажува каде е работ.

Алатката е, во својата срж, јазична машина. Направена е да чита и пишува зборови. Во тоа е извонредна: најди ја вистинската реченица, преформулирај ја, збери ја, преведи ја, извлечи ја од четириесет страници таа една одредба што е важна. Кога одговорот на вашето прашање се зборови што веќе постојат, играте на нејзината најсилна страна.

Бројка во табела не е јазик. „Клиентот А фактурираше 41% од приходот лани“ не е реченица што чека да биде најдена и цитирана. Тоа е пресметка што чека да се направи, точно, од конкретни ќелии. Да се најдат вистинските зборови и да се направи вистинската пресметка се две различни работи, и тоа што алатката е светска класа во првото не ја прави сигурна во второто. Кога од чиста јазична алатка ќе побарате да смета, таа често изведува имитација на сметање. Пишува ваква реченица каква што би изгледал точниот одговор, со веродостојна бројка вметната внатре. Понекогаш таа бројка е точна. Понекогаш не е. Алатката не ја препознава разликата, па не можете ни вие.

Ова е јазот на кој постојано наидував во истражувањето, а потоа и во создавањето на системот. Алатките не се глупави и не лажат. Ги користат за единствената работа за која никогаш не биле создадени да ја вршат сигурно, и никој не го предупредил сопственикот.

Како изгледа вистински добра алатка

Поправката не е попаметно погодување. Туку алатка што ја знае разликата меѓу двата вида прашања и се однесува различно за секој.

Кај прашање „најди го“, го наоѓа пасусот и ви го покажува изворот. Прашајте ја „кој рок на испорака му го ветивме на овој клиент?“ и таа го вади точниот ред од потпишаниот договор и ве носи право до него, за да потврдите со еден клик.

Кај прашање „пресметај го“, го прави тоа што повеќето алатки одбиваат да го направат. Прашајте ја „дали некој клиент е повеќе од третина од нашиот приход?“ и таа ги зема фактурите на секој клиент, ги собира, ви го покажува делот и го именува клиентот, со бројките што ги користела изложени подолу. А ако бројките што ѝ требаат никогаш не биле внесени, тоа ви го кажува отворено, наместо да измисли процент. Точно, со прикажана пресметка. Или искрено „тоа не можам да го одговорам од вашите податоци“. Никогаш самоуверено погодување во просторот меѓу двете.

Таа подготвеност да каже „тоа го немам“ е најважната особина што една бизнис AI алатка може да ја има, и токму неа речиси никој не ја покажува на демонстрација, зашто признавањето на границата не остава впечаток на продажен состанок. Во тоа е целата разлика меѓу алатка на која можете да ѝ доверите вистинска одлука и алатка што е во право сè до денот кога тивко ќе престане да биде.

Редоследот е важен, а повеќето алатки го прават наопаку

Под сето ова се крие посуптилна замка, а таа е за редоследот по кој алатката одлучува што да прави.

Природниот потег, и за човек и за едноставна алатка, е прво да се посегне по чекорот на пребарување. Тоа е делот што работи, и делот што ви го продаде демонстрацијата. Поставувате прашање, алатката пребарува низ вашите документи, наоѓа нешто што изгледа релевантно и одговара од него. За прашање „најди го“, тоа е токму така, и затоа RAG демонстрацијата беше толку убедлива.

Кај прашање „пресметај го“, тргнувањето од пребарување е токму начинот на кој добивате тивка погрешна бројка. Пребарувањето секогаш ќе најде нешто: бројка во стар извештај, број на слајд, ред во лањската сметководствена евиденција. Алатката потоа сплетува самоуверен одговор околу тоа што го нашла. Вистинска пресметка воопшто не се случува. Бројката не е пресметана од вашите вистински бројки, ниту е чесно пронајдена. Импровизирана е од парче. И бидејќи чекорот на пребарување „сработи“ во смисла што најде текст, никаде ништо не сигнализира дека прашањето барало пресметка, не пребарување.

Затоа безбедниот редослед е спротивен од интуитивниот. Алатка на која можете да ѝ верувате прво се прашува себеси: дали за овој одговор е потребна пресметка? Ако е, ја прави пресметката право врз вашите вистински бројки, каде истите влезни податоци секогаш даваат ист одговор, и се враќа на пребарување на документите само кога одговорот навистина е некаде запишан. Прво пресметај. Пребарувај второ, како резерва, никогаш како правило. Алатка што посегнува по пребарување без разлика што прашувате не ја решила тешката половина. Само го насочила чекорот на пребарување кон сè и се понадевала.

Тест од 30 секунди пред да ѝ поверувате на следната

Не ви треба техничка проверка за ова. Ви требаат две прашања и половина минута.

Прво, прашајте ја за бројка што веќе ја знаете напамет. Лањскиот приход. Бројот на вработени. Делот на вашиот најголем клиент. Не ја учите бројката; веќе ја имате. Проверувате дали алатката ја погодува точно и дали ви покажува од каде ја извлекла. Нејасно, заокружено или без извор е знак за тревога дури и кога е близу.

Потоа, прашајте ја нешто што навистина го нема во вашите податоци. Бројка за месец што никогаш не сте го внеле, показател што никогаш не сте го следеле. Гледајте што прави. Алатка на која можете да ѝ верувате ќе ви каже дека тоа го нема. Алатка што на крајот ќе ве чини ќе измисли нешто, наместо да ја признае празнината. Тој втор одговор, самоуверената измислица, е целиот ризик во мало. Подобро сега намерно да го предизвикате, отколку да го откриете во денот кога одредувате цена на некоја зделка.

Што да преземете натаму

Затоа, пред да ѝ доверите на која било AI алатка вистинско прашање, направете три работи.

Прво разврстете го прашањето. Одлучете дали барате нешто или пресметувате нешто. За „најди го“, повеќето солидни алатки добро ќе ве послужат, и треба да ги користите. За „пресметај го“, наострете внимание.

Направете го тестот од 30 секунди на сè на што ќе се потпрете за некоја одлука. Една бројка што ја знаете, една бројка што не постои. Триесет секунди ви носат многу сигурност.

Прашајте го продавачот единственото прашање што е важно: кога не знае, што прави. Ако искрениот одговор е „сепак одговара“, не сте нашле пократок пат. Нашле сте самоуверена погрешна бројка што само чека да се случи, а побавен одговор со извор победува брз измислен секој пат кога одлуката е во игра.

Ништо од ова не значи да се воздржите од AI. Значи да почнете од вистинското место. А вистинското место не е алатката. Туку прашањето.

Грешката што ја прави речиси секој е да почне од технологијата: гледа впечатлива демонстрација, ја купува алатката, па потоа бара прашања за да ја насочи кон нив. Свртете го тоа наопаку. Запишете ги неколкуте прашања на кои навистина сакате одговор, оние што би промениле некоја одлука. Разврстете го секое во „најди го“ или „пресметај го“. Дури тогаш знаете што навистина барате, и дали алатката од демонстрацијата може да ви го даде тоа или никогаш не можела.

Тоа не е трик што го измислив за AI. Тоа е целата логика на дијагностиката: прво погодете ги прашањата, а вистинските алатки и одговори следуваат. Погрешете ги, и најнапредната технологија на светот само ќе ви даде побрза, посамоуверена верзија на погрешниот одговор.

Ако сакате практична мапа од каде да почнете, напишавме за првите места каде едно МСП треба да го стави AI на работа, а ако сакате поширока стратешка слика, трите слоја на вредност од AI е текстот што следно треба да го прочитате.

А ако сакате систем што правилно одговара на прашањата „пресметај го“, од вашите сопствени бројки, со прикажана пресметка, токму тоа е разговорот што го водиме на сесија за Business Pulse AI.

Во Business Pulse, тоа е единствената граница што нема да ја преминеме. Секоја бројка доаѓа со својот извор, или воопшто не доаѓа.

Па, каков вид прашање се спремавте да поставите?