DoE (Design of Experiments)
Cześć, mam na imię Adam. Od ponad 20 lat zajmuję się szeroko pojętym doskonaleniem procesów. Miałem okazję występować pod szyldem: Six Sigma, Lean Sigma, Continiuous Improvement, KVP (kontinuierliche Verbesserungsprozesse), Kaizen, Factory Excellence. Z tymi różnymi metodami, to tak jakby grać w piłkę nożną w różnych klubach, ale zawsze trzeba piłkę kopać ;-). Tym razem nie skupię się na metodologiach a na wybranym narzędziu jakim jest DoE.
Czy mieliście tak, że pracowaliście miesiącami i właściwie to nie zmieniało nic w Waszym życiu zawodowym? Z kolei od czasu do czasu pojawia się w pracy wydarzenie, które uruchamia serię innych zdarzeń i już nic nie jest takie jak wcześniej?
Tak było w mojej karierze zawodowej w przypadku pewnego DoE. Zacząłem wówczas pracę w firmie Macopharama. Był rok 2007. I na samym początku mogłem przecież coś zepsuć przez nieznajomość firmy, procesów i ludzi lub mogłem wykorzystać szansę (tę jedną, jedyną), żeby zrobić dobre wrażenie i zyskać kredyt zaufania, by móc kontynuować dalsze działania.
Niewątpliwie takim przełomowym zdarzeniem dla mnie było DoE, którego opis znajdziecie w dalszej części artykułu.
– Było to sprawdzenie w boju, w realnej rzeczywistości firmy sprawdzenie ściśle naukowego podejścia jakim jest DoE.
– Powodzenie eksperymentu dało olbrzymi kredyt zaufania, który pozwolił na kolejne działania tj.:
– Wprowadzenie One Piece Flow (przepłwy pojedynczych sztuk).
– SMED – Single Minute Exchange of Die (przezbrajanie w czasie pojedynczych minut).
– MES – Manufacturing Execution System (system do zbierania i przetwarzania danych z produkcji w czasie rzeczywistym.
DoE to z angielskiego Design of Experiment, co tłumaczy się jako Planowanie Eksperymentu. Nazwa może zmylić, gdyż wskazuje na to, że każdy eksperyment trzeba zaplanować i ktoś może pomyśleć, że poza planowaniem nie znajdzie niczego więcej. Planowanie Eksperymentu to jednak kompletna metoda, która zawiera kilkanaście wariantów (od tych najprostszych, po te najbardziej skomplikowane). W wydawnictwach nt. DoE znajdziecie na pewno informację o:
– Definicji problemu.
– Wyborze zmiennej wyjściowej, która może być zwana Y-kiem lub outputem.
– Wyborze faktorów (mogą być również nazywane czynnikami, zmiennymi X, inputami).
– Wyborze optymalizacji: czy szukamy faktorów wpływających na średnią, czy takich, które wpływają na rozrzut a może na jedno i drugie.
– Wyborze poziomu faktorów (minimum to 2 poziomy, np. temperatura 40 i 60 stopni Celsjusza).
– Wyborze planu eksperymentu.
– Analizie wyników.
Wprowadzenie do procesu poddanemu DoE.
Przed jakimkolwiek eksperymentem koniecznie trzeba poznać proces wytwarzania produktu, charakterystyki procesu i produktu i maszyny na jakich jest wytwarzany produkt. Oczywiście w ramach planowania eksperymentu nastąpi zawężenie liczby charakterystyki i wybór maszyn, gdyż nie sposób sprawdzać wszystkiego w DoE.
Moje DoE dotyczyło procesu napełniania układów do poboru krwi płynem konserwującym. Na Rys. 1 widać układ typu FQD z filtrem krwi wykorzystywany w punktach krwiodawstwa. Proces napełniania był realizowany na napełniarkach przedstawionych na Rys. 2. Wybór Y-ka wydawał się oczywisty ze względu na problemy ze stabilnością procesu napełniania. Pomiary historyczne wskazywały na wahania objętości płynów, które występowały z powodu nieznanych przyczyn.
Czyli Y-grek to objętość płynu, ale również brałem pod uwagę odchylenie standardowe objętości płynu lub zdolność procesu napełniania. Muszę wspomnieć o krokach, które trzeba zrobić przed DoE. Nawet jeżeli DoE nie jest częścią projektu Six Sigma, to należy sprawdzić przynajmniej 2 zagadnienia:
1.Zdolność systemu pomiarowego.
2.Badanie procesu pod kątem zdolności początkowej.
Wyjaśnienia do p. 1). Do pomiaru objętości wykorzystano wagę korzystając z proporcji, że 1 ml płynu konserwującego miał masę 1,025 g. Do dalszych badań można było przyjąć, że 1 g = 1 ml. Jakkolwiek waga okazała się dobrym urządzeniem pomiarowym, co wynika z Rys. 3, to analiza procedur systemu pomiarowego spowodowała konieczność natychmiastowej rezygnacji z tzw. tarowania wagi. Więcej o MSA i konieczności jej wykonania przed eksperymentami w 2 artykułach:
Wyjaśnienia do p. 2). Specjalnie napisałem „pod kątem zdolności procesu” a nie badanie zdolności procesu, gdyż chodzi mi o jakiekolwiek badanie procesu istniejącego, które pokaże poziom zmienności procesu w rozbiciu na poziomy. W moim wypadku zrobiłem badanie, które nazwałem SPC i opisałem w osobnym artykule. Bardzo ważne dla mnie było to, że mogłem zrobić analizę schodząc do poziomu pojedynczej dyszy. Mając dane z SPC w łatwy sposób wyznaczyłem Cp (współczynnik zdolności krótkoterminowej), które został przedstawione w Tab. 1. Znalezienie tak dużych różnic w przypadku z pozoru identycznych maszyn jest bardzo dobrym prognostykiem, gdyż w sposób jasny wskazuje na potencjał poprawy. Jeżeli w przypadku jednej maszyny jest wysoki współczynnik Cp, to zapewne może być również w przypadku innych maszyn. Teraz pozostało odnaleźć przyczyny i w moim wypadku było to właśnie zadanie dla DoE.
Jak wybrać faktory (zmienne wejściowe)?
Żeby odpowiedzieć na to pytanie pewnie można by napisać osobną książkę lub – co najmniej – opasły rozdział w książce o DoE. Moim zdaniem warto zwrócić uwagę na:
– Doświadczenie zespołu (trzeba utworzyć mały zespół ds. DoE, chyba że DoE jest częścią projektu Six Sigma, wówczas zespół już istnieje).
– Dane historyczne np. dotyczące awarii oraz podjętych środków naprawczych.
– Analiza wielu zmiennych (multivary analysis) (tu będzie link do przyszłego artykułu).
– Wiedza nt. „fizyki” procesu, czyli np. proces spawania zależy od …, proces nitowania zależy od …, proces skręcania zależy od …. Słowo „fizyki” ująłem w cudzysłowie, gdyż może to być również proces chemiczny lub biologiczny. Ważne, aby rozumieć jego teoretyczne mechanizmy.
– Intuicja.
Rozumiem, że punkt „Intuicja” jest bardzo kontrowersyjny, bo co on ma wspólnego z naukowym podejściem? Nie będę się z nikim kłócić. Jeżeli ktoś jednak chciałby mnie zrozumieć, to niech zobaczy na historię ludzkich odkryć. Ile rzeczy odkryto, mimo że doświadczenie i ówczesna wiedza nie wskazywały na taki czy innych czynnik. W moim wypadku moja wiedza nt. napełniarek była znikoma, technicy (czyli członkowie zespołu) wskazali na kilka czynników a ja postawiłem na inny czynnik, który nie był wskazany przez nikogo, zwany później „przepływomierz”, mimo że technicy stanowczo odradzali. Im bardzie odradzali, tym bardziej chciałem sprawdzić właśnie ten czynnik. Ich zdaniem „przepływomierze” były idealnie skalibrowane w zewnętrznym laboratorium. Sprawdzenie „przepływomierzy” to ich zdaniem czyste marnotrawstwo czasu.
Przebieg DoE
Wybór faktorów i planu
DoE daje możliwość zbadania wpływu wielu faktorów (działających w pojedynkę lub w interakcjach) na czynnik wyjściowy, jednak poza możliwościami teoretycznymi metody np. zbadania 8 faktorów, trzeba również rozważyć czynnik kosztów i czasu. Ja zdecydowałem się na 3 faktory. Następnie wybrałem najprostszy plan: pełnoczynnikowy plan 2-poziomowy, który dawał 2^3 = 8 kombinacji faktorów.
Technicy wytypowali:
Stan techniczny dyszy (poziom -1 – dysza zużyta, krzywa, poziom +1 – dysza nowa, prosta).
Stan techniczny membrany (poziom -1 – membrana zużyta, poziom +1 – membrana nowa).
Ja się uparłem na:
Przepływomierz (poziom -1 – z napełniarki C3-C4, poziom +1 – napełniarki S7-S8).
Program Minitab generuje plan eksperymentu. Na podstawie planu można zorientować się jaki czynnik i w jakiej kolejności musi być zmieniany. Trzeba się było liczyć z 8 kombinacjami ustawień czynników. Ze względu na charakter faktorów (dyskretny) oraz dużą czasochłonność zamiany przepływomierza zdecydowałem się na kolejność przedstawioną na Tab. 2, gdzie jak widać zrezygnowałem z randomizacji kolejności kombinacji. W większości wypadków powinno się randomizować kolejności kombinacji, szczególnie dla faktorów, które mają możliwość płynnej regulacji.
Czasochłonność eksperymentu
Na wymianę dysz trzeba było przeznaczyć poniżej 1 min. Wymiana membrany to około 5 min, natomiast wymiana przepływomierza to około 2 godz. Dodatkowo, aby zmniejszyć liczbę wymian przepływomierza eksperyment przeprowadzono na napełniarce C3-C4, co oznaczało, że wykorzystano w pierwszych 4 kombinacjach zamontowany wcześniej przepływomierz. Następne 4 kombinacje wykonano po zamontowaniu przepływomierza z napełniarki S7-S8.
Na każdą kombinację wykonałem 30 napełnień dla każdej dyszy z osobna (lewej i prawej), poza tym każde napełnienie trzeba było sprawdzić na wadze. Daje to 30 x 2 x 8 = 480 napełnień. Cały eksperyment trwał pełną zmianę produkcyjną i został przeprowadzony w czasie wolnym od pracy.
Analiza DoE
Ta część jest prostsza niż mogłoby się wydawać. Ja używam program Minitab do tworzenia planu eksperymentu oraz do analizy. Cała tabela zawierała 480 wierszy. Fragment tabeli z wynikami jest w Tab. 3. W ostatniej kolumnie są wyniki pomiarów Y-eka.
W Minitabie wybieramy „Stat > DOE > Factorial > Analyze Factorial Design” i jesteśmy już tylko 3 kliknięcia od wyników zaprezentowanych na Rys. 4, Rys. 5 i Rys. 6. Wszystkie narzędzia wzajemnie się uzupełniają. Diagramy ułatwiają interpretację wyników przedstawionych w sposób liczbowy.
Wszystkie wyniki prezentowane na Rys. 4 to nic innego niż zestawienie wyników testowania wszystkich możliwych hipotez. Przeanalizujmy niektóre hipotezy:
1.Dysza (wiersz zaznaczony na niebiesko).
– Zagadnienie: czy zmienna wejściowa „Dysza” jest istotna?
– Hipoteza zerowa (Ho): Zmienna wejściowa „Dysza” nie wpływa na średnią pomiarów.
– Hipoteza alternatywna (Ha): Zmienna wejściowa „Dysza” wpływa na średnią pomiarów.
– Decyzję podejmujemy na podstawie P-Value (zaznaczone niebieską ramką). Uznajemy, że należy odrzucić Ho o ile P-Value jest mniejsze niż przyjęty poziom istotności przyjmowany zwykle jako 5%=0,05 lub 10%=0,1. P-Value = 0,000, co oznacza, że jest to dużo poniżej 0,05, zatem odrzucamy Ho i uznajemy, że zmienna „Dysza” wpływa w sposób istotny na średnią pomiarów.
2.Przepływomierz (wiersz zaznaczony na zielono).
– Zagadnienie: czy zmienna wejściowa „Przepływomierz” jest istotna?
– Na podstawie P-Value = 0,000 uznajemy, że należy odrzucić Ho, co oznacza, że zmienna „Przepływomierz” wpływa w sposób istotny na średnią pomiarów.
– Wpływ zmiennej „Przepływomierz” jest większy niż zmiennej „Dysza”, gdyż wartość bezwzględna z T-Value (oznaczonej zieloną ramką) jest większa dla zmiennej „Przepływomierz”.
3.Interakcja zmiennych „Dysza * Przepływomierz” (wiersz zaznaczony na żółto). Interakcja to jednoczesny wpływ dwu lub więcej zmiennych. Możemy mieć efekt synergii, czyli wzmocnienia lub przeciwnie efekt osłabienia.
– Zagadnienie: czy Interakcja zmiennych „Dysza * Przepływomierz” jest istotna?
– Na podstawie P-Value = 0,987 > 0,05 uznajemy, że nie ma podstaw do odrzucenia Ho, co oznacza, że ta interakcja nie wpływa w sposób istotny na średnią pomiarów.
Wyniki zaprezentowane na Rys. 4 można również zobaczyć na wykresie Pareto na Rys. 5 (po lewej) oraz na Normal Plot Rys. 5 (po prawej). Przykładowo efekt zmiennej C – „Przepływomierz” jest widoczny jako największy słupek na wykresie Pareto oraz jest widoczny jako punkt C, który jest najdalej położony w stosunku do prostej na Normal Plot. Każdy punkt położony blisko linii na Normal Plot oznacza, że średni wyniki dla danej zmiennej lub interakcji nie odbiega od średniej ze wszystkich wyników. To oznacza, że dana zmienna jest nieistotna, nie wpływa na model. Odwrotnie, jeżeli odległość jest duża, oznacza to, że zmienna jest istotna. Jest to potencjalna zmienna sterująca.
Kolejnym narzędziem jest Wykres Efektów Głównych (Main Effects Plot) oraz Wykres Interakcji z Rys. 6. Największe efekty widać dla „Przepływomierza”, co jest zgodne z największą wartością T-Value = 10,40 z danych na Rys. 4 (tabela efektów). Interakcje natomiast widoczne są na wykresie z Rys. 6 (na dole), jako przecinające się lub zbiegające się linie. Na diagramie widać wyraźną interakcję „Przepływomierz * Membrana”, co również jest widoczne w tabeli efektów z Rys. 4, gdzie T-Value = -4,08.
Inne ujęcie wyników DoE jest na Rys. 7. Dla każdej kombinacji faktorów było 60 danych, dla których wyznaczono współczynnik krótkoterminowej zdolności procesu. Najlepsze wyniki uzyskano dla przepływomierza C3-C4.
Bardzo istotna uwaga – w przypadku tego eksperymentu ważniejsze była optymalizacja pod względem redukcji odchylenia standardowego objętości, gdyż średnią wyników jest łatwo sterować za pomocą ustawień przepływomierza. Jak wiadomo Cp jest odwrotnie proporcjonalne do odchylenia standardowego. Oprócz przedstawionych powyżej analiz powinienem również przedstawić analogiczne analizy dla odchylenia standardowego. Niestety nie mam już dostępu do danych źródłowych. Podsumowując na odchylenie standardowe najbardziej wpływa zmienna „Przepływomierz”.
Podsumowanie DoE.
Kluczem do sukcesu DoE jest odpowiedni dobór zmienny, uniknięcie błędów pomiarowych, wybranie odpowiedniego planu itd. Na początkowych etapach bardzo ważne jest wsparcie członków zespołu itd.
Ostatnie słowo jednak zawsze należy do lidera projektu. W moim wypadku opłaciło się być nieugiętym donośnie wyboru faktorów, ale każdemu życzę, żeby faktory wskazane przez zespół projektowy były najistotniejsze (tak jest łatwiej).
Po wykryciu wadliwości przepływomierzy wymieniliśmy te, które tego wymagały, wprowadziliśmy procedury sprawdzające ich jakość za pomocą SPC, zasugerowaliśmy producentowi zmianę w oprogramowaniu a po 2 latach zacząłem pracować nad MES na napełniarkach, który nazwałem MIS – Maco Information System, który działa do dziś (stan na wrzesień 2021).
Coś dla wytrwałych
Zachęcam do sprawdzenia swojej wiedzy w teście na temat DoE. Znajdziecie tam 50 pytań. Tylko najlepsi mają szansę na komplet punktów. Emocje gwarantowane a satysfakcja bezcenna ;-).
Proszę skorzystać z formularza, jeżeli masz pytania nt. DoE.