《等效性研究的常用统计分析方法及其评价.pdf》由会员分享，可在线阅读，更多相关《等效性研究的常用统计分析方法及其评价.pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、文章编号!#$%$&()#&*#+%#&,%#$中图分类号!-&文献标识码!.等效性研究的常用统计分析方法及其评价柳再华陈汇/刘建华00(华中科技大学数学系武汉$&#$*摘要!等效性研究在新药开发和新药评价过程中发挥非常重要的作用1生物等效性研究选用和试验药及参比药都有关的药代动力学参数作等效性分析2临床等效性研究选用能反映药物疗效的临床目标参数作等效性分析1两种等效性研究的试验设计与统计学方法有所不同1关键词!生物等效性3临床等效性3试验设计3等效性检验含有等量相同活性成分或治疗成份的两种药物2在相同实验条件下相同剂量施药时2它们的吸收速度和程度没有显著的不同2则这两种药物被称为生物等效1生
2、物等效的评价源自美国4 5.规定的专利过期药物申请要求2因而有别于规范的新药早请(65.*2只要求生产一般药品(非原创药品*厂商提交该一般药品的生物利用度信息(7.*以及它和8简略新药申 请9(.65.*中的标准药(或参比药*的有生物等效性(7:*的证据1生物等效性试验通过测量药物动力学参数(.;?和A?*2若两药参数差值的#(B)C*D的置信区间在注册机构所要求的可接受限之内2那么可以接受试验药A和参比药E是生物等效的1有些药物或其代谢产物在血液的浓度(含量*不易测得2或局部给药时不能充分入血2无法测定其体内代谢情况3有些新药有着不同的使用途径或作用机理1对这些药的评价2是生物等效性所不能解
3、决的1基于等效性评价原理2 F#年代初开始出现了临床等效性评价的研究1通过选用一个或多个能反映药物疗效的目标参数(临床终点*2进行随机对照试验2推断两种药物的疗效是否相当1即以一个公认疗效的药物作阳性对照2若新药与对照药的疗效相比2不低于某一范围或不高于某一范围就认为两药是8等效9的1本文拟就这两种等效性研究的试验设计G统计分析方法步骤及相关统计量的计算作简要概述2并对其中关键的统计分析方法进行评价1H生物等效性研究H I H试验设计多数药物的清除率在个体间均存在很大变异2个体间的变异系数远远大于个体内变异系数2因此在不同国家颁布的研究指南标准中生物等效性研究一般按交叉方法设计1交叉设计是一种
4、修改的随机区组设计2每一区组(包括一个个体或一组个体*在不同的时间段接受不同的处理2以比较各处理组间的差异1设有两种处理.和7 2试验顺序为.7 2则将受试对象随机分为两组2第一组在第一时期接收.处理2在第二时期接收7处理2试验顺序为.7 1第二组则相反2在第一时期接收7处理2在第二时期接收.处理2试验顺序为7.1这是两种处理在不同时期的交叉试验2称为)J)交叉试验1如有三种处理.G 7 G 2则事先随机化试验顺序2比如三组的试验顺序为7.2 7.2.7 2将受试对象随机分为对应的三组2各组在三个不同时期分别按上述顺序进行试验2称为&J&交叉试验1以此类推1我国对生物等效性试验受试例数的要求是
5、 F B)$例2考虑到各种不同用药顺序分配的均匀性2最好使得不同用药顺序的全排列组合中每种组合的受试者例数相等1表中列出了双交叉G三交叉G四交叉情形下用药顺序的全排列组合1表交叉设计不同处理顺序的全排列组合设计类型处理顺序的全排列组合说明双交叉.77.若用 F例2则每一顺序各,例三交叉.7.77 .7.7 7.若用 F例2则每一顺序各&例四交叉.7 57 .5.7 57.5.7 5 7.57 5.5 7.7 5.5 7 7 5.7.5 5.7.5 7 7 5 .5 7.7 5.5 75.7 5 7 .5 .75 7.5.75 7.一般至少需用)$例2每一顺序各例3若用$F例2则每一顺序各)例K
6、,&K数理医药学杂志)#&年第 L卷第+期0华中科技大学同济医学院基础医学院00华中科技大学同济医学院公共卫生学院 万方数据!#统计分析!#!方差分析模型及离均差平方和的分解交叉设计的统计分析方法较多$一般使用的是考虑周期$处理和个体间变异无交互作用的三因素的方差分析模型%对生物等效性试验的交叉设计$美国&(推荐使用的统计模型是)*+,-./0 12+13.4+516,17-18+,-.其中$.代表个体$,是时段数$+是排序数9*+,-.为第.个受试者:第+种顺序$在第,个周期:第-种制剂所观测的实验效应9 0为总的平均效应9 2+为顺序的固定效应9 3.4+5为第.个受试对象在第+个顺序中的
7、随机效应9 6,为第,个周期的固定效应9 7-为第-种制剂的固定效应9 8+,-.为*+,-.的残差$为随机误差%进行方差分析时$可将总离均差平方和3 3-;-与受试对象内3 3?两部分%3 3可分解为顺序效应3 3 A B C A D E A和受试对象间的剩余效应3 3F A-GA A D$也就是受试对象嵌套于顺序内的效应3 3 C F,A E-4 A B C A D E A 5%3 3?可分解为制剂的处理效 应3 3-H A -:周 期 效 应3 3I A H+;J和 受 试 对 象 内 的 剩 余 效 应3 3+D-A H K =%考虑到自由度$由此可获得各种效应的均方$进而获得相应的L
8、值和M值$可进行常规意义下的推断%!#等效性检验方法由于证明两药疗效完全相等是不可能的$于是定义一个可接受区间4 NO$O 5%若两组均数之差落在此区间内$则可以得出等效的结论%生物等效性试验药物动力学参数4 PQR$RST U和VW X Y Z5已有公认的且是唯一的等效范围$即0 W 0%常用检验方法为)_双单侧-检验)假设检验为)0VN0aNO或0VN0bOW)NO c0VN0cO相应的统计量为)-/O Nd efVNefdY g3AhX i其中g3A是方差分析表中4个体内5误差均方$i为样本例数%统计量服从自由度为iNY的-分布%当两个单侧检验均拒绝时$则认为两药是等效的%否则$尚不能下
9、结论%j置信区间法)构件参数的置信区间$按双侧W 4 W Nk 5 l置信度计算出0VN0置信区间的下限Rm和上限RQ$若4 Rm$RQ5完全在4 NO$O 5范围内或者NO cRmcRQcO$可下等效性结论%对于多交叉设计而言$因系多组间的比较$需计算对比组间的标准误$n o p q r r q 4 W s t u年5提出的公式为)3E/g3Av4 EY+X D+h5其中$g3A是方差分析中误差均方$D+为各处理的样本含量%假定有.种处理$各处理效应以V+表示4+/W$Y$w$.5%若系对VW和VY之间的比较$推断VW/VY是否成立$则RW/W$RY/NW 9若系对VWNVY和VuNVx之间
10、的比较$推断VWNVY/VuNVx是否成立$则RW$RY/NW$Ru/W$Rx/NW 9其他情况类推%称R为一个对比4 y z|T|5$则对比组的W 4 W Nk 5 l置信区间计算公式为)R 3E4.NW 5 Lk 9.NW$KhA其中$R为两对比组均数的差值$L是自由度为4.NW$KA5的L分布的k分位数$KA是方差分析中误差的自由度$.为处理组数%若取s l置信区间$则k/t%#临床等效性研究#!确定临床等效界值的常用方法试验药和参比药的疗效相比$最低不能低于多少以及最高不能超过多少才可认为是!等效呢#这就是临床等效性界值问题%一般来说$等效界值O的选定应根据各自的临床特性$即疾病的自然
11、过程:已有药物的疗效:所选择的目标变量等综合考虑$由统计学家和临床学家集体审慎地确定%由于安慰剂也有一定的疗效$等效界值必须将参比药的预期疗效范围与安慰剂的疗效范围区分开来%根据以往临床经验$以阳性对照低的差值作为等效界值或以安慰剂对照试验所确认的效应值为参考$根据$期安慰剂对照试验$目标参数与基线值相比平均下降值的最小药物效应值作为等效界值%当O难以确定时$取W X t%W X Y个标准差或参比均数的W X W%W X t等$两组率的等效性检验取对照组样本的W X W 左右%根据疗效的标准差及位置参数的分布确定等效界值$是一种统计学参考方法)设均数向量&/4&$&W$w$&.5$是服从正态分
12、布相互独立的随机向量$*%4&$v5%定义)V4 e 5/ST U d&WN&Yd$若V4 e 5a2$则接受等效性假设%设2/k$为治疗组与对照组疗效差值的最大值4取对照组测量值的标准误5$则等效界值确定的关键即为在某一显著水平k(4$W 5上确定k值大小%#试验设计#!试验设计类型等效性评价的临床试验要尽可能避免来自医生:病人等方面的偏倚$并使试验结果更具体表性$应采用随机$双盲双模拟$平行对照$多中心试验方法%双模拟技术即为试验药与对照药各准备一种安慰剂$以达到试验组与对照组在用药的外观与给药方法上的一致%#样本含量等效性试验的样本含量与等效界值:检验统计量:$型和)型错误有关$两组均数
13、计算公式为)D/Y4 Ck1CZ X Y5 7*+Y两组率计算公式为)D/Y 6 4 W N6 5Ck1CZ X Y,-Y其中$D为每组需要的样本含量$7表示两组合并的标准差$为等效界值$Ck:CZ X Y分别为单测检验水准k及)型错误概率Z所对应的正态离差界值%注意在估算例数时$应采用CZ X Y$而不是Ck X Y%为了安全性评价的需要$我国规定了最低例数$因此既使估算例数少于最低例数$临床试验的例数亦不得少于该最低例数%#.统计分析#.!分析数据的 选 择意 向 性 分 析4/|q|/z 0|z 0|q T|$1Ysu12 z 3 T 4 z r 5T|p q ST|/o T 4 5q
14、6/o/q7z 4 W 89:tY u 万方数据!分析#$对所有经随机化分组%并服用至少一次药品的全部病例进行分析&意向性分析针对主要药效指标和不良事件进行%对未能观察全部治疗过程的病例资料%用最后一次观察数据结果转到试验最终结果&合格病例分析()*(*+,+-./%0 0分析#$所有符合试验方案%依从性好实际服药量占应服药量1 2 345 6 2 3之间#的病例%对其疗效进行统计分析&若脱落病例数较多%!分析结果会低估药物的实际疗效%0 0分析会夸大药物的效应%需分别进行两种分析7若脱落病例少%则只需进行0 0分析&8 9:9 8等效性检验方法;假设检验法经两次单侧?2#%就可认为等效&两组
15、均数的等效性检验公式为$AB CD EFGCEFHDIEFGCEFH%IEFGCEFHAI6G JC5#KI6H JLC5#JKJLC65JK5JMNOL两组率的等效性检验公式为$P AB CD=GC=HDI=GC=H%I=GC=HA=G 5 C=G#JC=H 5 C=H#JOLQ置信区间法两组均数差值的置信区间为$RSA EFGCEFH#CT U 6 V#IEFGCEFH%RWA EFGCEFH#KT U 6 V#IEFGCEFH式中%T U 6 V#为在自由度V下检验水准为T U 6时的单侧分布界值&两组率差值的置信区间为$RSA=GC=H#CPT U 6I=GC=H%RWA=GC=H#K
16、PT U 6I=GC=H式中%PT U 6为在检验水准为T U 6时的单侧正态分布离差界值&8 9 X混杂的控制研究变量常受处理因素以外的其他因素的影响和干扰%如受试者的年龄Y性别Y病情严重程度等%应控制其疗效的影响&在多中心临床试验中%要扣除中心效应&当协变量为连续变量时%常用协方差分析7协变量为分类变量时%可用Z 卡方检验 Z+-*._.,)/_.)a)/Z b _ c d.*),),#方法或/+_e b ,b-回归分析方法校正&:讨论交叉设计允许在药物之间进行个体内比较%在药物间比较中可移去个体变异属性7运用适当的个体随机化顺序施药%能提供药物间的差或比#最佳无偏估计%但必须注意药物的f
17、残留效应g&在个体间的变异性比个体内的变异性小7或药物有较长的消除半衰期使得交叉试验中的长的清洗阶段延长了研究时间%增加了个体失访的机会7或个体的频繁的血液采样不易实施时%平行设计优于交叉设计&双交叉设计的等效性分析%双单侧检验法和置信区间法是等价的&多交叉设计的生物等效性分析需采用专用于多交叉设计的置信区间法%不可套用双单侧检验法和利用界值计算的置信区间法&对生物利用度h值%需要计算每例受试者h值%报告h值的均数及标准差7对i.j%在评价等效性时仅作参考%规定用i.j的实测值%不用对数值%因其变异大%统计分析可选用非参数法&在双交叉设计时用kb/-+j+法%多交叉设计可用l*d l./_ k
18、./b 法&目前进行的生物等效性研究都是利用所谓的平均生物等效性方法 mn)*.e)o b+)c d b n./)-)#%只考虑了试验制剂和参比制剂的平均生物利用度%仅仅比较和两药物都有关的0 p参数如mqZ或Ri.j#的边缘分布的均数&在正态假设下%分布间的特征相同是它们的均数和方差相等%因此该方法并不能保证在每个个体受试者具有生物等效性%即平均生物等效性不能保证两种制剂在每一个体病人中具有相同的治疗效应&相比较而言%群体生物等效性 0+(d/.,b+o b+)c d b n./)-)#方法除评价平均生物等效外%还通过评估试验和参比制剂生物利用度的总变异而保证了可处方性 0*)-*b r.r
19、 b/b,s#7个体生物等效性!t b n b t d./o b+)c d b n./)-)#方法除评估平均生物等效外%另外还考虑受试者个体内变异及受试者_制剂间 u d r _v)-,b+_ w+*id/.,b+#的交互作用%保证了试验制剂替换参比制剂的可替换性 u kb,-.r b/b,s#&在美国%群体生物等效性和个体生物等效性方法已于最近被提出可用于替代目前使用的平均生物等效性研究方法&目前临床等效性研究一般采用多个疗效指设为临床终点%统计分析时对单个变量均数的组间差别分别进行单变量检验&这种处理方法至少有三个缺点$当指标数较多时%重复进行检验将大大增加假阳性错误7 检验结果不一致时%
20、统计结果难以表达7不能觉察多个反应变量之间的相互关系&以往典型的做法是在试验设计阶段就做出决定%对各个疗效指标分别进行单变量等效性检验%多个指标中至少有几个等效就认为两药是等效的%这一做法虽然解决了多个变量检验不一致的问题%但并不能克服另外两个缺点&克服上述缺点的方法是计算多元统计量%并进行多变量等儿性检验&尽管国外有人提出多个终点同时分析的生物等效性检验方法%但尚无临床多变量等效性分析的方法与实例&临床研究中%各个疾病的反应变量在大多数情况下不止一个&若同时将几个变量设为临床终点%或将其组合起来构成一个复合变量量表就是一种复合变量#%并采用量表如生活质量评分#得分为临床终点%这些变量的等效界
21、值如何确定%给研究者提出了新的问题&在这些研究中%仍采用方差分析的无差异性检验&从整体上看%临床等效性评价在方法和应用上均存在很大的可塑性&参考文献5 x),/.l)%x y q)+z-+z b t)-)b ,)*n./b./s b +z-+i(.*_.,b n)r b+.n.b/.r b/b,s,*b./y 0 .*iu-b%5 1 6%|5$5?6闫宇翔%王洪源%王仁安9新药临床等效性分析方法及其评价9中国临床药理学与治疗学%6?6%!6#$6 5 46 6 6 数理医药学杂志6?年第5|卷第2期 万方数据!#$%&()*+,-./)#0 1 2%3 4*-5 6)3$.78.5 1 5
22、8$.$1 29 3$3 5 9 3 5 8$.5 9 9 0 95 13,%$:0 3 5 8;0 5 ,$%-$8+.)?)A B C?DE 7A姚晨)陈峰)张高魁)等F交叉设计资料的等效性检验F中国临床药理学杂志)G H H?)?E I A J C G A DG E FB刘玉秀)姚晨)陈峰)等F多交叉设计生物利用度试验的等效性分析F中国临床药理学杂志)G H H G)?K I J C G?DG G 7L M+2$1 2N%0 OP2-5 1 5 9 3%$3 5+1 7P%$O ):+:0.$3 5+)$1 25 1 2 5 5 2 0 4$.$:%+$8,93+9 3$&.5 9,5
23、1 O&5+;0 5$.1 8 I 2%$Q 3O 0 5 2$1 8 J)P0 O)?7E RS$1 OT U)V+%5 W$S$X 7N 9 5 O 15 9 9 0 95 11+1 5 1 Q%5+%5 3 Y Z ;0 5$4.1 8 3%5$.9 7N%0 OT 1 Q/)?)C?G H B D?G?K 7K=,+S =),$+/7P1$.3%1$3 5$:%+$8,Q+%3,$9 9 9 9-1 3+Q&5+;0 5$.1 8&3 S 13 S+Q+%-0.$3 5+1 9+Q$2%0 O 7 5+-3%5 8$./)?H)G C L D E L 7=,0$1 O=7=.5 1 5
24、 8$.;0 5$.1 8$8.$%5 Q 5 8$3 5+1 7N%0 OT 1 Q/)?)C?K D?A 7?H%5 1$1)5 1 9)T O.S5 8 _)3$.713 9 3 5 1 O;0 5$.1 8+Q3,%:+:0.$3 5+1 9 7/5+:,$%-3$3)?)C A L B DA K 7?国家药品监督管理局F新药临床试验的生物统计学指导原则)G H H?7?G/+1 9)/$%)S5 9/P)3$.7X%5$.93+$9 9 9 9;0 5$.1 8 C3,5-:+%3$1 8+Q%5 O+%+0 9-3,+2 9 7 V/)?L)?C L D 7?刘玉秀)姚晨)陈峰)等
25、F非劣性Z等效性试验的样本含量估计及统计推断F中国新药杂志)G H H )?G I B J C E?D E L 7收稿日期C G H H aH E a?A文章编号C?H H A 4 A E I G H H J H B 4 H A 4 H G中图分类号C*?文献标识码CP利用样本方差计算离差平方和王小平I中国药科大学镇江校区镇江G?G H H J摘要C通过对离差平方和的分解进行方差分析)提出利用样本方差进行离差平方和的计算b关键词C样本方差c离差平方和统计学的实践表明)对于某一特性量经过多次试验的结果)一般不会是同一数值)而是彼此有差异)这种差异反映了试验受各种条件I也称为因素J的制约b离差平方
26、和就反映了某因素引起的差异大小b为解决此问题)英国统计学家*7 P7M 5 9,%提出了方差分析的方法)其基本思想是将总的离差平方和分解为几个部分)每一部分反映了方差的一种来源)然后利用d分布进行检验b虽然现阶段有许多统计工具)如学生比较熟悉的(e=(电子表格和不太熟悉的 P b但在许多地区计算机条件比较落后)尤其在课堂上如何进行离差平方和计算)这对教师和学生来说)是一件非常繁琐的事件b本文以单因素方差分析f双因素方差分析f正交试验设计为例)说明如何利用样本方差来计算离差平方和bg离差平方和的计算公式样本方差I$-:.$%5$1 8 J是观察值与其均值离差的平方和的均值)设hiI i j?)k
27、)l J是一组样本值)那么mGj?I l a?Jnli j?I hiahoJG)其中ho是hi的平均值)通过计算器很容易计算出样本方差b从而有计算公式Cnli j?I hiahoJGjI l a?J mGI?J公式说明C数据与其均值的离差平方和可以表示成自由度与hi的样本方差的乘积bp方差分析中离差平方和的计算p F g单因素方差分析设有q因素r个水平)i水平上有li数据hi sI i j?kr)s j?kliJ)见下表b水平数据行平均q?h?h?Gkkh?l?ho?tkkkkkkkqrhr?hr Gkkhrlrhor t设u uvf u uqf u uw分别为总的离差平方和f q因素的离差平
28、方和I组间离差平方和J f误差的离差平方和I组内离差平方和J)则有以下分解Cu uvju uqxu uwI l jl?xlGxkxlrJ其中u uvjnri j?nlis j?I hi sahoJG)u uqjnri j?nlis j?I hoi tahoJG)u uwjnri j?nlis j?I hi sahoi tJG由于hoj?lnri j?nlis j?hi s为所有数据的均值)那么)按照公式I?J有Cu uvjI l a?J mGI G J此公式不仅适用于单因素方差分析)也适用于双因素方差分析和正交试验设计中离差平方和的计算)后面不再说明byAy/+0%1$.+Q V$3,-$3
29、5 8$.V 2 5 8 5 1 z+.7?L7BG H H 万方数据等效性研究的常用统计分析方法及其评价等效性研究的常用统计分析方法及其评价作者：柳再华，陈汇，刘建华作者单位：柳再华(华中科技大学数学系,武汉,430074)，陈汇(华中科技大学同济医学院基础医学院)，刘建华(华中科技大学同济医学院公共卫生学院)刊名：数理医药学杂志英文刊名：JOURNAL OF MATHEMATICAL MEDICINE年，卷(期)：2003,16(5)被引用次数：3次 参考文献(13条)参考文献(13条)1.Westlake W J Use of confidence intervals in analys
30、is of comparative bioavailability trials外文期刊 19722.闫宇翔;王洪源;王仁安 新药临床等效性分析方法及其评价期刊论文-中国临床药理学与治疗学 2002(02)3.Garbe E;Rohmel J;Gundert-Remi U clinical and statistical issues in therapeutic equivalence trials外文期刊 19934.姚晨;陈峰;张高魁 交叉设计资料的等效性检验期刊论文-中国临床药理学杂志 2001(04)5.刘玉秀;姚晨;陈峰 多交叉设计生物利用度试验的等效性分析期刊论文-中国临床药理学
31、杂志 2002(03)6.Food and Drug Administration.Average,populatio,and individual approaches to establishingbioequivalence(draft guidance)19997.Hwang IK;Morikawa T Design issues in noninferiority/equivalence trials 19998.Chow SC;Shao J An alternative approach for the assessment of bioequivalence between tw
32、oformulations of a drug 19909.Chuang SC Clinical equivalencea clarification 199910.Brinan L;WiensIglewicz B On testing equivalence of three populations 199911.国家药品监督管理局 新药临床试验的生物统计学指导原则 200112.Jones B;Jarvis P;Lewis JA Trials to assess equivalence:the importance of rigorous methods 199613.刘玉秀;姚晨;陈峰
33、非劣性/等效性试验的样本含量估计及统计推断期刊论文-中国新药杂志 2003(05)本文读者也读过(10条)本文读者也读过(10条)1.闫宇翔.王洪源.王仁安 新药临床等效性分析方法及其评价期刊论文-中国临床药理学与治疗学2003,8(2)2.杜军.DU Jun 非等精度测量的等效性研究期刊论文-天津工程师范学院学报2010,20(3)3.李娟.谢海棠.郑青山 生物等效性研究现状概述期刊论文-安徽医药2007,11(7)4.柯勉 生物实验设计思维技巧期刊论文-中学生数理化(高考版)2010(3)5.刘华.LIU Hua 33设计中个体生物等效性评价的广义P-值法期刊论文-阜阳师范学院学报（自然科
34、学版）2005,22(4)6.客绍英.KE Shao-ying 生物学试验设计原理及常用设计方法研究期刊论文-唐山师范学院学报2001,23(2)7.金华.Jin Hua 基于平均生存时间的两种分类方法的比较期刊论文-统计研究2008,25(1)8.刘丽华.郭德金 试验前对试验设计的评价(下)期刊论文-安徽农业科学2006,34(10)9.张彩伢.林正炎.ZHANG Caiya.LIN Zhengyan 有关k个多元独立样本的非参数检验期刊论文-数学年刊A辑2008,29(3)10.刘华.LIU Hua 基于S4设计的生物等效性评价期刊论文-五邑大学学报（自然科学版）2005,19(3)引证文献(3条)引证文献(3条)1.孙莉.李潇潇.梁军成.朱天岳.谢启伟.刘端祺.谢广茹.徐国柱.邓艳萍 盐酸替利定口服液用于镇痛的随机双盲对照临床试验期刊论文-中国临床药理学杂志 2013(1)2.孙莉.邓艳萍.沈黎阳.朱天岳.张伟滨.曹斌融.徐国柱 右酮洛芬胶囊用于镇痛的随机双盲对照临床试验期刊论文-中国药物依赖性杂志 2007(5)3.陆健.贺佳.曹阳.马修强.吴骋.孙亚林 药物临床试验统计分析规范性操作的探讨期刊论文-第二军医大学学报2006(7)本文链接：http:/