Concurrent Reinforcement of Response Sequences

Gustavo Bachá Méndez & Ixel Alonso Orozco¹

Universidad Nacional Autónoma de México.

¹ Enviar correspondencia al: ]]> Dr. Gustavo Bachá Méndez,
Laboratorio de Adaptación Animal.
Facultad de Psicología, UNAM,
Edificio "D", cubículo 22.
Correo electrónico: bacha@unam.mx.

Resumen

Decidir si una secuencia de respuestas es una unidad conductual diferente a los elementos que la constituyen y que obedece a las mismas reglas de reforzamiento que respuestas discretas ha representado un problema difícil de resolver. Una forma de mostrar que una secuencia es una unidad de conducta, es observar si dicha secuencia cumple la relación propuesta por la ley de igualación. Con este propósito, se entrenó a cuatro ratas privadas de alimento y experimentalmente ingenuas a apretar en secuencia dos operandos para recibir una gota de leche. Se usaron diferentes programas concurrentes de intervalo variable (VI) para reforzar cada una de cuatro posibles secuencias. Cuando las ratas produjeron una secuencia no reforzada, las luces de la cámara experimental se apagaron durante 2 s. En tres diferentes fases se varió la tasa de reforzamiento para cada secuencia. Los resultados mostraron que las ratas fueron altamente sensibles a las tasas relativas de reforzamiento. Sin embargo, las pendientes de las curvas de ajuste fueron menores a uno, mostrando sub-igualación. Se concluyó que una secuencia de respuestas puede comportarse como un patrón integrado pero no representa una unidad conductual estrictamente equivalente a las operantes discretas.

Palabras clave: Secuencias, Unidad de respuesta, Programas concurrentes, Ley de igualación, Ratas.

Deciding both, whether a response sequence is a different behavioral unit than the elements that constitute it, and if it obeys the same reinforcement rules than discrete responses, has been a difficult problem. A way to prove that a sequence is a behavioral unit is to determine if it behaves according to the principles of the matching law. With this purpose, four naïve experimentally rats were food-deprived and trained to lever press two operanda in a sequence to receive a drop of milk. Different concurrent variable interval (VI) schedules were used to reinforce each of four possible sequences. When the rats produced a non-reinforced sequence the lights of the experimental chamber were turned off during 2 s. In three consecutive phases of the experiment, the reinforcement rate for each sequence was different. Results showed that the rats were highly sensitive to the relative rates of reinforcement assigned to each sequence. However, the adjustment curves showed slopes that were smaller than one, thus under-matching was found. It was concluded that although a response sequence can behave as an integrated pattern of behavior, it does not necessarily represent an equivalent behavioral unit comparable to that of a discrete operant response.

Key Words: Sequences, Response unit, Concurrent schedules, Matching law, Rats.

Para cualquier área de conocimiento es importante contar con una unidad de análisis formal con la cual validar variables y relaciones importantes. En este sentido Skinner (1935) definió una respuesta como una clase funcional de eventos sujeta al control de estímulos reforzantes. En un trabajo posterior, Catania (1971) propuso que los reforzadores no afectan únicamente a la respuesta a la que siguen sino que su efecto se extiende en el tiempo. Esta proposición es esencial para entender la adquisición de secuencias de respuestas ya que los elementos que constituyen la secuencia pueden estar separados tanto espacial como temporalmente. Desde los primeros trabajos realizados sobre la adquisición y mantenimiento de una secuencia de respuestas, una pregunta recurrente ha sido si la secuencia adquirida es una unidad conductual legal y diferente a sus componentes.

En este contexto, Zeiler (1977) identificó tres clases de unidades de respuesta. La llamada unidad formal es identificada con la definición operacional de la respuesta medida en un experimento, es decir, es la respuesta que el experimentador define como prerrequisito para la presentación del reforzador. La unidad condicionable es lo que Skinner (1938) definió como una operante. Si una conducta es la condición necesaria para la presentación del reforzador y el reforzamiento incrementa la probabilidad de ocurrencia de esa conducta, entonces es una unidad de respuesta condicionable. Finalmente, Zeiler (1977) habló de unidades teóricas, que se refieren a unidades condicionables que nos ayudan a responder cómo el reforzamiento organiza la conducta y qué conducta es fortalecida. Según este planteamiento la unidad teórica podría ayudar a dar una definición de secuencias de respuesta como unidades formales de conducta. Autores como, Grayson y Wasserman (1979), Schwartz (1982), Reid, Chadwick, Dunham, y Miller, (2001) y Bachá, Reid, y Mendoza (2007), han analizado cómo una serie de respuestas simples forman secuencias de respuestas condicionables que funcionan como nuevas unidades.

Grayson y Wasserman (1979) reforzaron sólo una de un conjunto de cuatro secuencias, encontrando que la secuencia reforzada presentó consistentemente la frecuencia más alta. Los autores concluyeron que al asignar el reforzador a una secuencia en específico ésta se comportó como una operante. Schwartz (1982) puso a prueba diferentes tipos de secuencias en programas de reforzamiento, analizando si el patrón encontrado para respuestas simples es similar cuando se refuerza secuencias. Los resultados indican que las secuencias aunque con ciertas diferencias caen bajo el control de los parámetros del programa específico. Por otro lado Reid et al. (2001) utilizaron estímulos discriminativos para marcar la secuencia a las cual le asignaban el reforzador. Encontraron que la adquisición de la secuencia marcada se daba más rápido que cuando la secuencia no estuvo marcada por un estímulo discriminativo. Por su parte Bachá et al. (2007) además de demostrar el resurgimiento de secuencias adquiridas en fases anteriores, propusieron que los efectos del reforzador tanto a nivel de las respuestas como de la secuencia coexisten a lo largo del experimento.

Uno de los desarrollos más importantes dentro del análisis experimental de la conducta es la relación propuesta por Herrnstein (1970) entre la conducta y sus consecuencias. La ley de igualación describe cómo la frecuencia relativa de respuestas iguala la frecuencia relativa de reforzadores asignados a esa respuesta. Una de las pruebas más importantes que se han realizado para probar que una secuencia funciona como una unidad integrada de conducta es mostrar que esa secuencia se ajusta a la relación predicha por la ley de igualación (Feterman & Stubbs, 1982; Schneider & Morris, 1992; Schneider & Davidson, 2005, 2006). En estos experimentos el procedimiento general fue reforzar en condiciones de operante libre secuencias de dos repuestas a dos operandos con programas concurrentes. Uno de los primeros trabajos en esta área fue el realizado por Fetterman y Stubbs (1982), en su experimento reforzaron secuencias de dos respuestas a dos operandos estableciendo cuatro posibles secuencias. Los autores demostraron que con un entrenamiento apropiado, la distribución relativa de la conducta para las diferentes alternativas se igualaba a la distribución relativa del reforzador. Además sugirieron que las respuestas a la secuencia actúan como unidades funcionales y que la elección de las distintas opciones no afecta a la estructura de la secuencia. Fetterman y Stubbs (1982) interpretaron estos hallazgos como evidencia de que la conducta puede ser organizada en unidades complejas. Schneider y Morris (1992) por su parte, reforzaron secuencias de dos y tres respuestas a dos operandos en programas concurrentes. El procedimiento general fue tener un IV60 s para las cuatro secuencias una vez que el tiempo del intervalo concluía se tenía una probabilidad de reforzamiento diferente asociada a cada una de las posibles secuencias. Sus resultados mostraron que la frecuencia relativa de las secuencias se igualó a la frecuencia relativa de reforzamiento dependiendo del tiempo que existía entre las respuestas. En estudios más recientes, Schneider y Davidson (2005) analizaron dos tipos de modelos que intentan explicar en qué nivel igualan los animales: si a nivel de respuesta o de unidad. Basándose en estos resultados, Schneider (2008) propuso un modelo que describe la transición de respuestas individuales a unidades de secuencias de dos respuestas. Su modelo incluye un parámetro de cambio (CO) el cual incluye las respuestas a secuencias heterogéneas y un parámetro que incluye el tiempo que hay entre cada una de las respuestas que componen a la secuencia.

En todos los estudios mencionados, los autores presentaron sus resultados mostrando cierto grado de ajuste de los datos a las predicciones de modelos como el de ley de igualación. Sin embargo, sus conclusiones no han sido concluyentes respecto a si las secuencias pueden actuar como unidades equivalentes a las respuestas discretas y se desconocen los mecanismos que producen esa diferencia. De lo anterior se puede derivar que es necesario que las secuencias cumplan con algunos criterios, si las secuencias funcionan como unidades conductuales entonces la tasa relativa de secuencias de respuesta igualará la tasa relativa de reforzadores asignados a cada una de ellas. En el presente trabajo se propone mediante el reforzamiento concurrente de cuatro secuencias de respuestas confirmar el supuesto básico de que la frecuencia relativa de estos patrones conductuales, igualan la frecuencia relativa del reforzamiento programado para cada uno de ellos de manera similar a estudios que utilizan respuestas discretas.

Sujetos

Se utilizaron cuatro ratas hembras de la cepa Wistar, con tres meses de edad al inicio del experimento y sin experiencia en procedimientos experimentales. Todos los sujetos se mantuvieron al 85% de su peso ad libitum, dando una porción de alimento al final de cada sesión y manteniendo libre el acceso al agua fuera de las cajas experimentales.

Aparatos

Dos cámaras experimentales de condicionamiento operante para ratas MED Associates Mod. ENV-007. Cada cámara se colocó dentro de una caja sono-amortiguadora de 60 x 90 x 80 cm que contenía un ventilador que funcionó como ruido blanco. La luz general fue un foco de 28 v colocado a una distancia de 2 cm del techo en el panel posterior de la caja operante. En el panel frontal, a una altura de 7 cm desde el piso, había dos palancas con una distancia horizontal entre ellas de 17 cm. A 7 cm sobre cada una de las palancas se encontraba un foco de 28 v. En la parte central del panel frontal y situado a una altura de 2 cm se encontraba una abertura cuadrada de 4 cm por lado que funcionó como receptáculo para el reforzador. Se utilizó como reforzador 0.1 ml de leche (leche entera con 7.5 grasa). Las cajas estaban conectadas a una interfase (MED Associates Mod. 715) y ésta a una computadora Pentium a través de la cual, mediante un programa elaborado en Medstate Notation (MSN), se controlaron las sesiones experimentales y se registraron las respuestas en tiempo real.

Procedimiento

Moldeamiento

Se entrenó a los animales a realizar dos respuestas a dos operandos. Lo anterior implica la posibilidad de cuatro combinaciones. Las secuencias homogéneas estuvieron conformadas por dos respuestas sobre un mismo operando, izquierdo-izquierdo (II) ó derecho-derecho (DD). Las secuencias heterogéneas incluyeron la alternación entre los operandos, izquierdo-derecho (ID) ó derecho-izquierdo (DI). Durante la primera parte de esta fase, cada vez que los animales respondían a cualquiera de la cuatro secuencias se apagaron las luces durante 5 s y se entregó 0.1 ml de leche e inició un nuevo ensayo, esta etapa duró cuatro días. Al término de este periodo se reforzaron únicamente las secuencias que incluían alternación; si los sujetos ejecutaban una secuencia homogénea las luces se apagaban 2 s y continuó la sesión. Esta fase se mantuvo durante ocho días.

Pre-entrenamiento

Una vez que terminó el moldeamiento, se programó el reforzamiento concurrente de las cuatro secuencias. Es decir, con el inicio de la sesión empezaba a correr, de forma independiente, el tiempo de cada uno de los IVs para cada una de las secuencias. Cuando se cumplía el requisito temporal de algunos de los IVs, la ejecución de esa secuencia en particular producía la entrega de 0.1 ml de leche. Cada vez que los animales ejecutaban una secuencia antes de que se cumpliera el tiempo del IV había un tiempo fuera (TO) de 2 s, que consistió en que se apagaron las luces. Este tiempo fuera facilitó la discriminación de las secuencias. Los valores de los programas IV se fueron incrementando de la siguiente forma IV 10 s, IV 15 s, IV 20 s, IV 30 s, IV 45 s, hasta llegar a su valor final, un IV 60 s. Fase 1.

Al terminar la fase anterior, los animales fueron enfrentados a un arreglo de reforzamiento concurrente diferente: para cada una de las secuencias homogéneas (II y DD) operó un IV 300 s y para cada secuencia heterogénea (ID, DI) un programa IV 33 s. De esta forma, el 90% de los reforzadores totales fue programado para las secuencias heterogéneas y sólo el 10% para las secuencias homogéneas. La entrega del reforzador se realizó de igual forma que en el pre-entrenamiento. Esta fase se mantuvo durante 30 sesiones y cada sesión concluyó al cumplirse 30 min. Fase 3.

En la última fase se invirtió la asignación de los programas utilizados en la fase anterior. Entonces, las secuencias homogéneas fueron reforzadas mediante un IV 33 s y para las secuencias heterogéneas se asignó un IV 300 s. La entrega del reforzador se mantuvo como las fases anteriores. Esta fase también duró 30 sesiones y cada una de ellas terminaba al transcurrir 30 min.

Resultados

La Figura 1 muestra el promedio de la frecuencia de cada secuencia en cada una de las tres fases. Para cada una de las gráficas se incluyeron los datos de los cuatro sujetos y cada barra presenta el promedio de los últimos cinco días de la fase. El asterisco que acompaña a cada barra representa el promedio de reforzadores obtenidos durante esos cinco días. La primera gráfica muestra la Fase 1 en la que los valores del intervalo fueron los mismos para las cuatro secuencias (IV 60 s). Esto quiere decir que el 25% de los reforzadores fue asignado a cada secuencia. Es posible apreciar que a pesar de que la cantidad de reforzadores fue muy semejante para las cuatro secuencias se observa una mayor frecuencia de las secuencias homogéneas. Las secuencias homogéneas tuvieron un promedio de 140 con 22 reforzadores obtenidos para cada una. En el caso de las secuencias heterogéneas el promedio fue de 60 con 20 reforzadores obtenidos con cada secuencia.

La gráfica central muestra la segunda fase, en la cual el 90% de los reforzadores fueron programados para las secuencias heterogéneas y el 10% a secuencias homogéneas. En esta ocasión, el promedio de la frecuencia de las secuencias heterogéneas fue de 100 aproximadamente con 32 reforzadores obtenidos y un promedio de 80 para las secuencias homogéneas con sólo cinco reforzadores obtenidos.

La última gráfica muestra la tercera fase la cual proporcionó el 90% de reforzadores a secuencias homogéneas y el 10% a secuencias heterogéneas. En esta fase la frecuencia de las secuencias homogéneas fue de 200 con 38 reforzadores obtenidos y se presentaron valores menores a 40 para secuencias heterogéneas con cuatro reforzadores obtenidos para cada una de ellas.

La Figura 2 presenta la frecuencia relativa de cada secuencia en función de la frecuencia relativa de los reforzadores asignados a esa secuencia. Cada gráfica muestra por separado los valores obtenidos durante las tres fases, cada punto representa a un sujeto. Se observa que la distribución de los puntos no coincide totalmente con la línea de igualación. La pendiente parece ser menor a uno en todos los casos y existe un sesgo diferente para secuencias homogéneas y heterogéneas.

En la Figura 3 se presentan los datos obtenidos por los cuatro sujetos en las tres fases. Cada punto representa el promedio de los últimos cinco días de cada una de las fases. La gráfica representa la frecuencia relativa de cada secuencia en función de la frecuencia relativa de los reforzadores asignados a cada una de ellas. En esta gráfica se puede observar que los puntos que representan a las secuencias homogéneas presentan una distribución diferente a los puntos de las secuencias heterogéneas. La pendiente general permanece menor a uno y el grado de variabilidad es muy grande.

En el siguiente análisis se agruparon a las secuencias por su estructura: homogéneas (II y DD) en un grupo y secuencias heterogéneas (ID y DI) en otro. Con este nuevo arreglo se calculó el logaritmo de las razones de secuencias homogéneas sobre secuencias heterogéneas y también de heterogéneas sobre homogéneas en función de sus respectivas razones de reforzamiento. La Figura 4 muestra los datos para las dos categorías junto con su línea de ajuste, la ecuación correspondiente y el grado de ajuste o R². Los círculos representan las secuencias homogéneas y los cuadros las secuencias heterogéneas. Es posible apreciar que la pendiente para las secuencias homogéneas fue de 0.57 y una R² de 0.95, mientras que para las secuencias heterogéneas la pendiente es de 0.55 y una R² de 0.96. Ambas pendientes tuvieron valores muy por debajo de uno, lo que se interpreta como una condición de sub-igualación, esto es que existe una menor sensibilidad a la tasa relativa de reforzamiento que lo predicho (Domjan, 2010). Los sesgos fueron diferentes para ambos grupos, ya que se presentó un sesgo mayor para las secuencias homogéneas.

Discusión

El análisis de los resultados reveló que en la Fase 1, al programar un porcentaje igual de reforzamiento para cada secuencia posible no se observaron en correspondencia porcentajes iguales de secuencias. Fue necesario que en la Fase 2, los porcentajes favorecieran claramente a las secuencias heterogéneas para observar porcentajes similares entre las cuatro secuencias. Es posible que la estructura misma de las secuencias sea un factor que causa estas diferencias. En un trabajo con secuencias semejantes a las utilizadas en el presente trabajo Bachá et al. (2007) mostraron que la estructura de las secuencias genera efectos de interacción que afectan la frecuencia de secuencias homogéneas cuando se refuerza una secuencia heterogénea.

Cuando se analizaron los resultados en términos de la ley de igualación, éstos concordaron con el hallazgo general de que los animales a los que se les refuerza de manera concurrente una serie de secuencias de respuestas, son sensibles a la frecuencia relativa del reforzador asignado a cada una de ellas. Sin embargo, esta sensibilidad no se cumple de manera estricta. En el presente estudio la pendiente fue menor a uno, lo que implica una preferencia o razón de respuestas menor a la esperada ante razones de reforzamiento ricas (De Villiers, 1977). Este efecto se manifestó sin importar si la estimación se hizo con una secuencia homogénea, una heterogénea o con agregados de estos dos tipos de patrones. Estos hallazgos confirman de manera parcial los resultados de Feterman y Stubbs, (1982) y de Schneider y Davidson (2005, 2006). En el caso de Schneider y Davidson encontraron que las secuencias que requieren de alternación en comparación con aquellas que no lo requieren son sensibles de manera diferencial a la frecuencia relativa de reforzadores asignados a estos patrones.

En este trabajo se propuso agrupar las secuencias en dos patrones o categorías: secuencias homogéneas y heterogéneas. Es importante considerar que estas categorías propuestas cumplen con las características de exhaustividad con respecto al conjunto definido por dos respuestas a dos operandos y que también cumplen con la calidad de ser excluyentes, ya que son claramente identificables entre sí. Sin embargo, derivado de este experimento se puede considerar una tercera característica de estas categorías: los resultados obtenidos demuestran que las categorías propuestas no son independientes entre sí. Como mostraron Bachá et al. (2007) existe una alta probabilidad de observar secuencias homogéneas inmediatamente después del reforzamiento de una secuencia heterogénea. Un ejemplo de lo anterior es el efecto de errores asociados a la contigüidad, esto es cada vez que los animales realizan la secuencia ID y esta es reforzada la probabilidad de que los animales ejecuten la secuencia DD es muy alta. Lo anterior significa que la probabilidad o frecuencia de la categoría homogénea depende al menos de dos factores: el reforzador asignado a esa categoría y al llamado aquí efecto de contigüidad. Este efecto representa una variable adicional a la frecuencia de reforzamiento en el control de la frecuencia observada de las secuencias. De lo anterior se deriva que en estudios que utilicen secuencias de respuestas debe considerarse además del control ejercido por las consecuencias programadas, la estructura misma de la conducta (e.g., Schneider, 2008). Es posible concluir que las secuencias de respuestas pueden integrarse como una unidad diferente a sus componentes y obedecen a los principios básicos de reforzamiento, sin embargo debe aceptarse que existen diferencias que ameritan ser analizadas y en su caso, integradas a un modelo con mayor validez ecológica.

Bachá-Méndez, G. Reid, A. K., & Mendoza-Soylovna, A. (2007). Resurgence of complex behavioral units. Journal of the Experimental Analysis of Behavior, 87, 5-24.         [ Links ]

Catania, A. C. (1971). Reinforcement schedules: The role of responses preceding the one that produces the reinforcer. Journal of the Experimental Analysis of Behavior, 15, 271-287.         [ Links ]

De Villiers, P. (1977). Elección de los programas concurrentes y una formulación cuantitativa de la ley del efecto. En W. K. Honig, J. E. R. Staddon (Eds.). Manual de conducta operante (pp. 314 - 385). México: Trillas.         [ Links ]

Domjan, M. (2010). Principios de Aprendizaje y Conducta. México: Wadsworth Cengage Learning.         [ Links ]

Fetterman, J. G., & Stubbs, D. A. (1982). Matching, maximizing, and the behavioral unit: Concurrent reinforcement of response sequences. Journal of the Experimental Analysis of Behavior, 37, 97-114.         [ Links ]

Grayson, R. J., & Wasserman, E. A. (1979). Conditioning of two-response patterns of key pecking in pigeons. Journal of the Experimental Analysis of Behavior, 31, 23-29.         [ Links ]

Herrnstein, R. J. (1970). On the law of effect. Journal of the Experimental Analysis of Behavior, 13, 243-266.         [ Links ]

Reid, A. K., Chadwick, C. Z., Dunham, M., & Miller, A. (2001). The development of functional response units: The role of demarcating stimuli. Journal of the Experimental Analysis of Behavior, 76, 303-320.         [ Links ]

Schneider, S. (2008). A two-stage model for concurrent sequences. Behavioral Processes, 78, 429-441.         [ Links ]

Schneider, S. M., & Morris, E. K. (1992). Sequences of spaced responses: Behavioral units and the role of contiguity. Journal of the Experimental Analysis of Behavior, 58, 537-555.         [ Links ]

Schneider, S., & Davidson, M. (2005). Demarcated response sequences and generalized matching. Behavioral Processes, 70, 51-61.         [ Links ]

Schneider, S., & Davidson, M. (2006). Molecular order in concurrent response sequences. Behavioral Processes, 73, 187-198.         [ Links ]

Schneider, S., & Davidson, M. (2008). A two-stage model for concurrent sequences. Behavioral Processes, 78, 429-441.         [ Links ]

Schwartz, B. (1982). Interval and ratio reinforcement of a complex, sequential operant in pigeons. Journal of the Experimental Analysis of Behavior, 37, 349-357.         [ Links ]

Skinner, B. F. (1935). The generic nature of the concepts of stimulus and response. Journal of General Psychology, 12, 40-65.         [ Links ]

Skinner, B. F. (1938). Behavior of Organisms: An Experimental Analysis. New York, E. U.: Appleton-Century.         [ Links ]

Zeiler, M. D. (1977). Schedules of reinforcement. En W. K. Honig, & J. E. R. Staddon (Eds.), Handbook of operant behavior (pp. 201-232). Englewood Cliffs, NJ, E.U.: Prentice-Hall.         [ Links ]