Saltar al contenido principal
LibreTexts Español

15.6: Procesos de Recompensa de Renovación

  • Page ID
    152119
  • \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \( \newcommand{\id}{\mathrm{id}}\) \( \newcommand{\Span}{\mathrm{span}}\)

    ( \newcommand{\kernel}{\mathrm{null}\,}\) \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\) \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\) \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\id}{\mathrm{id}}\)

    \( \newcommand{\Span}{\mathrm{span}}\)

    \( \newcommand{\kernel}{\mathrm{null}\,}\)

    \( \newcommand{\range}{\mathrm{range}\,}\)

    \( \newcommand{\RealPart}{\mathrm{Re}}\)

    \( \newcommand{\ImaginaryPart}{\mathrm{Im}}\)

    \( \newcommand{\Argument}{\mathrm{Arg}}\)

    \( \newcommand{\norm}[1]{\| #1 \|}\)

    \( \newcommand{\inner}[2]{\langle #1, #2 \rangle}\)

    \( \newcommand{\Span}{\mathrm{span}}\) \( \newcommand{\AA}{\unicode[.8,0]{x212B}}\)

    \( \newcommand{\vectorA}[1]{\vec{#1}}      % arrow\)

    \( \newcommand{\vectorAt}[1]{\vec{\text{#1}}}      % arrow\)

    \( \newcommand{\vectorB}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vectorC}[1]{\textbf{#1}} \)

    \( \newcommand{\vectorD}[1]{\overrightarrow{#1}} \)

    \( \newcommand{\vectorDt}[1]{\overrightarrow{\text{#1}}} \)

    \( \newcommand{\vectE}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash{\mathbf {#1}}}} \)

    \( \newcommand{\vecs}[1]{\overset { \scriptstyle \rightharpoonup} {\mathbf{#1}} } \)

    \( \newcommand{\vecd}[1]{\overset{-\!-\!\rightharpoonup}{\vphantom{a}\smash {#1}}} \)

    \(\newcommand{\avec}{\mathbf a}\) \(\newcommand{\bvec}{\mathbf b}\) \(\newcommand{\cvec}{\mathbf c}\) \(\newcommand{\dvec}{\mathbf d}\) \(\newcommand{\dtil}{\widetilde{\mathbf d}}\) \(\newcommand{\evec}{\mathbf e}\) \(\newcommand{\fvec}{\mathbf f}\) \(\newcommand{\nvec}{\mathbf n}\) \(\newcommand{\pvec}{\mathbf p}\) \(\newcommand{\qvec}{\mathbf q}\) \(\newcommand{\svec}{\mathbf s}\) \(\newcommand{\tvec}{\mathbf t}\) \(\newcommand{\uvec}{\mathbf u}\) \(\newcommand{\vvec}{\mathbf v}\) \(\newcommand{\wvec}{\mathbf w}\) \(\newcommand{\xvec}{\mathbf x}\) \(\newcommand{\yvec}{\mathbf y}\) \(\newcommand{\zvec}{\mathbf z}\) \(\newcommand{\rvec}{\mathbf r}\) \(\newcommand{\mvec}{\mathbf m}\) \(\newcommand{\zerovec}{\mathbf 0}\) \(\newcommand{\onevec}{\mathbf 1}\) \(\newcommand{\real}{\mathbb R}\) \(\newcommand{\twovec}[2]{\left[\begin{array}{r}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\ctwovec}[2]{\left[\begin{array}{c}#1 \\ #2 \end{array}\right]}\) \(\newcommand{\threevec}[3]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\cthreevec}[3]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \end{array}\right]}\) \(\newcommand{\fourvec}[4]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\cfourvec}[4]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \end{array}\right]}\) \(\newcommand{\fivevec}[5]{\left[\begin{array}{r}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\cfivevec}[5]{\left[\begin{array}{c}#1 \\ #2 \\ #3 \\ #4 \\ #5 \\ \end{array}\right]}\) \(\newcommand{\mattwo}[4]{\left[\begin{array}{rr}#1 \amp #2 \\ #3 \amp #4 \\ \end{array}\right]}\) \(\newcommand{\laspan}[1]{\text{Span}\{#1\}}\) \(\newcommand{\bcal}{\cal B}\) \(\newcommand{\ccal}{\cal C}\) \(\newcommand{\scal}{\cal S}\) \(\newcommand{\wcal}{\cal W}\) \(\newcommand{\ecal}{\cal E}\) \(\newcommand{\coords}[2]{\left\{#1\right\}_{#2}}\) \(\newcommand{\gray}[1]{\color{gray}{#1}}\) \(\newcommand{\lgray}[1]{\color{lightgray}{#1}}\) \(\newcommand{\rank}{\operatorname{rank}}\) \(\newcommand{\row}{\text{Row}}\) \(\newcommand{\col}{\text{Col}}\) \(\renewcommand{\row}{\text{Row}}\) \(\newcommand{\nul}{\text{Nul}}\) \(\newcommand{\var}{\text{Var}}\) \(\newcommand{\corr}{\text{corr}}\) \(\newcommand{\len}[1]{\left|#1\right|}\) \(\newcommand{\bbar}{\overline{\bvec}}\) \(\newcommand{\bhat}{\widehat{\bvec}}\) \(\newcommand{\bperp}{\bvec^\perp}\) \(\newcommand{\xhat}{\widehat{\xvec}}\) \(\newcommand{\vhat}{\widehat{\vvec}}\) \(\newcommand{\uhat}{\widehat{\uvec}}\) \(\newcommand{\what}{\widehat{\wvec}}\) \(\newcommand{\Sighat}{\widehat{\Sigma}}\) \(\newcommand{\lt}{<}\) \(\newcommand{\gt}{>}\) \(\newcommand{\amp}{&}\) \(\definecolor{fillinmathshade}{gray}{0.9}\)
    \(\newcommand{\P}{\mathbb{P}}\)\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\R}{\mathbb{R}}\)\(\newcommand{\N}{\mathbb{N}}\)\(\newcommand{\bs}{\boldsymbol}\)\(\newcommand{\var}{\text{var}}\)\(\newcommand{\sd}{\text{sd}}\)\(\newcommand{\cov}{\text{cov}}\)

    Teoría Básica

    Preliminares

    En un proceso de recompensa de renovación, cada tiempo interllegada se asocia con una variable aleatoria que genéricamente se piensa como la recompensa asociada a ese tiempo interllegada. Nuestro interés está en el proceso que da la recompensa total a tiempo\( t \). Entonces, vamos a configurar la notación habitual. Supongamos que\( \bs{X} = (X_1, X_2, \ldots) \) son los tiempos de interllegada de un proceso de renovación, de modo que\( \bs{X} \) es una secuencia de variables independientes, idénticamente distribuidas, no negativas con función de distribución común\( F \) y media\( \mu \). Como es habitual, suponemos\( F(0) \lt 1 \) que para que los tiempos entre llegadas no sean determinísticamente 0, y en esta sección también asumimos eso\( \mu \lt \infty \). Que\[ T_n = \sum_{i=1}^n X_i, \quad n \in \N \] así que esa\( T_n \) es la hora de la llegada\( n \) th para\( n \in \N_+ \) y\( \bs{T} = (T_0, T_1, \ldots) \) es la secuencia de tiempo de llegada. Por último, Let\[ N_t = \sum_{n=1}^\infty \bs{1}(T_n \le t), \quad t \in [0, \infty) \] así que ese\( N_t \) es el número de llegadas\( [0, t] \) y\(\bs{N} = \{N_t: t \in [0, \infty)\}\) es el proceso de conteo. Como de costumbre, vamos\( M(t) = \E\left(N_t\right) \) para que\( t \in [0, \infty) \) así\( M \) sea la función de renovación.

    Supongamos ahora que\( \bs{Y} = (Y_1, Y_2, \ldots) \) es una secuencia de variables aleatorias de valor real, donde\( Y_n \) se piensa como la recompensa asociada con el tiempo entre llegadas\( X_n \). Sin embargo, el término recompensa debe interpretarse genéricamente ya que en realidad\( Y_n \) podría ser un costo o algún otro valor asociado con el tiempo entre llegadas, y en cualquier caso, puede tomar valores negativos así como positivos. Nuestra suposición básica es que los pares de tiempo de llegada y recompensa\( \bs{Z} = \left((X_1, Y_1), (X_2, Y_2), \ldots\right) \) forman una secuencia independiente e idéntica distribuida. Recordemos que esto implica que\( \bs{X} \) es una secuencia IID, como lo requiere la definición del proceso de renovación, y que también\( \bs{Y} \) es una secuencia IID. Pero\( \bs{X} \) y bien\( \bs{Y} \) podría ser dependiente, y de hecho\( Y_n \) podría ser una función de\( X_n \) for\( n \in \N_+ \). Vamos a\( \nu = \E(Y) \) denotar la media de una recompensa genérica\( Y \), que suponemos que existe en\( \R \).

    El proceso estocástico\( \bs{R} = \{R_t: t \in [0, \infty)\} \) definido por\[ R_t = \sum_{i=1}^{N_t} Y_i, \quad t \in [0, \infty) \] es el proceso de renovación de recompensa asociado con\( \bs{Z} \). La función\( r \) dada por\( r(t) = \E(R_t) \) for\( t \in [0, \infty) \) es la función de recompensa.

    Según lo prometido,\( R_t \) es la recompensa total hasta el momento\( t \in [0, \infty) \). Aquí hay algunos ejemplos típicos:

    • Las llegadas son clientes en una tienda. Cada cliente gasta una cantidad aleatoria de dinero.
    • Las llegadas son visitas a un sitio web. Cada visitante pasa una cantidad aleatoria de tiempo en el sitio.
    • Las llegadas son tiempos de falla de un sistema complejo. Cada falla requiere un tiempo de reparación aleatorio.
    • Las llegadas son sismos en un lugar determinado. Cada sismo tiene una severidad aleatoria, una medida de la energía liberada.

    Así\( R_t \) es una suma aleatoria de variables aleatorias para cada una\( t \in [0, \infty) \). En el caso especial eso\( \bs{Y} \) e\( \bs{X} \) independiente, la distribución de\( R_t \) se conoce como una distribución compuesta, basada en la distribución de\( N_t \) y la distribución de una recompensa genérica\( Y \). Especializándose además, si el proceso de renovación es Poisson y es independiente de\( \bs{Y} \), el proceso\( \bs{R} \) es un proceso compuesto de Poisson.

    Tenga en cuenta que un proceso de recompensa de renovación generaliza un proceso de renovación ordinario. Específicamente, si\( Y_n = 1 \) para cada uno\( n \in \N_+ \), entonces\( R_t = N_t \) para\( t \in [0, \infty) \), para que el proceso de recompensa simplemente se reduzca al proceso de conteo, y luego se\( r \) reduzca a la función de renovación\( M \).

    El teorema de la recompensa de renovación

    Porque\( t \in (0, \infty) \), la recompensa promedio en el intervalo\( [0, t] \) es\( R_t / t \), y la recompensa promedio esperada en ese intervalo es\( r(t) / t \). El teorema fundamental sobre los procesos de renovación recompensa da el comportamiento asintótico de estos promedios.

    El teorema de la recompensa de renovación

    1. \( R_t / t \to \nu / \mu\)como\( t \to \infty \) con probabilidad 1.
    2. \( r(t) / t \to \nu / \mu \)como\( t \to \infty \)
    Prueba
    1. Tenga en cuenta que\[ \frac{R_t}{t} = \frac{R_t}{N_t} \frac{N_t}{t}\] Pero por la ley fuerte ordinaria de números grandes para la secuencia IID\( \bs{Y} \),\[ \frac{1}{n} \sum_{i=1}^n Y_i \to \nu \] como\( n \to \infty \) con probabilidad 1. Recal también que\( N_t \to \infty \) como\( t \to \infty \) con probabilidad 1. De ahí se deduce que al\[ \frac{R_t}{N_t} = \frac{1}{N_t} \sum_{i=1}^{N_t} Y_i \to \nu \] igual que\( t \to \infty \) con la probabilidad 1. De la ley o grandes números para el proceso de renovación, sabemos que\( N_t \big/ t \to 1 / \mu \) como\( t \to \infty \) con la probabilidad 1.
    2. Tenga en cuenta primero que\[ R_t = \sum_{i=1}^{N_t} Y_i = \sum_{i=1}^{N_t + 1} Y_i - Y_{N(t) + 1} \] Next Recall que\( N_t + 1 \) es un tiempo de parada para la secuencia de tiempos de interllegada\(\bs{X}\) para\( t \in (0, \infty) \), y por lo tanto también es un tiempo de parada para la secuencia de tiempo interllegada, pares de recompensa\( \bs{Z} \). (Si un tiempo aleatorio es un tiempo de detención para una filtración, entonces es un tiempo de detención para cualquier filtración más grande). Por la ecuación de Wald,\[ \E\left(\sum_{i=1}^{N_t + 1} Y_i\right) = \nu \E\left(N_t + 1\right) = \nu[M(t) + 1] = \nu \, M(t) + \nu \] Por el teorema de renovación elemental, Volviendo\[ \frac{\nu \, M(t) + \nu}{t} = \nu \frac{M(t)}{t} + \frac{\nu}{t} \to \frac{\nu}{\mu} \text{ as } t \to \infty\] así a la primera ecuación mostrada arriba, queda por mostrar que\[ \frac{\E\left[Y_{N_t + 1}\right]}{t} \to 0 \text{ as } t \to \infty \] Let\( u(t) = \E\left[Y_{N_t + 1}\right] \) for\( t \in [0, \infty) \). Tomando casos para la primera hora de llegada\( X_1 \) tenemos\[ u(t) = \E\left[Y_{N_t + 1} \bs{1}(X_1 \gt t)\right] + \E\left[Y_{N_t + 1} \bs{1}(X_1 \le t)\right]\] Pero\( X_1 \gt t \) si y sólo si es\( N_t = 0 \) así lo es el primer término\( \E\left[Y_1 \bs{1}(X_1 \gt t)\right] \), que vamos a anotar por\( a(t) \). Hemos asumido que la recompensa esperada\( \nu \) existe en\( \R \). De ahí\( \left|a(t)\right| \le \E\left(\left|Y_1\right|\right) \lt \infty \) para que\( a \) quede acotado, y\( a(t) \to 0 \) como\( t \to \infty \). Para el segundo término, si la primera llegada ocurre en el momento\( s \in [0, t] \), entonces se reinicia el proceso de renovación, independientemente del pasado, por\[ \E\left[Y_{N_t + 1} \bs{1}(X_1 \le t)\right] = \int_0^t u(t - s) \, dF(s), \quad t \in [0, \infty) \] lo que se deduce que\( u \) satisface la ecuación de renovación\( u = a + u * F \). Por el teorema fundamental sobre las ecuaciones de renovación, la solución es\( u = a + a * M \). Ahora, arregla\( \epsilon \gt 0 \). Existe\( T \in (0, \infty) \) tal que\( \left|a(t)\right| \lt \epsilon \) para\( t \gt T \). Así para\( t \gt T \),\ comenzar {alinear*}\ izquierda|\ frac {u (t)} {t}\ derecha| &\ le\ frac {1} {t}\ izquierda [\ izquierda|a (t)\ derecha| +\ int_0^ {t - T}\ izquierda|a (t - s)\ derecha| dM (s) +\ int_ {t - M} ^t\ izquierda|a (t - s)\ derecha| dM (s)\ derecha]\\ &\ le\ frac {1} {t}\ izquierda [\ épsilon +\ épsilon\, M (t - T) +\ E\ izquierda|Y_1\ derecha| [M (t) - M (t - T)]\ derecha] \ end {align*} Usando de nuevo el teorema de renovación elemental, la última expresión converge a\( \epsilon / \mu \) as\( t \to \infty \). Dado que\( \epsilon \gt 0 \) es arbitrario, se deduce que\( u(t) / t \to 0 \) como\( t \to \infty \).

    La parte (a) generaliza la ley de grandes números y la parte (b) generaliza el teorema de renovación elemental, para un proceso básico de renovación. Una vez más, si\( Y_n = 1 \) para cada uno\( n \), entonces (a) se convierte en\( N_t / t \to 1/\mu \) como\( t \to \infty \) y (b) se vuelve\( M(t) / t \to 1 /\mu \) como\( t \to \infty \). No es de extrañar entonces que estos dos teoremas jueguen un papel fundamental en la prueba del teorema de la recompensa de renovación.

    Procesos generales de recompensa

    El proceso de recompensa de renovación\( \bs{R} = \{R_t: t \in [0, \infty)\} \) anterior es constante, tomando el valor\( \sum_{i=1}^n Y_i \), en el intervalo de renovación\( [T_n, T_{n+1}) \) para cada uno\( n \in \N \). Efectivamente, las recompensas se reciben discretamente:\( Y_1 \) en el momento\( T_1 \), una adicional\( Y_2 \) en el momento\( T_2 \), y así sucesivamente. Es posible modificar la construcción para que las recompensas se acumulen continuamente en el tiempo o de manera mixta discreta/continua. Aquí hay un conjunto simple de condiciones para un proceso de recompensa general.

    Supongamos nuevamente que\( \bs{Z} = ((X_1, Y_1), (X_2, Y_2), \ldots) \) es la secuencia de tiempos y recompensas entre llegadas. Un proceso estocástico\( \bs{V} = \{V_t: t \in [0, \infty)\}\) (en nuestro espacio de probabilidad subyacente) es un proceso de recompensa asociado con\( \bs{Z}\) si se mantienen las siguientes condiciones:

    1. \( V_{T_n} = \sum_{i=1}^n Y_i \)para\( n \in \N \)
    2. \( V_t \)está entre\( V_{T_n} \) y\( V_{T_{n+1}} \) para\(t \in \left(T_n, T_{n+1}\right) \) y\( n \in \N \)

    En el caso continuo, con recompensas no negativas (el caso más importante), el proceso de recompensa normalmente tendrá la siguiente forma:

    Supongamos que las recompensas no son negativas y que\( \bs{U} = \{U_t: t \in [0, \infty)\} \) es un proceso estocástico no negativo (en nuestro espacio de probabilidad subyacente) con

    1. \( t \mapsto U_t \)continuo por partes
    2. \( \int_{T_n}^{T_{n+1}} U_t \, dt = Y_{n+1}\)para\( n \in \N \)

    Dejemos\( V_t = \int_0^t U_s \, ds \) para\(t \in [0, \infty) \). Entonces\( \bs{V} = \{V_t: t \in [0, \infty)\} \) es un proceso de recompensa asociado con\( \bs{Z} \).

    Prueba

    Por la aditividad de la integral y (b),\( V_{T_n} = \sum_{i=1}^n Y_i \) para\( n \in \N \). Dado que no\( \bs{U} \) es negativo,\( \bs{V} \) va en aumento, por lo que\( V_{T_n} \le V_t \le V_{T_{n+1}} \) para\( t \in \left(T_n, T_{n+1}\right) \)

    Así, en este caso especial, las recompensas se están acumulando continuamente y\( U_t \) es la tasa a la que la recompensa se está acumulando en su momento\( t \). Así\( \bs{U} \) juega el papel de un proceso de densidad de recompensa. Para un proceso de recompensa general, el teorema básico de la recompensa de renovación aún se mantiene.

    Supongamos que\( \bs{V} = \{V_t: t \in [0, \infty)\} \) es un proceso de recompensa asociado con\( \bs{Z} = ((X_1, Y_1), (X_2, Y_2), \ldots) \), y deja que\( v(t) = \E\left(V_t\right) \)\( t \in [0, \infty) \) sea la función de recompensa correspondiente.

    1. \( V_t / t \to \nu / \mu \)como\( t \to \infty \) con probabilidad 1.
    2. \( v(t) / t \to \nu / \mu \)como\( t \to \infty \).
    Prueba

    Supongamos primero que las variables de recompensa no\( Y \) son negativas. Entonces\[ \frac{R_t}{t} \le \frac{V_t}{t} \le \frac{R_t}{t} + \frac{Y_{N_t + 1}}{t} \] De la prueba del teorema de recompensa de renovación anterior,\( R_t / t \to \nu / \mu \) como\( t \to \infty \) con probabilidad 1, y\( Y_{N_t + 1} \big/ t \to 0\) como\( t \to \infty \) con probabilidad 1. De ahí que (a) sostenga. Tomando valores esperados,\[ \frac{r(t)}{t} \le \frac{v(t)}{t} \le \frac{r(t)}{t} + \frac{\E\left(Y_{N_t + 1}\right)}{t} \] Pero nuevamente a partir del teorema de recompensa de renovación anterior,\( r(t) / t \to \nu / \mu \) como\( t \to \infty \) y\( E\left(Y_{N_t + 1}\right) \big/ t \to 0 \) como\( t \to \infty \). De ahí que (b) se mantenga. Un argumento similar funciona si las variables de recompensa son negativas. Si las variables de recompensa toman valores positivos y negativos, dividimos las variables en partes positivas y negativas de la manera habitual.

    Aquí está el corolario de un proceso continuo de recompensa.

    Supongamos que las recompensas son positivas, y considera el proceso continuo de recompensa con proceso de densidad\( \bs{U} = \{U_t: t \in [0, \infty)\} \) como arriba. Dejemos\( u(t) = \E(U_t) \) para\( t \in [0, \infty) \). Entonces

    1. \( \frac{1}{t} \int_0^t U_s \, ds \to \frac{\nu}{\mu} \)como\( t \to \infty \) con probabilidad 1
    2. \( \frac{1}{t} \int_0^t u(s) \, ds \to \frac{\nu}{\mu} \)como\( t \to \infty \)

    Casos especiales y aplicaciones

    Con una elección inteligente de las recompensas, muchos procesos de renovación interesantes se pueden convertir en procesos de recompensa de renovación, lo que lleva a su vez a límites interesantes a través del teorema de la recompensa de renovación.

    Procesos de Renovación Alternativos

    Recordemos que en un proceso de renovación alterna, un sistema alterna entre estados encendido y apagado (comenzando en el estado encendido). Si dejamos\( \bs{U} = (U_1, U_2, \ldots) \) ser las duraciones de los sucesivos periodos de tiempo en los que el sistema está encendido, y\( \bs{V} = (V_1, V_2, \ldots) \) las duraciones de los sucesivos periodos de tiempo en los que el sistema está apagado, entonces los supuestos básicos son que\( ((U_1, V_1), (U_2, V_2), \ldots) \) es una secuencia independiente, idénticamente distribuida, y que las variables \( X_n = U_n + V_n \)para\( n \in \N_+ \) formar los tiempos entre llegadas de un proceso de renovación estándar. Let\( \mu = \E(U) \) denotar la media de un período de tiempo en el que el dispositivo está encendido, y\( \nu = \E(V) \) la media de un período de tiempo en el que el dispositivo está apagado. Recordemos que\( I_t \) denota el estado (1 o 0) del sistema en el momento\( t \in [0, \infty) \), por lo que ese\( \bs{I} = \{I_t: t \in [0, \infty)\} \) es el proceso de estado. La función de probabilidad de estado\( p \) viene dada por\( p(t) = \P(I_t = 1) \) for\( t \in [0, \infty) \).

    Límites para el proceso de renovación alterna.

    1. \(\frac{1}{t} \int_0^t I_s \, ds \to \frac{\mu}{\mu + \nu}\)como\( t \to \infty \) con probabilidad 1
    2. \( \frac{1}{t} \int_0^t p(s) \, ds \to \frac{\mu}{\mu + \nu} \)como\( t \to \infty \)
    Prueba

    Considere el proceso de recompensa de renovación donde\( X_n \) está la recompensa asociada con el tiempo de interllegada\( U_n \), el período de encendido para ese período de renovación. Las recompensas\( U_n \) son no negativas y claramente\( \int_{T_n}^{T_{n+1}} I_s \, ds = U_{n+1} \). Entonces\( t \mapsto \int_0^t I_s \, ds \) para\( t \in [0, \infty) \) define un proceso continuo de recompensa de la forma dada anteriormente. Las partes (a) y (b) siguen directamente del teorema de renovación de recompensa anterior.

    Así, el tiempo promedio asintótico que el dispositivo está encendido, y el tiempo promedio asintótico que el dispositivo está encendido, son simplemente la relación de la media de un período de encendido a la media de un período de encendido-apagado. En nuestro estudio previo de alternancia de procesos de renovación, el resultado fundamental fue que en el caso no aritmético,\( p(t) \to \mu / (\mu + \nu) \) como\( t \to \infty \). Este resultado implica la parte (b) en el teorema anterior.

    Procesos de Edad

    Los procesos de recompensa de renovación pueden ser utilizados para derivar algunos resultados asintóticos para los procesos de edad de un proceso de renovación estándar Entonces, supongamos que tenemos un proceso de renovación con secuencia interllegada\( \bs{X} \), secuencia de llegada\( \bs{T} \), y proceso de conteo\( \bs{N} \). Como es habitual, vamos a\( \mu = \E(X)\) denotar la media de un tiempo interarribo, pero ahora también necesitaremos\( \nu = \E(X^2) \), el segundo momento. Suponemos que ambos momentos son finitos.

    Pues\( t \in [0, \infty) \), recordemos que la vida actual, la vida restante y la vida total en el momento\( t \) son\[ A_t = t - T_{N_t}, \quad B_t = T_{N_t + 1} - t, \quad L_t = A_t + B_t = T_{N_t+1} - T_{N_t} = X_{N_t + 1} \] respectivamente. En la terminología habitual de confiabilidad,\( A_t \) es la antigüedad del dispositivo en servicio en el momento\( t \),\( B_t \) es el tiempo restante hasta que este dispositivo falle, y\( L_t \) es la vida total del dispositivo. (Para evitar choques notacionales, estamos usando notación diferente a la de secciones pasadas). Dejar\( a(t) = \E(A_t) \),\( b(t) = \E(B_t) \), y\( l(t) = \E(L_t) \) para\( t \in [0, \infty) \), las funciones medias correspondientes. Para derivar nuestros resultados asintóticos, simplemente usamos la vida actual y la vida restante como densidades (o tasas) de recompensa en un proceso de recompensa de renovación.

    Límites para el proceso de vida actual.

    1. \( \frac{1}{t} \int_0^t A_s \, ds \to \frac{\nu}{2 \mu} \)como\( t \to \infty \) con probabilidad 1
    2. \( \frac{1}{t} \int_0^t a(s) \, ds \to \frac{\nu}{2 \mu} \)como\( t \to \infty \)
    Prueba

    Considere el proceso de recompensa de renovación donde\( X_n \) es\(\frac{1}{2} X_n^2\) para la recompensa asociada con el tiempo de interllegada\( n \in \N \). El proceso\( t \mapsto \int_0^t A_s \, ds \) para\( t \in [0, \infty) \) es un proceso continuo de recompensa para esta secuencia de recompensas, como se definió anteriormente. Para ver esto, tenga en cuenta que para\( t \in \left[T_n, T_{n+1}\right) \), tenemos\( A_t = t - T_n \), así con un cambio de variables y señalando que\( T_{n+1} = T_n + X_{n+1} \) tenemos\[ \int_{T_n}^{T_{n+1}} A_t \, dt = \int_0^{X_{n+1}} s \, ds = \frac{1}{2} X_{n+1}^2 \] Los resultados ahora siguen del teorema de recompensa de renovación anterior.

    Límites para el proceso de vida restante.

    1. \( \frac{1}{t} \int_0^t B_s \, ds \to \frac{\nu}{2 \mu} \)como\( t \to \infty \) con probabilidad 1
    2. \( \frac{1}{t} \int_0^t b(s) \, ds \to \frac{\nu}{2 \mu} \)como\( t \to \infty \)
    Prueba

    Considere nuevamente el proceso de recompensa de renovación donde\( X_n \) es\(\frac{1}{2} X_n^2\) para la recompensa asociada con el tiempo de interllegada\( n \in \N \). El proceso\( t \mapsto \int_0^t B_s \, ds \) para\( t \in [0, \infty) \) es un proceso continuo de recompensa para esta secuencia de recompensas, como se definió anteriormente. Para ver esto, tenga en cuenta que para\( t \in \left[T_n, T_{n+1}\right) \), tenemos\( B_t = T_{n+1} - t \), así que una vez más con un cambio de variables y señalando que\( T_{n+1} = T_n + X_{n+1} \) tenemos\[ \int_{T_n}^{T_{n+1}} B_t \, dt = \int_0^{X_{n+1}} s \, ds = \frac{1}{2} X_{n+1}^2 \] Los resultados ahora siguen del teorema de recompensa de renovación anterior.

    Con un poco de pensamiento, no es de extrañar que los límites para la vida actual y los procesos de vida restantes sean los mismos. Después de un largo periodo de tiempo, un proceso de renovación se ve estocásticamente igual hacia adelante o hacia atrás en el tiempo. Cambiar la flecha del tiempo invierte el papel de la vida actual y restante. Los resultados asintóticos para el proceso de vida total siguen ahora trivialmente a partir de los resultados para los procesos de vida actuales y restantes.

    Límites para el proceso de vida total

    1. \( \frac{1}{t} \int_0^t L_s \, ds \to \frac{\nu}{\mu} \)como\( t \to \infty \) con probabilidad 1
    2. \( \frac{1}{t} \int_0^t l(s) \, ds = \frac{\nu}{\mu} \)como\( t \to \infty \)

    Modelos de Repuesto

    Consideremos nuevamente un proceso de renovación estándar como se define en la Introducción, con secuencia interllegada\( \bs{X} = (X_1, X_2, \ldots) \)\( \bs{T} = (T_0, T_1, \ldots) \), secuencia de llegada y proceso de conteo\( \bs{N} = \{N_t: t \in [0, \infty)\} \). Una de las aplicaciones más básicas es la confiabilidad, donde un dispositivo opera durante una vida aleatoria, falla y luego es reemplazado por un nuevo dispositivo, y el proceso continúa. En este modelo,\( X_n \) se encuentra la vida útil y\( T_n \) el tiempo de falla del\( n \) th dispositivo en servicio, para\( n \in \N_+ \), mientras que\( N_t \) es el número de fallas en\( [0, t] \) para\( t \in [0, \infty) \). Como de costumbre,\( F \) denota la función de distribución de una vida genérica\( X \), y\( F^c = 1 - F \) la función de distribución derecha correspondiente (función de confiabilidad). A veces, el dispositivo es en realidad un sistema con una serie de componentes críticos; la falla de cualquiera de los componentes críticos hace que el sistema falle.

    Los modelos de reemplazo son variaciones del modelo básico en el que se reemplaza el dispositivo (o los componentes críticos reemplazados) en momentos distintos a la falla. A menudo, el costo\( a \) de un reemplazo planificado es menor que el costo\( b \) de un reemplazo de emergencia (en caso de falla), por lo que los modelos de reemplazo pueden tener sentido económico. Consideraremos el modelo más común.

    En el modelo de reemplazo de edad, el dispositivo se reemplaza ya sea cuando falla o cuando alcanza una edad especificada\( s \in (0, \infty) \). Este modelo da lugar a un nuevo proceso de renovación con secuencia interarrival\( \bs{U} = (U_1, U_2, \ldots) \) donde\( U_n = \min\{X_n, s\} \) para\( n \in \N_+ \). Si\( a, \, b \in (0, \infty) \) son los costos de reemplazos planificados y no planificados, respectivamente, entonces el costo asociado con el periodo de renovación\( U_n \) es\[ Y_n = a \bs{1}(U_n = s) + b \bs{1}(U_n \lt s) = a \bs{1}(X_n \ge s) + b \bs{1}(X_n \lt s) \] Claramente\( ((U_1, Y_1), (U_2, Y_2), \ldots) \) satisface los supuestos de un proceso de recompensa de renovación dado anteriormente. El modelo tiene sentido matemático para cualquiera\( a, b \in (0, \infty) \) pero si\( a \ge b \), de modo que el costo planificado de reemplazo es al menos tan grande como el costo no planificado de reemplazo, entonces\( Y_n \ge b \) para\( n \in \N_+ \), por lo que el modelo no tiene sentido financiero. Así lo asumimos\( a \lt b \).

    En el modelo de reemplazo por edad, con reemplazo planificado a la edad\( s \in (0, \infty) \),

    1. El costo esperado de un periodo de renovación es\( \E(Y) = a F^c(s) + b F(s) \).
    2. La duración prevista de un periodo de renovación es\( \E(U) = \int_0^s F^c(x) \, dx \)

    El costo esperado limitante por unidad de tiempo es\[ C(s) = \frac{a F^c(s) + b F(s)}{\int_0^s F^c(x) \, dx} \]

    Prueba

    Las partes (a) y (b) se derivan de la definición de la recompensa\( Y \) y el período de renovación\( U \), y luego la fórmula para\( C(s) \) sigue del teorema de renovación de recompensa anterior

    Entonces, naturalmente, dados los costos\( a \) y\( b \), y la función de distribución de por vida\( F \), el objetivo es encontrar el valor de\( s \) que minimice\( C(s) \); este valor de\( s \) es el tiempo de reemplazo óptimo. Por supuesto, el tiempo óptimo puede no existir.

    Propiedades de\( C \)

    1. \( C(s) \to \infty \)como\( s \downarrow 0 \)
    2. \( C(s) \to \mu / b \)como\( s \uparrow \infty \)
    Prueba
    1. Recordemos eso\( F^c(0) \gt 0 \) y\( \int_0^s F^c(x) \, dx \to 0 \) como\( s \downarrow 0 \)
    2. Como\( s \to \infty \) señalar que\( F^c(s) \to 0 \),\( F(s) \to 1 \) y\( \int_0^s F^c(x) \, dx \to \int_0^\infty F^c(x) \, dx = \mu \)

    Como\( s \to \infty \), el modelo de reemplazo por edad se convierte en el modelo estándar (no planificado) con costo promedio esperado limitante\( b / \mu \).

    Supongamos que la vida útil del dispositivo (en unidades apropiadas) tiene la distribución exponencial estándar. Encuentra\( C(s) \) y resuelve el problema óptimo de reemplazo por edad.

    Contestar

    La función de confiabilidad exponencial es\( F^c(t) = e^{-t} \) para\( t \in [0, \infty) \). Después de algo de álgebra, el costo promedio esperado a largo plazo por unidad de tiempo\( C(s) \) es\[ C(s) = \frac{a}{e^s - 1} + b, \quad s \in [0, \infty) \] Pero claramente está disminuyendo estrictamente en\( s \), con límite\( b \), por lo que no hay valor mínimo.

    El último resultado no es sorprendente. Un dispositivo con una vida útil distribuida exponencialmente no envejece, si no ha fallado, es tan bueno como nuevo. De manera más general, el reemplazo por edad no tiene sentido para ningún dispositivo con una tasa de fallas decreciente. Dichos dispositivos mejoran con la edad.

    Supongamos que la vida útil del dispositivo (en unidades apropiadas) tiene la distribución gamma con el parámetro shape\( 2 \) y el parámetro scale 1. Supongamos que los costos (en unidades apropiadas) son\( a = 1 \) y\( b = 5 \).

    1. Encuentra\( C(s) \).
    2. Esbozar la gráfica de\( C(s) \).
    3. Resolver numéricamente el problema óptimo de reemplazo por edad.
    Contestar

    La función de confiabilidad gamma es\( F^c(t) = e^{-t}(1 + t) \) para\( t \in [0, \infty) \)

    1. \[ C(s) = \frac{4 + 4 s -5 e^s}{2 + s - 2 e^s}, \quad s \in (0, \infty)\]
    2. La gráfica de\( C(s) \) en el intervalo\( (0, 5] \)
      Función de costo
    3. \( C \)se minimiza para el tiempo de reemplazo\( s \approx 1.3052 \). El costo óptimo es de alrededor de 2.26476.

    Supongamos nuevamente que la vida útil del dispositivo (en unidades apropiadas) tiene la distribución gamma con el parámetro shape\( 2 \) y el parámetro scale 1. Pero supongamos ahora que los costos (en unidades apropiadas) son\( a = 1 \) y\( b = 2 \).

    1. Encuentra\( C(s) \).
    2. Esbozar la gráfica de\( C(s) \).
    3. Resolver el problema óptimo de reemplazo por edad.
    Contestar

    La función de confiabilidad gamma es\( F^c(t) = e^{-t}(1 + t) \) para\( t \in [0, \infty) \)

    1. \[ C(s) = \frac{2 e^s - (1 + s)}{2 e^s - (2 + s)}, \quad s \in (0, \infty)\]
    2. La gráfica de\( C(s) \) en el intervalo\( (0, 4] \)
      Función de costo
    3. \( C \)es estrictamente decreciente\( [0, \infty) \) con límite 1, por lo que no hay valor mínimo.

    En el último caso, la diferencia entre el costo de un reemplazo de emergencia y un reemplazo planificado no es lo suficientemente grande como para que el reemplazo por edad tenga sentido.

    Supongamos que la vida útil del dispositivo (en unidades apropiadamente escaladas) se distribuye uniformemente en el intervalo\( [0, 1] \). Encuentre\( C(s) \) y resuelva el problema de reemplazo óptimo. Dar los resultados explícitamente para los siguientes costos:

    1. \( a = 4 \),\( b = 6 \)
    2. \( a = 2 \),\( b = 5 \)
    3. \( a = 1 \),\( b = 10 \)
    Prueba

    La función de confiabilidad es\( F^c(t) = 1 - t \) para\( t \in [0, 1] \). Después de cálculos estándar,\[ C(s) = 2 \frac{a(1 - s) + b s}{s (2 - s)}, \quad s \in (0, 1] \] Después de cálculos más estándar, el tiempo de reemplazo óptimo es\[ s = \frac{\sqrt{2 a b - a^2} - a}{b - a} \]

    1. \( s = 2 \left(\sqrt{2} - 1\right) \approx 0.828 \),\( C \approx 11.657 \)
    2. \( s = \frac{2}{3} \),\( C = 9 \)
    3. \( s = \frac{\sqrt{19} - 1}{9} \approx 0.373\),\( C \approx 14.359 \)

    Adelgazamiento

    Comenzamos con un proceso de renovación estándar con secuencia interllegada\( \bs{X} = (X_1, X_2, \ldots) \), secuencia de llegada\( \bs{T} = (T_0, T_1, \ldots) \) y proceso de conteo\( \bs{N} = \{N_t: t \in [0, \infty)\} \). Como es habitual, vamos a\( \mu = \E(X) \) denotar la media de un tiempo interarribo. Pues\( n \in \N_+ \), supongamos ahora que la llegada\( n \) es aceptada o rechazada, y definir variable aleatoria\( Y_n \) para que sea 1 en el primer caso y 0 en el segundo. Vamos\( Z_n = (X_n, Y_n) \) denotar el par de variables de tiempo de interllegada y rechazo para\( n \in \N_+ \), y asumir que\( \bs{Z} = (Z_1, Z_2, \ldots) \) es una secuencia independiente, distribuida de manera idéntica.

    Tenga en cuenta que tenemos la estructura de un proceso de recompensa de renovación, y así en particular,\( \bs{Y} = (Y_1, Y_2, \ldots) \) es una secuencia de juicios de Bernoulli. Dejar\( p \) denotar el parámetro de esta secuencia, de modo que esa\( p \) es la probabilidad de aceptar una llegada. El procedimiento de aceptación o rechazo de puntos en un proceso de puntos se conoce como proceso de adelgazamiento del punto. Estudiamos el aclareo del proceso de Poisson. En la notación de esta sección, tenga en cuenta que el proceso de recompensa\( \bs{R} = \{R_t: t \in [0, \infty)\} \) es el proceso de conteo adelgazado. Es decir,\[ R_t = \sum_{i=1}^{N_t} Y_i \] es el número de puntos aceptados en\( [0, t] \) para\( t \in [0, \infty) \). Entonces\( r(t) = \E(R_t) \) es el número esperado de puntos aceptados en\( [0, t] \). El teorema de la recompensa de renovación da el comportamiento asintótico.

    Límites para el proceso adelgazado.

    1. \( R_t / t \to p / \mu \)como\( t \to \infty \)
    2. \( r(t) / t \to p / \mu \)como\( t \to \infty \)
    Prueba

    Esto se desprende inmediatamente del teorema de la recompensa de renovación anterior, ya que\( \nu = p \).


    This page titled 15.6: Procesos de Recompensa de Renovación is shared under a CC BY 2.0 license and was authored, remixed, and/or curated by Kyle Siegrist (Random Services) via source content that was edited to the style and standards of the LibreTexts platform.