CGL Bloques de Programación

Los "bloques" son programas o grupos de programas que efectúan tareas cotidianas
de utilidad para nuestra comunidad.
La idea es que cada bloque sea una caja negra a la que se le proporcionan
datos y nos regresa resultados.
Cada bloque corre uno o más programas (en serie o en paralelo), genera archivos
intermedios y de resultados.
Si todo funciona correctamente, todos los archivos intermedios son eliminados
por el propio bloque. Hay bloques que permiten conservar opcionalmente
los archivos intermedios.
Los bloques corren en "groc" (132.248.32.80), en el directorios /home/bloques.

BLQ_gff_faa_fna.sh		*Generación de archivos GFF*

Este bloque permite obtener un archivo con formato GFF.
Básicamente ejecuta el programa PRODIGAL.
(Prodigal is a protein-coding gene prediction software tool for bacterial and archaeal genomes.
The acronym stands for PROkaryotic DYnamic Programming Genefinding ALgorithm)
Parámetros:
1 - archivo FASTA
2 - directorio para escribir resultados ! Se debe contar con derechos de escritura
Genera:
1 - GFF
2 - FASTA con aminoácidos
3 - FASTA con nucleótidos
A las salidas se les PRE-pone el nombre del archivo (parámetro 1)

Bloque: GFF, aminoácidos y nucleótidos
Parámetros	Formato	Proceso	Salidas
Archivo con contigs	Fasta	/home/bloques/BLQ_gff_faa_fna.sh	entrada.fna_prodigal.faa entrada.fna_prodigal.fna entrada.fna_prodigal.gff
Directorio de salida	Trayectoria Completa	/home/bloques/BLQ_gff_faa_fna.sh

EJEMPLO:

Generar en formato Fasta, aminoácidos, nucleótidos y descripción en formato GFF a partir del archivo

/home/usuario/mis_datos/mis_contigs.fna,

dejando los tres archivos resultantes en el directorio

/home/dummy/salidas.


/home/bloques/BLQ_gff_faa_fna.sh  /home/usuario/mis_datos/mis_contigs.fna /home/dummy/salidas

	Genera en el directorio "/home/dummy/salidas":

	mis_contigs.fna_prodigal.faa mis_contigs.fna_prodigal.fna mis_contigs.fna_prodigal.gff

EJEMPLO:

Igual que el anterior, pero usando el archivo

e_coli.fna

y dejando los archivos resultantes en el directorio actual de trabajo.


/home/bloques/BLQ_gff_faa_fna.sh e_coli.fna .

<-- Inicio (tmp)

BLQ_fasta_una_linea.pl		*FASTA una línea*

Este bloque convierte un archivo FASTA en el que la(s) secuencia(s) se encuentren en una o más
líneas, en otro en el que cada secuencia ocupa UNA sola línea
Parámetros:
1-archivo FASTA
Genera en <STDOUT> el archivo de salida

Bloque: FASTA una línea
Parámetros	Formato	Proceso	Salidas
Archivo secuencias	Fasta	/home/bloques/BLQ_fasta_una_linea.pl	<STDOUT>

EJEMPLO:

Formatear a una sola línea el archivo

b_subtilis_ncbi.faa

y almacenar el resultado en

b_subtilis_ncbi_una_linea.faa


/home/bloques/BLQ_fasta_una_linea.pl b_subtilis_ncbi.faa > b_subtilis_ncbi_una_linea.faa

	Ejemplo de "original" y "una línea"

	--- ORIGINAL --- >eco-b0001 MKRISTTITTTITITTGNGAG >eco-b0002 MRVLKFGGTSVANAERFLRVADILESNARQGQVATVLSAPAKITNHLVAMIEKTISGQDALPNISD AERIFAELLTGLAAAQPGFPLAQLKTFVDQEFAQIKHVLHGISLLGQCPDSINAALICRGEKMSIA IMAGVLEARGHNVTVIDPVEKLLAVGHYLESTVDIAESTRRIAASRIPADHMVLMAGFTAGNEKGE NRVKIAEVDGNDPLFKVKNGENALAFYSHYYQPLPLVLRGYGAGNDVTAAGVFADLLRTLSWKLGV >eco-b0005 MKKMQSIVLALSLVLVAPMAAQAAEITLVPSVKLQIGDRDNRGYYWDGGHWRDHGWWKQHYEWRGN RWHLHGPPPPPRHHKKAPHDHHGGHGPGKHHR --- UNA LíNEA --- >eco-b0001 MKRISTTITTTITITTGNGAG >eco-b0002 MRVLKFGGTSVANAERFLRVADILESNARQGQVATVLSAPAKITNHLVAELLTGLAAAQPGFP.....AEVDGNDPLFKVKNYYQPLPLVLRGYGAGNDVTAAGVFADLLRTLSWKLGV >eco-b0005 MKKMQSIVLALSLVLVAPMAAQAAEITLVPSVKLQIGDRDNRGYYWDGGHWRDHGWWKQHYEWRGNRWHLHGPPPPPRHHKKAPHDHHGGHGPGKHHR

<-- Inicio (tmp)

BLQ_cogs.sh		*Obtención de COGs (rápido)*

Este bloque permite obtener un archivo con los COGs asociados
al archivo FASTA proporcionado.
Puede usar hasta 61 procesadores simultáneamente.
Parámetros:
1-archivo
2-directorio para escribir resultados ! Se debe contar con derechos de escritura
Genera:
1-archivo con COGs asociados
A las salidas se les PRE-pone el nombre del archivo (parámetro 1)
Éste es el "método rápido" de los dos bloques para la obtención de COGs
que se ofrecen. (liga-ref)

P.E. para Escherichia coli K12 se obtuvieron los siguientes tiempos:

		real    5m34.134s
		user    0m11.762s
		sys     0m4.641s
				(aproximadamente 17 segundos de CPU)

Bloque: obtiene COGs
Parámetros	Formato	Proceso	Salidas
Archivo aminoácidos	Fasta	/home/bloques/BLQ_cogs.sh	entrada.faa_asignaciones_cog_rog
Directorio de salida	Trayectoria Completa	/home/bloques/BLQ_cogs.sh	entrada.faa_asignaciones_cog_rog

EJEMPLO:

Obtener COGs y ROGs a partir del archivo FASTA

/home/bloques/test/aminos_eco.faa,

dejando el archivo con resultados (aminos_eco.faa_asignaciones_cog_rog) en el directorio

/home/ricardo


/home/bloques/obtiene_cogs.sh /home/bloques/test/aminos_eco.faa /home/ricardo

	El formato de salida consta de 6 campos separados por tabuladores:
	1-gene 2-COG o ROG 3-p-value 4-e-value 5-[clave(s) clasificación del COG] 6-descripción del COG
	eco-b0002 COG0527 638.4 2.8e-192 [E] Aspartokinases eco-b0003 COG0083 487.1 1.2e-146 [E] Homoserine kinase eco-b0004 COG0498 607.9 5.8e-183 [E] Threonine synthase eco-b0005 ROG2395 20.8 5.3e-05 eco-b0006 COG3022 531.7 3.8e-160 [S] Uncharacterized protein conserved in bacteria eco-b0007 COG1115 826.7 4.4e-249 [E] Na+/alanine symporter eco-b0008 COG0176 594.7 4.9e-179 [G] Transaldolase eco-b0009 COG0521 234.9 1.9e-70 [H] Molybdopterin biosynthesis enzymes eco-b0010 COG1584 396.9 1.8e-119 [S] Predicted membrane protein eco-b0011 COG4735 305.8 7.5e-92 [S] Uncharacterized protein conserved in bacteria

<-- Inicio (tmp)

BLQ_doble_cogs.pl		*Obtención de COGs (completo)*

Este bloque permite obtener un archivo con los COGs asociados
al archivo FASTA proporcionado.
Parámetros:
1-archivo
2-directorio para escribir resultados ! Se debe contar con derechos de escritura
Genera:
1-archivo con COGs asociados
El nombre asignado es el del archivo de entrada (parámetro 1), con extensión "COG"
Éste es el "método preciso", aunque más lento.(liga-ref) de los dos bloques
para la obtención de COGs que se ofrecen.

P.E. para Escherichia coli K12 se obtuvieron los siguientes tiempos:


                real    33m46.840s
                user    29m3.339s
                sys     1m21.266s
					(poco más de media hora de CPU)

Bloque: BLQ_doble_cogs.pl
Parámetros	Formato	Proceso	Salidas
Archivo secuencias	Fasta	/home/bloques/BLQ_doble_cogs.pl	entrada.faa_asignaciones_cog_rog
Directorio de salida	Trayectoria Completa	/home/bloques/BLQ_doble_cogs.pl	entrada.faa_asignaciones_cog_rog

EJEMPLO:

Obtener COGs y ROGs a partir del archivo FASTA

/home/bloques/test/aminos_eco.faa,

dejando el archivo de resultados (aminos_eco.faa_asignaciones_cog_rog) en el directorio

/home/ricardo


/home/bloques/BLQ_doble_cogs.pl/home/bloques/test/aminos_eco.faa /home/ricardo

	El formato de salida consta de 2 campos separados por un tabulador:
	1-gene 2-inicio-fin-1,COGxxx1;inicio-fin-2,COGxxx2;inicio-fin-...
	eco-b4679 1-28,COG2060 eco-b4689 1-85,COG4068 eco-b4706 1-22,COG5460 eco-b0002 1-461,COG0527;466-815,COG0460 eco-b0003 2-307,COG0083 eco-b0004 1-427,COG0498 eco-b0006 1-257,COG3022 eco-b0007 4-459,COG1115

<-- Inicio (tmp)

BLQ_bdbh.pl		*Bi-directional Best Hits*

Este bloque obtiene el mejor "hit" bi-direccional entre proteínas de los dos archivos proporcionados.
Parámetros:
1-archivo 1
2-archivo 2
3-directorio de trabajo y para escribir resultados ! Se debe contar con derechos de escritura
4-"no-remueve" (opcional)
Genera:
1-archivo con parejas de proteínas (mejor "hit")
El nombre del archivo de salida estará formado por los nombres (sin trayectoria)
de los archivos de entrada separados por "-" y la extensión bdbh.
Si se proporciona el cuarto parámetro (exactamente no-remueve), los archivos formateados
para correr Bast, NO serán removidos del directorio de trabajo/resultados.
Esta opción es útil cuando se van a ejecutar muchos procesos con organismos repetidos.

Bloque: Bi-directional Best Hits
Parámetros	Formato	Proceso	Salida
Archivo 1	Fasta	/home/bloques/BLQ_bdbh.pl	<Archivo 1-Archivo 2.bdbh>
Archivo 2	Fasta
Directorio de trabajo/salida	Trayectoria Completa
Borrar/no borrar (opcional)	no-remueve

EJEMPLO:

Obtener BDBHs de

aminos_hin.faa y aminos_bsu.faa.

Resultado en el directorio

mis_resultados,

manteniendo los archivos formateados para Blast en

mis_resultados


/home/bloques/BLQ_bdbh.pl aminos_hin.faa aminos_bsu.faa mis_resultados no-remueve

	Genera en el directorio "mis_resultados":

	aminos_hin.psq aminos_hin.pin aminos_hin.phr aminos_bsu.psq aminos_bsu.pin aminos_bsu.phr aminos_hin-aminos_bsu.bdbh

	El formato de salida consta de 2 campos separados por un tabulador:

	hin-HI1242 bsu-BSU05680 hin-HI1137 bsu-BSU15210 hin-HI0670 bsu-BSU27590 hin-HI1295 bsu-BSU32690 hin-HI0959 bsu-BSU01660 hin-HI1578 bsu-BSU34330 hin-HI0728 bsu-BSU19220 hin-HI1231 bsu-BSU14610 hin-HI0669 bsu-BSU33440 hin-HI0089 bsu-BSU28470

<-- Inicio (tmp)

BLQ_claves_base.pl		*Claves de organismos de la Base de Datos*

Este bloque muestra las claves de los organismos existentes en la Base de Datos

Parámetros:


	 -n nombre
            Nombre o parte del nombre de organismo
	         !  Mayúsculas y minúsculas indistintamente.


	 -h despliega ayuda.

	 -f filogenia
            Filogenia o parte de la filogenia del organismo.
                !  Mayúsculas y minúsculas indistintamente.

	 -N Mostrar solamente nombres.

	 -F Mostrar solamente filogenia.

	 -v Muestra version de la base.

 	 -b base
            base a usar.

Genera en <STDOUT> archivo solicitado.

Bloque: Claves organismos Base
Parámetros	Formato	Proceso	Salidas
Una o más opciones	parámetro	/home/bloques/BLQ_claves_base.pl	<STDOUT>

EJEMPLO:

Obtener claves, nombres y filogenia de todos los organismos
en pantalla (STDOUT)


/home/bloques/BLQ_claves_base.pl

EJEMPLO:

Obtiene claves, nombres y filogenia de aquellos organismos
que en su nombre contengan la cadena "subtilis"


/home/bloques/perl BLQ_claves_base.pl -n subtilis

EJEMPLO:

Igual que el anterior, pero mostrando solamente nombres


/home/bloques/perl BLQ_claves_base.pl -n subtilis -N

EJEMPLO:

Igual que el anterior, pero mostrando solamente nombres


/home/bloques/perl BLQ_claves_base.pl -n subtilis -N

EJEMPLO:

Obtener claves, nombres y filogenia de aquellos organismos
que en su filogenia contengan la cadena "Cytophagia"


/home/bloques/perl BLQ_claves_base.pl -f Cytophagia

EJEMPLO:

Igual que el anterior usando base v1802


/home/bloques/perl BLQ_claves_base.pl -F -f Cytophagia -b v1802

EJEMPLO:

Obtener claves, nombres y filogenia de los organismos
que en su filogenia contengan la cadena "cytophagia" y
en su nombre contengan la cadena "Runella"


/home/bloques/perl BLQ_claves_base.pl -n Runella -f cytophagia

<-- Inicio (tmp)

BLQ_fasta_base.pl		*FASTA Base de Datos*

Este bloque obtiene en formato Fasta, secuencias de uno o más organismos
a partir de los registros de nuestra Base de Datos

Parámetros:

-s tipo
           Tipo de secuencia. Posibles valores:
           a aminoacidos
           n nucleotidos
           5 cinco prima
           3 tres prima
           u 400 nucleótidos rio arriba

 -h        despliega esta ayuda.

 -f archivo
           archivo con una o mas claves de organismos separados.
           por espacios o tabuladores.

 -l        Encabezado largo: identificador y descripcion o funcion.

 -o lista
           una o mas claves de organismos, separadas por comas
           y sin espacios.

 -n número entero
           tamaño mínimo de las secuencias a mostrar (Default=1).

 -t tipo
           Tipo de gene. Posibles valores:
           CDS (default) gene tRNA rRNA miRNA ncRNA misc_RNA tmRNA snoRNA scRNA

         ! 
		Mayúsculas y minúsculas indistintamente.

 -v muestra la versión de la base por omisión.

 -b base de datos a usar.

Genera en <STDOUT> archivo solicitado.

Bloque: FASTA Base de Datos
Parámetros	Formato	Proceso	Salidas
Una o más opciones	parámetro	/home/bloques/BLQ_fasta_base.pl	<STDOUT>

EJEMPLO:

obtener los aminoácidos de Escherichia coli K12 (clave eco)

en pantalla (STDOUT)


/home/bloques/BLQ_fasta_base.pl -s a -o eco

EJEMPLO:

igual que el anterior, pero usando la base v1802


/home/bloques/BLQ_fasta_base.pl -s a -o eco -b v1802

EJEMPLO:

obtener tRNA con formato "largo" de Bacillus Subtilis (clave bsu)

en pantalla (STDOUT)


/home/bloques/BLQ_fasta_base.pl -s n -t trna -o bsu -l

EJEMPLO:

obtener nucleótidos de

sru: Salinibacter ruber DSM 13855
saq: Salinispora arenicola CNS-205 y
stp: Salinispora tropica CNB-440

y escribir en sru_saq_stp.faa


/home/bloques/BLQ_fasta_base.pl -s n -o sru,saq,stp > sru_saq_stp.faa

EJEMPLO:

obtener aminoácidos de todos los organismos (default) con encabezado "largo"

y escribir en fasta_inmenso_con_todos.faa


/home/bloques/BLQ_fasta_base.pl -s a -l  > fasta_inmenso_con_todos.faa

EJEMPLO:

obtener aminoácidos de los organismos cuyas claves se encuentran en el archivo

lista_organismos.txt

y escribir en aminos_de_mi_lista.faa

archivo lista_organismos.txt, contiene:

eco bsu hpy lpp sso abc bcb bcer dda msa
mmz nri oih gym ptr rrp


/home/bloques/BLQ_fasta_base.pl -s a -f lista_organismos.txt  > aminos_de_mi_lista.faa

Equivale a:

(línea fragmentada en tres por legibilidad)


/home/bloques/BLQ_fasta_base.pl -s a 
-o eco,bsu,hpy,lpp,sso,abc,bcb,bcer,dda,msa

> aminos_de_mi_lista.faa

<-- Inicio (tmp)

BLQ_gff_base.pl		*GFF Base de Datos*

Este bloque obtiene archivo con formato GFF de un organismo
a partir de los registros de nuestra Base de Datos
Sólamente entrega secuencias codificantes

Parámetros:


 -o clave  clave del organismo

            !  Mayúsculas y minúsculas indistintamente.

 -h        despliega ayuda.

 -v        muestra la versión de la base por omisión.

 -b        base de datos a usar.

Genera en <STDOUT> archivo solicitado.

Bloque: GFF Base de Datos
Parámetros	Formato	Proceso	Salidas
clave organismo	nuestra base	/home/bloques/BLQ_bdbh_base.pl	<STDOUT>

EJEMPLO:

obtener archivo GFF de Bacillus subtilis (bsu),

dejando resultados en /home/micuenta/bsu_de_base.gff


/home/bloques/BLQ_gff_base.pl -o bsu > /home/micuenta/bsu_de_base.gff

EJEMPLO:

obtener archivo GFF de Bacillus subtilis (bsu),usando la base v1802,

dejando resultados en /home/micuenta/bsu_de_base.gff


/home/bloques/BLQ_gff_base.pl -o bsu -b v1802> /home/micuenta/bsu_de_base.gff

	El formato de salida consta de 9 campos separados por tabuladores:

	NC_000964 IBt CDS 410 1750 . + 0 ID=BSU00010; NC_000964 IBt CDS 1939 3075 . + 0 ID=BSU00020; NC_000964 IBt CDS 3206 3421 . + 0 ID=BSU00030; NC_000964 IBt CDS 3437 4549 . + 0 ID=BSU00040; NC_000964 IBt CDS 4567 4812 . + 0 ID=BSU00050; NC_000964 IBt CDS 4867 6783 . + 0 ID=BSU00060; NC_000964 IBt CDS 6994 9459 . + 0 ID=BSU00070; NC_000964 IBt CDS 14847 15794 . - 0 ID=BSU00080; NC_000964 IBt CDS 15915 17381 . + 0 ID=BSU00090; NC_000964 IBt CDS 17534 18865 . + 0 ID=BSU00100;

<-- Inicio (tmp)

BLQ_cogs_base.pl		*COGS Base de Datos*

Este bloque obtiene los COGs de los genes de los organismos
indicados, a partir de los registros de nuestra Base de Datos

Parámetros:


	-f 	archivo con uno o más identificadores de proteinas separados
		por espacios o tabuladores
	-h	despliega ésta ayuda
	-o	una o más claves de organismos, separadas por comas,
		la clave TODOS proporciona todos los organismos de la base

        -v      Muestra version de la base.

        -b      base a usar.

Genera en <STDOUT> archivo solicitado.

Bloque: COGs Base de Datos
Parámetros	Formato	Proceso	Salidas
Una o más opciones	parámetro	/home/bloques/BLQ_cogs_base.pl	<STDOUT>

EJEMPLO:

obtener COGs de Escherichia coli K12 (clave eco)

en pantalla (STDOUT)


/home/bloques/BLQ_cogs_base.pl -o eco

EJEMPLO:

igual que el anterior, pero usando la base v1802


/home/bloques/BLQ_cogs_base.pl -o eco -b 1802

	El formato de salida consta de 5 campos separados por tabuladores: gene, organismo, COG/ROG, inicio, fin

	eco-b0001 eco COG0000 0 0 eco-b0002 eco COG0527 1 461 eco-b0002 eco COG0460 466 815 eco-b0003 eco COG0083 2 307 eco-b0004 eco COG0498 1 427 eco-b0005 eco COG0000 0 0 eco-b0006 eco COG3022 1 257 eco-b0007 eco COG1115 4 459 eco-b0008 eco COG0176 12 314 eco-b0009 eco COG0521 4 179 eco-b0010 eco COG1584 3 187 eco-b0011 eco COG4735 3 237

EJEMPLO:

obtener COGs de

sru: Salinibacter ruber DSM 13855
saq: Salinispora arenicola CNS-205 y
stp: Salinispora tropica CNB-440

y escribir en sru_saq_stp.cog


/home/bloques/BLQ_cogs_base.pl -o sru,saq,stp > sru_saq_stp.cog

EJEMPLO:

obtener COGs de todos los organismos de la Base

y escribir en

COGS_inmenso_con_todos.cog


/home/bloques/BLQ_cogs_base.pl -o TODOS  > COGS_inmenso_con_todos.cog

EJEMPLO:

obtener COGs de las claves de organismos en el archivo

lista_organismos.txt

y escribirlos en cogs_de_mi_lista.cog

archivo lista_organismos.txt, contiene:

eco bsu hpy lpp sso      abc bcb bcer dda msa
mmz nri 	oih gym ptr rrp


/home/bloques/BLQ_cogs_base.pl -s a -f lista_organismos.txt  > aminos_de_mi_lista.faa

Equivale a:

(línea fragmentada en tres por legibilidad)


/home/bloques/BLQ_cogs_base.pl -s a 
-o eco,bsu,hpy,lpp,sso,abc,bcb,bcer,dda,msa

> cogs_de_mi_lista.cog

<-- Inicio (tmp)

4		*Obtención de Secuencias Intergénicas*

Este bloque encuentra las regiones intergénicas a partir de un archivo
FASTA y su correspondiente archivo GFF
Parámetros:
1-Archivo FASTA
2-archivo GFF correspondiente
3-directorio para escribir resultados ! Se debe contar con derechos de escritura
Genera
1-archivo con secuencias 5'
2-archivo con secuencias 3'
3-archivo con 400 nucleótidos rio arriba del inicio del gene
a las salidas se les PRE-pone el nombre del archivo (parámetro 1), p.e. para
/home/NCBI/Abiotrophia_defectiva_-_ATCC_49176/GCF_000160075.2_ASM16007v2_genomic.fna se obtendrá
GCF_000160075.2_ASM16007v2_genomic.5p en el directorio de salida indicado

Bloque: obtiene secuencias Intergénicas
Parámetros	Formato	Proceso	Salidas
Archivo FASTA	Fasta	/home/bloques/PRG_obtiene_intergenicas_fasta.pl	entrada.ur entrada.5p entrada.3p
Directorio de salida	Trayectoria Completa	/home/bloques/PRG_obtiene_intergenicas_fasta.pl	entrada.ur entrada.5p entrada.3p

EJEMPLO:

Obtener secuencias intergénicas a partir del
archivo FASTA /home/NCBI/Abiotrophia_defectiva_-_ATCC_49176/GCF_000160075.2_ASM16007v2_genomic.fna, y del
archivo GFF /home/NCBI/Abiotrophia_defectiva_-_ATCC_49176/GCF_000160075.2_ASM16007v2_genomic.gff
dejando los archivos de salida en el directorio /home/ricardo

! Por claridad, la línea se separó en cuatro renglones (comando y tres parámetros)



/home/bloques/PRG_obtiene_intergenicas_fasta.pl
              /home/NCBI/Abiotrophia_defectiva_-_ATCC_49176/GCF_000160075.2_ASM16007v2_genomic.fna
              /home/NCBI/Abiotrophia_defectiva_-_ATCC_49176/GCF_000160075.2_ASM16007v2_genomic.gff
              /home/ricardo

<-- Inicio (tmp)